详解MySQL数据库千万级数据查询和存储(2)-木庄网络博客

1.如果表使用自增主键，那么每次插入新的记录，记录就会顺序添加到当前索引节点的后续位置，当一页写满，就会自动开辟一个新的页。总的来说就是可以提高查询和插入的性能。

2.对InnoDB来说主键索引既存储索引值，又在叶子节点中存储行的数据，也就是说数据文件本身就是按照b+树方式存放数据的。

3.如果没有定义主键，则会使用非空的UNIQUE键做主键 ; 如果没有非空的UNIQUE键，则系统生成一个6字节的rowid做主键;聚簇索引中，N行形成一个页（一页通常大小为16K)。如果碰到不规则数据插入时，为了保持B+树的平衡，会造成频繁的页分裂和页旋转，插入速度比较慢。所以聚簇索引的主键值应尽量是连续增长的值，而不是随机值(不要用随机字符串或UUID)。

4.故对于InnoDB的主键，尽量用整型，而且是递增的整型。这样在存储/查询上都是非常高效的。

MySQL面试题

MySQL数据库千万级数据查询优化方案

limit分页查询越靠后查询越慢。这也让我们得出一个结论：

1、limit语句的查询时间与起始记录的位置成正比。

2、mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用

表使用InnoDB作为存储引擎，id作为自增主键，默认为主键索引

SELECT id FROM test LIMIT 9000000,100;

现在优化的方案有两种，即通过id作为查询条件使用子查询实现和使用join实现；

1、id>=的（子查询）形式实现

select * from test where id >= (select id from test limit 9000000,1)limit 0,100

使用join的形式；

SELECT * FROM test a JOIN (SELECT id FROM test LIMIT 9000000,100) b ON a.id = b.id

这两种优化查询使用时间比较接近，其实两者用的都是一个原理，所以效果也差不多。但个人建议最好使用join，尽量减少子查询的使用。注：目前是千万级别查询，如果将至百万级别，速度会更快。

SELECT * FROM test a JOIN (SELECT id FROM test LIMIT 1000000,100) b ON a.id = b.id

你用过MySQL那些存储引擎

他们都有什么特点和区别？

这是高级开发者面试时经常被问的问题。实际我们在平时的开发中，经常会遇到的。Mysql的存储引擎有这么多种，实际我们在平时用的最多的莫过于InnoDB和MyISAM了。所有如果面试官问道mysql有哪些存储引擎，你只需要告诉这两个常用的就行。

那他们都有什么特点和区别呢？

MyISAM：默认表类型，它是基于传统的ISAM类型，ISAM是Indexed Sequential Access Method (有索引的顺序访问方法) 的缩写，它是存储记录和文件的标准方法。不是事务安全的，而且不支持外键，如果执行大量的select，insert MyISAM比较适合。

InnoDB：支持事务安全的引擎，支持外键、行锁、事务是他的最大特点。如果有大量的update和insert，建议使用InnoDB，特别是针对多个并发和QPS较高的情况。注：在MySQL 5.5之前的版本中，默认的搜索引擎是MyISAM，从MySQL 5.5之后的版本中，默认的搜索引擎变更为InnoDB

MyISAM和InnoDB的区别

1.InnoDB支持事务，MyISAM不支持。对于InnoDB每一条SQL语言都默认封装成事务，自动提交，这样会影响速度，所以最好把多条SQL语言放在begin和commit之间，组成一个事务；

2.InnoDB支持外键，而MyISAM不支持。

3.InnoDB是聚集索引，使用B+Tree作为索引结构，数据文件是和（主键）索引绑在一起的（表数据文件本身就是按B+Tree组织的一个索引结构），必须要有主键，通过主键索引效率很高。MyISAM是非聚集索引，也是使用B+Tree作为索引结构，索引和数据文件是分离的，索引保存的是数据文件的指针。主键索引和辅助索引是独立的。

4.InnoDB不保存表的具体行数，执行select count(*) from table时需要全表扫描。而MyISAM用一个变量保存了整个表的行数，执行上述语句时只需要读出该变量即可，速度很快。

5.Innodb不支持全文索引，而MyISAM支持全文索引，查询效率上MyISAM要高；5.7以后的InnoDB支持全文索引了。

6.InnoDB支持表、行级锁(默认)，而MyISAM支持表级锁。；

7.InnoDB表必须有主键（用户没有指定的话会自己找或生产一个主键），而Myisam可以没有。

8.Innodb存储文件有frm、ibd，而Myisam是frm、MYD、MYI。

9.Innodb：frm是表定义文件，ibd是数据文件。

10.Myisam：frm是表定义文件，myd是数据文件，myi是索引文件。

MySQL复杂查询语句的优化

说到复杂SQL优化，最多的是由于多表关联造成了大量的复杂的SQL语句，那我们拿到这种sql到底该怎么优化呢，实际优化也是有套路的，只要按照套路执行就行。复杂SQL优化方案：

1.使用EXPLAIN关键词检查SQL。EXPLAIN可以帮你分析你的查询语句或是表结构的性能瓶颈，就得EXPLAIN 的查询结果还会告诉你你的索引主键被如何利用的，你的数据表是如何被搜索和排序的，是否有全表扫描等；

2.查询的条件尽量使用索引字段，如某一个表有多个条件，就尽量使用复合索引查询，复合索引使用要注意字段的先后顺序。

3.多表关联尽量用join，减少子查询的使用。表的关联字段如果能用主键就用主键，也就是尽可能的使用索引字段。如果关联字段不是索引字段可以根据情况考虑添加索引。

4.尽量使用limit进行分页批量查询，不要一次全部获取。

5.绝对避免select *的使用，尽量select具体需要的字段，减少不必要字段的查询；

6.尽量将or 转换为 union all。

7.尽量避免使用is null或is not null。

8.要注意like的使用，前模糊和全模糊不会走索引。

9.Where后的查询字段尽量减少使用函数，因为函数会造成索引失效。

10.避免使用不等于（!=），因为它不会使用索引。

11.用exists代替in，not exists代替not in，效率会更好；

12.避免使用HAVING子句, HAVING 只会在检索出所有记录之后才对结果集进行过滤，这个处理需要排序，总计等操作。如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销。

13.千万不要 ORDER BY RAND()

以上就是详解MySQL数据库千万级数据查询和存储的详细内容，更多关于MySQL数据库千万级数据查询和存储的资料请关注其它相关文章！

标签：SQL

返回前面的内容

数据库系统概念第6版

￥41.1元 机械工业出版社

本书主要讲述了数据模型、基于对象的数据库和XML、数据存储和查询、事务管理、体系结构等方面的内容。

转载请注明出处：木庄网络博客 » 详解MySQL数据库千万级数据查询和存储

详解MySQL数据库千万级数据查询和存储