X-Engine是阿里云数据库产品事业部自研的联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。
X-Engine存储引擎不仅可以无缝对接兼容MySQL（得益于MySQL Pluginable Storage Engine特性），同时X-Engine使用分层存储架构。因为目标是面向大规模的海量数据存储，提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次数据的访问特点，设计对应的存储结构，写入合适的存储设备
- X-Engine使用了LSM-Tree作为分层存储的架构基础，并进行了重新设计：
- 热数据层和数据更新使用内存存储，通过内存数据库技术（Lock-Free index structure/append only）提高事务处理的性能。
- 流水线事务处理机制，把事务处理的几个阶段并行起来，极大提升了吞吐。
- 访问频度低的数据逐渐淘汰或是合并到持久化的存储层次中，并结合多层次的存储设备（NVM/SSD/HDD）进行存储。
- 对性能影响比较大的Compaction过程做了大量优化：
- 拆分数据存储粒度，利用数据更新热点较为集中的特征，尽可能的在合并过程中复用数据。
- 精细化控制LSM的形状，减少I/O和计算代价，有效缓解了合并过程中的空间增大。
- 同时使用更细粒度的访问控制和缓存机制，优化读的性能。
四、阿里云PloarDB MySQL8.0版本并行查询
分表之后我们的数据量依然很大,并没有完全解决我们的慢查询问题,只是降低了我们业务表的体量,这部分慢查询我们需要用到PolarDB的并行查询优化
PolarDB MySQL 8.0重磅推出并行查询框架，当您的查询数据量到达一定阈值，就会自动启动并行查询框架，从而使查询耗时指数级下降
在存储层将数据分片到不同的线程上，多个线程并行计算，将结果流水线汇总到总线程，最后总线程做些简单归并返回给用户，提高查询效率。
并行查询（Parallel Query）利用多核CPU的并行处理能力，以8核32 GB配置为例，示意图如下所示。
并行查询适用于大部分SELECT语句，例如大表查询、多表连接查询、计算量较大的查询。对于非常短的查询，效果不太显著。
并行查询用法，使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL进行加速。
SELECT /+PARALLEL(x)/ … FROM …; – x >0 SELECT /*+ SET_VAR(max_parallel_degree=n) */ * FROM … // n > 0
查询测试：数据库配置 16核32G 单表数据量超3千万
没加并行查询之前是4326ms，加了之后是525ms，性能提升8.24倍
五、交互式分析Hologre
大表慢查询我们虽然用并行查询优化提升了效率,但是一些特定的需求实时报表、实时大屏我们还是无法实现，只能依赖大数据去处理。
这里推荐大家阿里云的交互式分析Hologre（
https://help.aliyun.com/product/113622.html）
六、后记
千万级大表优化是根据业务场景，以成本为代价优化的，不是一上来就数据库水平切分扩展，这样会给运维和业务带来巨大挑战，很多时候效果不一定好，我们的数据库设计、索引优化、分表策略是否做到位了，应该根据业务需求选择合适的技术去实现。
到此这篇关于浅谈MySQL大表优化方案的文章就介绍到这了,更多相关MySQL大表优化内容请搜索
更多相关Mysql内容来自木庄网络博客
标签：Mysql
相关阅读 >>
更多相关阅读请进入《mysql》频道 >>
数据库系统概念 第6版
本书主要讲述了数据模型、基于对象的数据库和XML、数据存储和查询、事务管理、体系结构等方面的内容。
