大数据学习之二 MYSQL进阶(2)-木庄网络博客

当前第2页返回上一页

阻塞：阻塞是因为不同锁之间的兼容性的关系，在有些时刻一个事务中的锁需要等待另一事务的锁释放，它所占用的资源形成了阻塞。
死锁：死锁是指两个或两个以上的事务执行过程中，相互占用了对方等待的资源而产生的一种异常。从定义中可以看到，处在阻塞中的多个事务占用了被阻塞的事务等待的资源，而死锁是多个阻塞的事务互相占用了对方等待的资源。

5.3 CSV存储引擎

CSV存储引擎可以将csv文件作为mysql的表文件来处理，这种存储引擎的存储格式就是普通的csv文件，在csv存储引擎的数据存储方式非常的由特点，如果我们把表存储在MyISAM或者Innodb中，其数据文件我们是不能直接查看的，因为这两种文件的存储是以二进制的格式来存储的，而CSV存储引擎则不同，CSV的数据是以文本的方式存储在文件中的，也就是我们可以通过查看文件的命令来查看，如more，或者使用vi命令来查看编辑csv存储引擎中的表，只要符合CSV文件的格式和要求，我们就不用担心损坏数据。
当我们在mysql中建立了CSV存储引擎表时，我们应该可以看到3个文件系统中的文件。这3个都是以表名为文件名，但是会分别以csv，csm，frm为后缀，其中csv文件就是CSV存储引擎中的数据文件。csm文件存储表的元数据和表状态和数据量。frm文件存储表结构信息。

5.3.1 CSV存储引擎的特点

最大的特点是以CSV格式进行数据存储
CSV中的每一列都是以,来分隔的，并且文本的内容是以双引号来引起来的，如下图所示：
所有列必须都是不能为NULL的
在建表的时候所有的列都必须是非空的，不能存储为NULL的值
不支持索引
不适合大表，不适合在线处理
可以对数据文件直接编辑
保存文本文件内容

5.3.2 CSV存储引擎的适用场景

CSV存储引擎适合作为数据交换的中间表
在这里插入图片描述

5.4 Archive存储引擎

5.4.1 文件系统存储特点

Archive存储引擎会缓存所有的写，并且利用zlib对插入的行进行压缩，因此Archive存储引擎相对于MyISAM存储引擎的表更加节省磁盘I/O，对于同样数量级的数据，Archive存储引擎相对于MyISAM和Innodb更加节省存储空间。一个几T的Innodb的表存储在Archive存储引擎当中，可能只需要几百兆的存储空间。
Archive存储引擎的表的数据是以ARZ为后缀的一个文件，和其他引擎一样，也存在一个以frm为后缀的系统文件，用于存储表的结构信息。

5.4.2 Archive存储引擎的特点

只支持insert和select操作
只允许在自增ID列上加索引

5.4.3 Archive存储引擎使用场景

场景1：日志和数据采集类数据
因为Archive不支持修改和删除，而我们ORDB一定会对数据进行修改的，但是对于一些仓库类型的应用，或者一些特殊的表，还是有用的，比如说，记录日志的表或者是数据采集类的表，因为它需要采集大量数据，所以比较适合使用Archive存储引擎。因为Archive存储引擎在所有引擎中来说，它的存储空间是最小的，但是还是要注意，即使在数据采集或日志的应用中，Archive存储引擎是无法对这些数据进行更新的，所以在记录日志或者在数据采集类应用中对数据进行修改的话，可能也无法使用Archive存储引擎。

5.5 Memory存储引擎

5.5.1 文件系统存储特点

Memory存储引擎也称之为HEAP存储引擎，所以数据都保存在内存中，这就意味着这中数据的表是一次性的，一旦MySQL服务重启，所有Memory存储引擎的数据都会消失，但是表结构会保留下来，因为在Memory存储引擎下创建表，只会生成一个frm系统文件，该文件是用于保存表结构的。这就是为什么重启MySQL服务器数据会丢失，表结构不会的原因。
从它的文件存储特点我们可以知道，Memory存储引擎的I/O效率会比MyISAM高很多，因为MyISAM只有索引会保存在内存中，而数据则由操作系统来缓存的，而Memory存储引擎所有数据和索引都保存在内存中，下面我们看一下Memory存储引擎的功能特点。

5.5.2 Memory的功能特点

功能特点：

支持HASH索引（默认）和BTree索引
如果是HASH索引在做等值查询的时候会非常的快，如果是做范围查询的话就无法使用HASH索引了，所以在表创建的时候我们需要注意，如果表需要大量的等值查询就用HASH索引，范围查询就使用BTree索引。不同索引类型会对性能产生很大的影响。
所有字段都为固定长度 varchar(10) = char(10)
这就要求我们在定义表结构时，一定要符合要求最小的字段长度，否则浪费大量的内存。
不支持BLOG和TEXT等大字段
Memory存储引擎使用表级锁
最大大小由max_heap_table_size参数决定
这个参数的默认值只有16兆，如果我们要在Memory存储引擎表中存储大量数据，就要修改这个参数，而这个参数修改是对已经存在的Memory存储引擎的表是不生效的，如果需要对存在表生效的话就需要通过对已经存在的表进行重建。

5.5.3 Memory中容易混淆的概念

Memory存储引擎表：
对所有的系统都可以使用，它并不是一种临时表。
临时表：
临时表分为两种，一种是查询优化器在优化查询时所使用的系统使用临时表，也就是内部临时表，系统使用临时表在超过限制（使用BLOB或TEXT大字段）时使用MyISAM临时表，未超限制使用Memory表。
另一种是通过命令create temporary table建立的临时表，建立的表可以使用任何存储引擎。
无论是哪种临时表，只对内部可见。

5.5.4 Memory的使用场景

用于查找或者映射表，例如邮编和地区的对应表
用于保存数据分析中产生的中间表
用于缓存周期聚合数据的结果表

Memory数据易丢失，所以要求数据可再生。

5.6 Federated存储引擎

5.6.1 Federated的特点

提供了访问远程MySQL服务器上表的方法
由于Federated存储引擎只是在本地建立了到远程服务器的一个连接，所以可以说我们所要访问的表全部还是放在远程服务器上，在本地并不存储数据。每次访问Federated存储引擎表的时候，查询都会被发送到远程服务器上运行，并从远程的MySQL服务器上获取相关的数据。
本地不存储数据，数据全部放到远程服务器上
本地需要保存表结构和远程服务器的连接信息
因此也会在系统中存在一个frm文件，用于存于远程信息以及如何连接远程表的相关信息。

5.6.2 Federated如何使用

Federated存储引擎可以实现SQL Server连接服务器的功能，但是由于本身的性能并不太好，通常可以通过复制等实现相同的目的，所以在当前的MySQL版本中，Federated存储引擎默认是禁止的。如果需要使用Federated存储引擎，则需要在/usr/local/mysql/my.cnf中加入federated=1，接着重启MySQL服务器，我们可以通过show engine来确认当前MySQL服务器是否支持Federated存储引擎。
而在create table语句中使用下面的连接字符串，
mysql://user_name[:password]@host_name[:port_num]/db_name/tbl_name
远程服务器绑定连接：
grant select,update,insert,delete on remote.remote_fet to fred_link@'127.0.0.1' identified by '123456'
就可以决定查询的远程服务器的相关信息以及相关的数据库表的一些信息。

5.6.3 Federated的适用场景