本文整理自网络，侵删。
之前有群友反应同事给了他一个几百MB的sql脚本，导入数据库再从数据库读取数据有点慢，想了解下有没有可以直接读取sql脚本到pandas的方法。
解析sql脚本文本文件替换成csv格式并加载
我考虑了一下sql脚本也就只是一个文本文件而已，而且只有几百MB，现代的机器足以把它一次性全部加载到内存中，使用python来处理也不会太慢。
我简单研究了一下sql脚本的导出格式，并根据格式写出了以下sql脚本的读取方法。
注意：该读取方法只针对SQLyog导出的mysql脚本测试，其他数据库可能代码需要根据实际情况微调。
读取方法：
from io import StringIO
import pandas as pd
import re
def read_sql_script_all(sql_file_path, quotechar="'") -> (str, dict):
insert_check = re.compile(r"insert +into +`?(\w+?)`?\(", re.I | re.A)
with open(sql_file_path, encoding="utf-8") as f:
sql_txt = f.read()
end_pos = -1
df_dict = {}
while True:
match_obj = insert_check.search(sql_txt, end_pos+1)
if not match_obj:
break
table_name = match_obj.group(1)
start_pos = match_obj.span()[1]+1
end_pos = sql_txt.find(";", start_pos)
tmp = re.sub(r"\)( values |,)\(", "\n", sql_txt[start_pos:end_pos])
tmp = re.sub(r"[`()]", "", tmp)
df = pd.read_csv(StringIO(tmp), quotechar=quotechar)
dfs = df_dict.setdefault(table_name, [])
dfs.append(df)
for table_name, dfs in df_dict.items():
df_dict[table_name] = pd.concat(dfs)
return df_dict
参数：
- sql_file_path：sql脚本的位置
- quotechar：脚本中字符串是单引号还是双引号，默认使用单引号解析
返回：
一个字典，键是表名，值是该表对应的数据所组成的datafream对象
下面我测试读取下面这个sql脚本：
其中的表名是index_test：
df_dict = read_sql_script_all("D:/tmp/test.sql")
df = df_dict['index_test']
df.head(10)
结果：
可以看到能顺利的直接从sql脚本中读取数据生成datafream。
当然上面写的方法是一次性读取整个sql脚本的所有表，结果为一个字典（键为表名，值为datafream）。但大部分时候我们只需要读取sql脚本的某一张表，我们可以改造一下上面的方法：
def read_sql_script_by_tablename(sql_file_path, table_name, quotechar="'") -> (str, dict):
insert_check = re.compile(r"insert +into +`?(\w+?)`?\(", re.I | re.A)
with open(sql_file_path, encoding="utf-8") as f:
sql_txt = f.read()
end_pos = -1
dfs = []
while True:
match_obj = insert_check.search(sql_txt, end_pos+1)
if not match_obj:
break
start_pos = match_obj.span()[1]+1
end_pos = sql_txt.find(";", start_pos)
if table_name != match_obj.group(1):
continue
tmp = re.sub(r"\)( values |,)\(", "\n", sql_txt[start_pos:end_pos])
tmp = re.sub(r"[`()]", "", tmp)
df = pd.read_csv(StringIO(tmp), quotechar=quotechar)
dfs.append(df)
return pd.concat(dfs)
参数：
- sql_file_path：sql脚本的位置
- table_name：被读取的表名
- quotechar：脚本中字符串是单引号还是双引号，默认使用单引号解析
返回：
该表所对应的datafream对象
读取代码：
df = read_sql_script_by_tablename("D:/tmp/test.sql", "index_test")
df.head()
结果：
相关阅读 >>
python中sqllite插入numpy数组到数据库的实现方法
python的flask框架中使用flask-sqlalchemy管理数据库的教程
更多相关阅读请进入《Sqlite》频道 >>
数据库系统概念 第6版
本书主要讲述了数据模型、基于对象的数据库和XML、数据存储和查询、事务管理、体系结构等方面的内容。
