Mysql数据迁徙方法工具解析(2)-木庄网络博客

5.cursor.executemany(insert_statement, data_list)

批量插入一批数据，如

with const.SERVER as server:
  with connector.Connector(server, const.db_1) as cursor:
    cursor.execute('select * from preference')
    preferences = cursor.fetchall()

  with connector.Connector(server, const.db_2) as cursor:
    cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)

从cursor获取list类型的结果

cursor.execute('SELECT `name` FROM user;')

直接使用fetchall()，只能得到tuple包裹的数据

cursor.fetchall()
# (('Jack',), ('Ben'))

现在希望得到一个list结果集，做到像Django中flat=True那样的效果

有两种方法

列表解析式(list comprehension)

name_list = [x[0] for x in cursor.fetchall()]

这个方法的缺点在于会先使用fetchall()将结果集读到内存，再做列表转换，并不高效。

itertools工具

name_list = list(itertools.chain.from_iterable(cursor))

推荐使用这个方式，第一它不会将所有结果fetch到内存中，第二使用itertools生成列表比列表解析式要快

如何在数据迁徙中使用Django的model

需要拷贝Django的settings文件，删掉不需要的配置，并设置好迁徙目标数据库
需要拷贝用到此model的文件
需要在settings.INSTALLED_APPS中引入models.py文件所在的目录
在迁徙脚本头部启动Django

import os
import django
import sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "translate.settings")
django.setup()

通过SSH隧道的本地转发实现Django连接远程数据库

创建一个ssh隧道，将远程数据库映射到本地端口

ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>

ssh连接进行时，可以通过访问本地端口来访问远程数据库

在Django的settings中配置数据库

DATABASES = {
  'default': {
    'ENGINE': 'django.db.backends.mysql',
    'NAME': db_name,
    'USER': remote_mysql_user, # 远程数据库账号密码
    'PASSWORD': remote_mysql_password,
    'HOST': "localhost",
    'PORT': local_port, # 远程数据库映射到本地的端口
    'OPTIONS': {'init_command': 'SET default_storage_engine=INNODB;'}
    }
}

至此，在使用Django的model时，将通过ssh隧道访问远程数据库

注意事项