Rover12421's Blog

The End.

MySql大数据快速导入导出

        这是很早以前查的资料,今天又用到,却找了很久。记录下。

       MySQL导出的SQL语句在导入时有可能会非常非常慢,在处理百万级数据的时候,可能导入要花几小时。在导出时合理使用几个参数,可以大大加快导 入的速度。
 

  -e 使用包括几个VALUES列表的多行INSERT语法; 
  --max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; 
  --net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行。

 
  注意:max_allowed_packet 和 net_buffer_length 不能比目标数据库的设定数值 大,否则可能出错。
 
  首先确定目标数据库的参数值
 

  mysql> show variables like 'max_allowed_packet'; 
  mysql> show variables like 'net_buffer_length';

 
  根据参数值书写 mysqldump 命令,如:
 
  # mysqldump -uroot -p123 Rover12421 -e --max_allowed_packet=16777216 --net_buffer_length=16384 > Rover12421.sql
 
  OK,现在速度就很快了,主要注意的是导入和导出端的 max_allowed_packet 和 net_buffer_length 这2个参数值设定,弄大点就OK了
         其实这种方式就是把多条insert语句合并成一条来加快插入的速度,速度提升是非常明显的。

Comments