mySQL批量导入导出-转载

该方法将使用到后续mysql和异构数据库数据集成和传递上，在传统的ETL工具上面可以看到，采用JDBC或ODBC方法远远达不到经过文本文件中转，数据库端都使用各数据库源生的批量导入接口命令的速度。

原文：http://db.vvant.net/2008/02/to-mysql-import-and-export-volume/

1）.mysqlimport的语法介绍：

mysqlimport位于mysql/bin目录中，是mysql的一个载入（或者说导入）数据的一个非常有效的工具。这是一个命令行工具。有两个参数以及大量的选项可供选择。这个工具把一个文本文件（text file）导入到你指定的数据库和表中。比方说我们要从文件Customers.txt中把数据导入到数据库Meet_A_Geek中的表Custermers中：
mysqlimport Meet_A_Geek Customers.txt

注意：这里Customers.txt是我们要导入数据的文本文件， 而Meet_A_Geek是我们要操作的数据库， 数据库中的表名是Customers，这里文本文件的数据格式必须与Customers表中的记录格式一致，否则mysqlimport命令将会出错。

其中表的名字是导入文件的第一个句号（.）前面文件字符串，另外一个例子：
mysqlimport Meet_A_Geek Cus.to.mers.txt
那么我们将把文件中的内容导入到数据库Meet_A_Geek 中的Cus表中。

上面的例子中，都只用到两个参数，并没有用到更多的选项，下面介绍mysqlimport的选项

2）.mysqlimport的常用选项介绍:

选项 功能
-d or –delete 新数据导入数据表中之前删除数据数据表中的所有信息
-f or –force 不管是否遇到错误，mysqlimport将强制继续插入数据
-i or –ignore mysqlimport跳过或者忽略那些有相同唯一

关键字的行， 导入文件中的数据将被忽略。

• -l or -lock-tables 数据被插入之前锁住表，这样就防止了， 你在更新数据库时，用户的查询和更新受到影响。
• -r or -replace 这个选项与－i选项的作用相反；此选项将替代 表中有相同唯一关键字的记录。
• –fields-enclosed- by= char 指定文本文件中数据的记录时以什么括起的， 很多情况下 数据以双引号括起。 默认的情况下数据是没有被字符括起的。
• –fields-terminated- by=char 指定各个数据的值之间的分隔符，在句号分隔的文件中， 分隔符是句号。您可以用此选项指定数据之间的分隔符。 默认的分隔符是跳格符（Tab）
• –lines-terminated- by=str 此选项指定文本文件中行与行之间数据的分隔字符串 或者字符。 默认的情况下mysqlimport以newline为行分隔符。 您可以选择用一个字符串来替代一个单个的字符： 一个新行或者一个回车。

mysqlimport命令常用的选项还有-v 显示版本（version）， -p 提示输入密码（password）等。

3）.例子：导入一个以逗号为分隔符的文件

文件中行的记录格式是这样的：
“1″, “ORD89876″, “1 Dozen Roses”, “19991226″
我们的任务是要把这个文件里面的数据导入到数据库Meet_A_Geek中的表格Orders中， 我们使用这个命令:
bin/mysqlimport –prl –fields-enclosed-by=” –fields-terminated-by=, Meet_A_Geek Orders.txt

这个命令可能看起来很不爽，不过当你熟悉了之后，这是非常简单的。第一部分，bin/mysqlimport,告诉操作系统你要运行的命令是mysql/bin目录下的mysqlimport，选项p是要求输入密码，这样就要求你在改动数据库之前输入密码，操作起来会更安全。 我们用了r选项是因为我们想要把表中的唯一关键字与文件记录中有重复唯一关键字的记录替换成文件中的数据。我们表单中的数据不是最新的，需要用文件中的数据去更新，因而就用r这个选项，替代数据库中已经有的记录。l选项的作用是在我们插入数据的时候锁住表，这样就阻止了用户在我们更新表的时候对表进行查询或者更改的操作。

批处理导入文件，从sql文件导入数据到数据库中 ，批处理是一种非交互式运行mysql程序的方法，如同您在mysql中使用的命令一样，你仍然将使用这些命令。

为了实现批处理，您重定向一个文件到mysql程序中，首先我们需要一个文本文件，这个文本文件包含有与我们在mysql中输入的命令相同的文本。

比如我们要插入一些数据，使用包含下面文本的文件(文件名为New_Data.sql,当然我们也可以取名为New_Data.txt及任何其他的合法名字，并不一定要以后缀sql结尾)：

USE Meet_A_Geek;
INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, “Block”;
INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, “Newton”;
INSERT INTO Customers (Customer_ID, Last_Name) VALUES(NULL, “Simmons”;

注意上面的这些句子的语法都必须是正确的，并且每个句子以分号结束。 上面的USE命令选择数据库，INSERT命令插入数据。

下面我们要把上面的文件导入到数据库中，导入之前要确认数据库已经在运行，即是mysqld进程（或者说服务，Windows NT下面称为”服务“，unix下面为”进程“）已经在运行。

然后运行下面的命令：
bin/mysql –p MeetAGeek_Dump_File.txt

这个语句也允许您指定一个表进行dump(备份/导出/装载?)。如果您只是希望把数据库Meet_A_Geek中的表Orders中的整个内容导出到一个文件，可以使用下面的命令：
bin/mysqldump –p Meet_A_Geek Orders >MeetAGeek_Orders.txt

这个非常的灵活，您甚至可以使用WHERE从句来选择您需要的记录导出到文件中。要达到这样的目的，可以使用类似于下面的命令：
bin/mysqldump –p –where=”Order_ID > 2000″ Meet_A_Geek Orders > Special_Dump.txt

mysqldump工具有大量的选项，部分选项如下：

选项/Option 作用/Action Performed
–add-drop-table
这个选项将会在每一个表的前面加上DROP TABLE IF
EXISTS语句，这样可以保证导回MySQL数据库的时候不会出错，因为每次导回的时候，都会首先检查表是否存在，存在就删除

–add-locks
这个选项会在INSERT语句中捆上一个LOCK TABLE和UNLOCK
TABLE语句。这就防止在这些记录被再次导入数据库时其他用户对表进行的操作

-c or - complete_insert
这个选项使得mysqldump命令给每一个产生INSERT语句加上列（field）的名字。当把数据导出导另外一个数据库时这个选项很有用。

–delayed-insert 在INSERT命令中加入DELAY选项
-F or -flush-logs 使用这个选项，在执行导出之前将会刷新MySQL服务器的log.
-f or -force 使用这个选项，即使有错误发生，仍然继续导出
–full 这个选项把附加信息也加到CREATE TABLE的语句中
-l or -lock-tables 使用这个选项，导出表的时候服务器将会给表加锁。
-t or -no-create- info

这个选项使的mysqldump命令不创建CREATE TABLE语句，这个选项在您只需要数据而不需要DDL（数据库定义语句）时很方便。
-d or -no-data 这个选项使的mysqldump命令不创建INSERT语句。
在您只需要DDL语句时，可以使用这个选项。

–opt 此选项将打开所有会提高文件导出速度和创造一个可以更快导入的文件的选项。
-q or -quick 这个选项使得MySQL不会把整个导出的内容读入内存再执行导出，而是在读到的时候就写入导文件中。
-T path or -tab = path 这个选项将会创建两个文件，一个文件包含DDL语句或者表创建语句，另一个文件包含数据。DDL文件被命名为table_name.sql,数据文件被命名为table_name.txt.路径名是存放这两个文件的目录。目录必须已经存在，并且命令的使用者有对文件的特权。
-w “WHERE Clause” or -where = “Where clause ”
如前面所讲的，您可以使用这一选项来过筛选将要放到 导出文件的数据。

假定您需要为一个表单中要用到的帐号建立一个文件，经理要看今年（2004年）所有的订单（Orders），它们并不对DDL感兴趣，并且需要文件有逗号分隔，因为这样就很容易导入到Excel中。 为了完成这个人物，您可以使用下面的句子：

bin/mysqldump –p –where “Order_Date >=’2000-01-01′”
–tab = /home/mark –no-create-info –fields-terminated-by=, Meet_A_Geek Orders
这将会得到您想要的结果。

schema：模式

The set of statements, expressed in data definition language, that completely describe the structure of a data base. 一组以数据定义语言来表达的语句集,该语句集完整地描述了数据库的结构。

===================================================================================

SELECT INTO OUTFILE ：

如果您觉得mysqldump工具不够酷，就使用SELECT INTO OUTFILE吧, MySQL同样提供一个跟LOAD DATA INFILE命令有相反作用的命令，这就是SELECT INTO OUTFILE 命令，这两个命令有很多的相似之处。首先，它们有所有的选项几乎相同。现在您需要完成前面用mysqldump完成的功能，可以依照下面的步骤进行操作：

1. 确保mysqld进程（服务）已经在运行
2. cd /usr/local/mysql
3. bin/mysqladmin ping ；// 如果这个句子通不过，可以用这个：mysqladmin -u root -p ping mysqladmin ping用于检测mysqld的状态，is alive说明正在运行，出错则可能需要用户名和密码。
4. 启动MySQL 监听程序.
5. bin/mysql –p Meet_A_Geek；// 进入mysql命令行，并且打开数据库Meet_A_Geek,需要输入密码
6. 在命令行中，输入以下命令:
SELECT * INTO OUTFILE ‘/home/mark/Orders.txt’ FIELDS TERMINATED BY = ‘,’ FROM Orders WHERE Order_Date >= ‘2000-01-01′

在你按了Return（回车）之后，文件就创建了。这个句子就像一个规则的SELECT语句，只是把想屏幕的输出重定向到了文件中。这意味这您可以使用JOIN来实现多表的高级查询。这个特点也可以被用作一个报表产生器。

比方说，您可以组合这一章中讨论的方法来产生一个非常有趣的查询，试试这个：
在mysql目录建立一个名为Report_G.rpt 的文本文件，加入下面的行：

USE Meet_A_Geek; INSERT INTO Customers (Customer_ID, Last_Name, First_Name) VALUES (NULL, “Kinnard”, “Vicky”; INSERT INTO Customers (Customer_ID, Last_Name, First_Name) VALUES (NULL, “Kinnard”, “Steven”; INSERT INTO Customers (Customer_ID, Last_Name, First_Name) VALUES (NULL, “Brown”, “Sam”; SELECT Last_Name INTO OUTFILE ‘/home/mark/Report.rpt’ FROM Customers WHERE Customer_ID > 1;

然后确认 mysql进程在运行，并且您在mysql目录中， 输入下面的命令：
bin/mysql < Report_G.rpt检查您命名作为输出的文件，这个文件将会包含所有您在Customers表中输入的顾客的姓。 如您所见，您可以使用今天学到的导入/导出（import/export）的方法来帮助得到报表

   青春就应该这样绽放   游戏测试：三国时期谁是你最好的兄弟！！   你不得不信的星座秘密