不同版本的SQL Server之间数据导出导入的方法及性能比较
工作中有段時間常常涉及到不同版本的數據庫間導出導入數據的問題,索性整理一下,并簡單比較下性能,有所遺漏的方法也歡迎討論、補充。
00.建立測試環境
01.使用SQL Server Import and Export Tool
02.使用Generate Scripts
03.使用BCP
04.使用SqlBulkCopy
05.使用Linked Server進行數據遷移
06.使用RedGate的SQL Data Compare
07.結果對比
可以先看下測試的結果
?
00.建立測試環境
建立一個測試的環境,一個數據源數據庫,版本為SQL Server 2008,一個目標數據庫,版本為SQL Server 2000。
實驗環境如下圖所示,源數據庫使用語句生成了100萬的測試數據。
?
建立測試表并生成100萬的測試數據 ?1?IF?OBJECT_ID('DEMOTABLE')?IS?NOT?NULL??2?????DROP?TABLE?DEMOTABLE
?3?GO
?4?CREATE?TABLE?DEMOTABLE
?5?????(
?6???????COL1?VARCHAR(50)?,
?7???????COL2?VARCHAR(50)?,
?8???????COL3?VARCHAR(50)
?9?????)
10?INSERT??INTO?DEMOTABLE
11?????????SELECT?TOP?1000000
12?????????????????NEWID()?,
13?????????????????NEWID()?,
14?????????????????NEWID()
15?????????FROM????MASTER..SPT_VALUES?T1
16?????????????????INNER?JOIN?MASTER..SPT_VALUES?T2?ON?1?=?1
17?????????????????INNER?JOIN?MASTER..SPT_VALUES?T3?ON?1?=?1
?01.使用SQL Server Import and Export Tool
使用SQL Server Import and Export Tool進行數據的導出,也可以在目標數據庫端使用Import進行導入,這部分套件也是SSIS的一部分。
在源數據庫上右鍵,選擇Task -> Export Data
分別填寫源數據庫和目標數據庫的連接信息。
?
?
選擇“copy data from one or more tables or views”
選擇需要導數據的表,并且可以編輯列的Mapping關系。
可以選擇立即執行或者存儲為SSIS的包,用于執行計劃等其他用途。
這里我們選擇立即執行。
注意導入的時候如果遇到如下的錯誤
Error 0xc02020f4: Data Flow Task: The column "Tel" cannot be processed because more than one code page (936 and 1252) are specified for it.
(SQL Server Import and Export Wizard)
是因為兩邊的數據庫的Collation設置不一樣造成的,需要設置同樣的Collation。
- 用時約1分30秒
02.使用Generate Scripts生成腳本
在源數據庫上右鍵,選擇Task -> Geneate Scripts...
配置相關信息,注意選擇數據庫的版本并將Script Data設置成True。
這里需要注意,因為有100萬的數據,所以導出的SQL文件就有400多M,所以用SQL Server Management Studio是打不開的。
所以只能使用sqlcmd執行。
sqlcmd語句 1?C:\>sqlcmd?-i?export.sql?-d?ExportDataDemo_Destination?-s?192.168.21.165?-U?sa?-P?1234567890- 用時約28分鐘
?03.使用BCP進行導出導入
在嘗試了前面兩個效率低下的工具之后,我們終于開始嘗試下SQL Server中專門用于導數據的工具:BCP。
關于BCP的詳細用法可以參見MSDN的幫助文檔。
我們先使用BCP導出數據。
-U和-P后面分別為數據庫的用戶名和密碼。
我們可以看到100萬的數據導出僅用了1.8秒。
現在我們再使用BCP進行導入。
執行后發現,導入數據使用了20.8秒,還是很快的。
- 用時1.872秒+20.810秒=22.682秒
?04.使用SqlBulkCopy
.NET Framework 2.0中增加的SqlBulkCopy類可以進行高效的數據遷移動作,這也為代碼實現數據遷移提供了接口。
并且SqlBulkCopy類提供了修改字段Mapping關系的方法ColumnMappings。
使用SqlBulkCopy類進行數據遷移 ?1?using?System;?2?using?System.Data;
?3?using?System.Data.SqlClient;
?4?
?5?namespace?BulkInsert
?6?{
?7?????static?class?Program
?8?????{
?9?????????static?void?Main()
10?????????{
11?????????????DateTime?dateTimeStart?=?DateTime.Now;
12?????????????Console.WriteLine("Start?Insert:"?+?dateTimeStart.ToString("HH:mm:ss?fff"));
13?????????????//導入導出的數據庫連接
14?????????????SqlConnection?connectionDestination?=?new?SqlConnection("Server?=.;?User?ID=datascan;?Password=DTSbsd7188228;?Initial?CataLog=ExportDataDemo_Destination;");
15?????????????SqlConnection?connectionSource?=?new?SqlConnection("Server?=.;?User?ID=datascan;?Password=DTSbsd7188228;?Initial?CataLog=ExportDataDemo_Source;");
16?
17?????????????//實例化一個SqlBulkCopy
18?????????????var?bulker?=?new?SqlBulkCopy(connectionDestination)?{?DestinationTableName?=?"DEMOTABLE",?BulkCopyTimeout?=?600?};
19?
20?????????????//獲取源數據庫的數據
21?????????????SqlCommand?sqlcmd?=?new?SqlCommand("SELECT?*?FROM?DEMOTABLE",?connectionSource);
22?????????????SqlDataAdapter?sqlDataAdapter?=?new?SqlDataAdapter(sqlcmd);
23?????????????DataTable?dataTableSource?=?new?DataTable();
24?????????????sqlDataAdapter.Fill(dataTableSource);
25?
26?????????????//可以重新定義字段的Mapping關系
27?????????????//SqlBulkCopyColumnMapping?sqlBulkCopyColumnMapping?=?new?SqlBulkCopyColumnMapping("COL1",?"NEW_COL1");
28?????????????//bulker.ColumnMappings.Add(sqlBulkCopyColumnMapping);
29?????????????connectionDestination.Open();
30?????????????bulker.WriteToServer(dataTableSource);
31?????????????bulker.Close();
32?????????????DateTime?dateTimeEnd?=?DateTime.Now;
33?????????????Console.WriteLine("Insert?Ending:"?+?dateTimeEnd.ToString("HH:mm:ss?fff"));
34?????????}
35?????}
36?}
執行后
- 用時14.8秒
05.使用Linked Server進行數據遷移
先在源數據庫上對目標數據庫建立Linked Server,或者反過來也行。
建立Linked Server 1?EXEC?sp_addlinkedserver?@server?=?'LinkedServerToDemo',2?????@srvproduct?=?'Export?Data?Testing',?@provider?=?'MSDASQL',
3?????@provstr?=?'DRIVER={SQL?Server};SERVER=192.168.21.165;UID=sa;PWD=password;'
?
是用INSERT INTO...SELECT...進行導入 ?1?DECLARE?@begin_date?DATETIME?2?DECLARE?@end_date?DATETIME
?3?SELECT??@begin_date?=?GETDATE()
?4?
?5?INSERT??INTO?LinkedServerToDemo.ExportDataDemo_Destination.dbo.DEMOTABLE
?6?????????SELECT??*
?7?????????FROM????ExportDataDemo_Source.dbo.DEMOTABLE
?8?????????
?9?SELECT??@end_date?=?GETDATE()
10?SELECT??DATEDIFF(ms,?@begin_date,?@end_date)?AS?'用時/毫秒'?
執行用時
-
用時7.97分鐘
06.使用RedGate的SQL Data Compare進行數據遷移
第三方的工具,有數據庫結構比較的工具SQL Compare和數據比較工具SQL Data Compare。
執行
因為也是生成INSERT的SQL執行的,所以就不做過多比較了,上面已經測試過了。
07.結果對比
因為這里測試的環境有網絡和表結構的特殊情況,不能說明所有情況下效能的差異,但是也可作為參考之用。
下面給出比較結果。
?
總結
以上是生活随笔為你收集整理的不同版本的SQL Server之间数据导出导入的方法及性能比较的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux 路由表 的一些相关资料
- 下一篇: ConcurrentHashMap深入分