兽性总裁的爱奴,小说排行榜

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案

MySQL該如何進(jìn)行大數(shù)據(jù)量快速插入方法和語(yǔ)句優(yōu)化？

MySQL大數(shù)據(jù)量快速插入方法和語(yǔ)句優(yōu)化是本文我們主要要介紹的內(nèi)容。

創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比高陵網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式高陵網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋高陵地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。

INSERT 語(yǔ)句的速度

插入一個(gè)記錄需要的時(shí)間由下列因素組成，其中的數(shù)字表示大約比例：

連接：（3）

發(fā)送查詢給服務(wù)器：（2）

分析查詢：（2）

插入記錄：（1x 記錄大小）

插入索引：（1x 索引）

關(guān)閉：（1）

這不考慮打開(kāi)表的初始開(kāi)銷，每個(gè)并發(fā)運(yùn)行的查詢打開(kāi)。

表的大小以 logN （B 樹(shù)）的速度減慢索引的插入。

加快插入的一些方法

如果同時(shí)從同一個(gè)客戶端插入很多行，使用含多個(gè) VALUE 的 INSERT 語(yǔ)句同時(shí)插入幾行。這比使用單行 INSERT 語(yǔ)句快（在某些情況下快幾倍）。如果你正向一個(gè)非空表添加數(shù)據(jù)，可以調(diào)節(jié) bulk_insert_buffer_size 變量，使數(shù)據(jù)插入更快。

如果你從不同的客戶端插入很多行，能通過(guò) INSERT DELAYED 語(yǔ)句加快速度。

用 MyISAM，如果在表中沒(méi)有刪除的行，能在 SELECT 語(yǔ)句正在運(yùn)行的同時(shí)插入行。

當(dāng)從一個(gè)文本文件裝載一個(gè)表時(shí)，使用 LOAD DATA INFILE。這通常比使用很多 INSERT 語(yǔ)句快 20 倍。參見(jiàn) 13.2.5 節(jié)，“LOAD DATA INFILE 語(yǔ)法”。

當(dāng)表有很多索引時(shí)，有可能要多做些工作使得 LOAD DATA INFILE 更快些。使用下列過(guò)程：

有選擇地用 CREATE TABLE 創(chuàng)建表

執(zhí)行 FLUSH TABLES 語(yǔ)句或命令 mysqladmin flush-tables。使用 myisamchk –keys-used=0 -rq /path/to/db/tbl_name。這將從表中取消所有索引的使用。

用 LOAD DATA INFILE 把數(shù)據(jù)插入到表中，因?yàn)椴桓氯魏嗡饕?，因此很快?如果只想在以后讀取表，使用 myisampack 壓縮它。參見(jiàn) 15.1.3.3 節(jié)，“壓縮表特性”。

用 myisamchk -r -q /path/to/db/tbl_name 重新創(chuàng)建索引。這將在寫(xiě)入磁盤(pán)前在內(nèi)存中創(chuàng)建索引樹(shù)，并且它更快，因?yàn)楸苊饬舜罅看疟P(pán)搜索。結(jié)果索引樹(shù)也被***地平衡。執(zhí)行 FLUSH TABLES 語(yǔ)句或 mysqladmin flush-tables 命令。

請(qǐng)注意如果插入一個(gè)空 MyISAM 表，LOAD DATA INFILE 也可以執(zhí)行前面的優(yōu)化；主要不同處是可以讓 myisamchk 為創(chuàng)建索引分配更多的臨時(shí)內(nèi)存，比執(zhí)行 LOAD DATA INFILE 語(yǔ)句時(shí)為服務(wù)器重新創(chuàng)建索引分配得要多。

也可以使用 ALTER TABLE tbl_name DISABLE KEYS 代替 myisamchk –keys-used=0 -rq/path/to/db/tbl_name，使用 ALTER TABLE tbl_name ENABLE KEYS 代替 myisamchk -r -q/path/to/db/tbl_name。使用這種方式，還可以跳過(guò) FLUSH TABLES。

鎖定表可以加速用多個(gè)語(yǔ)句執(zhí)行的 INSERT 操作：

 
 
 
   
  
  
  LOCK TABLES a WRITE;   
  
  
  INSERT INTO a VALUES (1,23),(2,34),(4,33);   
  
  
  INSERT INTO a VALUES (8,26),(6,29);   
  
  
  UNLOCK TABLES;

這樣性能會(huì)提高，因?yàn)樗饕彺鎱^(qū)僅在所有 INSERT 語(yǔ)句完成后刷新到磁盤(pán)上一次。一般有多少 INSERT 語(yǔ)句即有多少索引緩存區(qū)刷新。如果能用一個(gè)語(yǔ)句插入所有的行，就不需要鎖定。

對(duì)于事務(wù)表，應(yīng)使用 BEGIN 和 COMMIT 代替 LOCK TABLES 來(lái)加快插入。

鎖定也將降低多連接測(cè)試的整體時(shí)間，盡管因?yàn)樗鼈兊群蜴i定***等待時(shí)間將上升。例如：

 
 
 
   
  
  
  Connection 1 does 1000 inserts   
  
  
  Connections 2, 3, and 4 do 1 insert   
  
  
  Connection 5 does 1000 inserts

如果不使用鎖定，2、3 和 4 將在 1 和 5 前完成。如果使用鎖定，2、3 和 4 將可能不在 1 或 5 前完成，但是整體時(shí)間應(yīng)該快大約 40%。

INSERT、UPDATE 和 DELETE 操作在 MySQL 中是很快的，通過(guò)為在一行中多于大約 5 次連續(xù)不斷地插入或更新的操作加鎖，可以獲得更好的整體性能。如果在一行中進(jìn)行多次插入，可以執(zhí)行 LOCK TABLES，隨后立即執(zhí)行 UNLOCK TABLES(大約每 1000 行) 以允許其它的線程訪問(wèn)表。這也會(huì)獲得好的性能。

INSERT 裝載數(shù)據(jù)比 LOAD DATA INFILE 要慢得多，即使是使用上述的策略。

為了對(duì) LOAD DATA INFILE 和 INSERT 在 MyISAM 表得到更快的速度，通過(guò)增加 key_buffer_size 系統(tǒng)變量來(lái)擴(kuò)大鍵高速緩沖區(qū)。

INSERT 語(yǔ)法

 
 
 
   
  
  
  INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]   
  
  
  [INTO] tbl_name [(col_name,...)]   
  
  
  VALUES ({expr | DEFAULT},...),(...),...   
  
  
  [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

或：

 
 
 
   
  
  
  INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]   
  
  
  [INTO] tbl_name   
  
  
  SET col_name={expr | DEFAULT}, ...   
  
  
  [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

或：

 
 
 
   
  
  
  INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]   
  
  
  [INTO] tbl_name [(col_name,...)]   
  
  
  SELECT ...   
  
  
  [ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

一、DELAYED 的使用

使用延遲插入操作 DELAYED 調(diào)節(jié)符應(yīng)用于 INSERT 和 REPLACE 語(yǔ)句。當(dāng) DELAYED 插入操作到達(dá)的時(shí)候，服務(wù)器把數(shù)據(jù)行放入一個(gè)隊(duì)列中，并立即給客戶端返回一個(gè)狀態(tài)信息，這樣客戶端就可以在數(shù)據(jù)表被真正地插入記錄之前繼續(xù)進(jìn)行操作了。如果讀取者從該數(shù)據(jù)表中讀取數(shù)據(jù)，隊(duì)列中的數(shù)據(jù)就會(huì)被保持著，直到?jīng)]有讀取者為止。

接著服務(wù)器開(kāi)始插入延遲數(shù)據(jù)行（delayed-row）隊(duì)列中的數(shù)據(jù)行。在插入操作的同時(shí)，服務(wù)器還要檢查是否有新的讀取請(qǐng)求到達(dá)和等待。如果有，延遲數(shù)據(jù)行隊(duì)列就被掛起，允許讀取者繼續(xù)操作。當(dāng)沒(méi)有讀取者的時(shí)候，服務(wù)器再次開(kāi)始插入延遲的數(shù)據(jù)行。這個(gè)過(guò)程一直進(jìn)行，直到隊(duì)列空了為止。

幾點(diǎn)要注意事項(xiàng)

INSERT DELAYED 應(yīng)該僅用于指定值清單的 INSERT 語(yǔ)句。服務(wù)器忽略用于 INSERT DELAYED…SELECT 語(yǔ)句的 DELAYED。服務(wù)器忽略用于 INSERT DELAYED…ON DUPLICATE UPDATE 語(yǔ)句的 DELAYED。

因?yàn)樵谛斜徊迦肭埃Z(yǔ)句立刻返回，所以您不能使用 LAST_INSERT_ID() 來(lái)獲取 AUTO_INCREMENT 值。AUTO_INCREMENT 值可能由語(yǔ)句生成。

對(duì)于 SELECT 語(yǔ)句，DELAYED 行不可見(jiàn)，直到這些行確實(shí)被插入了為止。

DELAYED 在從屬?gòu)?fù)制服務(wù)器中被忽略了，因?yàn)?DELAYED 不會(huì)在從屬服務(wù)器中產(chǎn)生與主服務(wù)器不一樣的數(shù)據(jù)。注意，目前在隊(duì)列中的各行只保存在存儲(chǔ)器中，直到它們被插入到表中為止。這意味著，如果您強(qiáng)行中止了 mysqld(例如，使用 kill -9) 或者如果 mysqld 意外停止，則所有沒(méi)有被寫(xiě)入磁盤(pán)的行都會(huì)丟失。

二、IGNORE 的使用

IGNORE 是 MySQL 相對(duì)于標(biāo)準(zhǔn) SQL 的擴(kuò)展。如果在新表中有重復(fù)關(guān)鍵字，或者當(dāng) STRICT 模式啟動(dòng)后出現(xiàn)警告，則使用 IGNORE 控制 ALTER TABLE 的運(yùn)行。

如果沒(méi)有指定 IGNORE，當(dāng)重復(fù)關(guān)鍵字錯(cuò)誤發(fā)生時(shí)，復(fù)制操作被放棄，返回前一步驟。

如果指定了 IGNORE，則對(duì)于有重復(fù)關(guān)鍵字的行，只使用***行，其它有沖突的行被刪除。并且，對(duì)錯(cuò)誤值進(jìn)行修正，使之盡量接近正確值。insert ignore into tb(…) value(…) 這樣不用校驗(yàn)是否存在了，有則忽略，無(wú)則添加。

三、ON DUPLICATE KEY UPDATE 的使用

如果您指定了 ON DUPLICATE KEY UPDATE，并且插入行后會(huì)導(dǎo)致在一個(gè) UNIQUE 索引或 PRIMARY KEY 中出現(xiàn)重復(fù)值，則執(zhí)行舊行 UPDATE。例如，如果列 a 被定義為 UNIQUE，并且包含值 1，則以下兩個(gè)語(yǔ)句具有相同的效果：

 
 
 
   
  
  
  mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)   
  
  
  -> ON DUPLICATE KEY UPDATE cc=c+1;   
  
  
  mysql> UPDATE table SET cc=c+1 WHERE a=1;

如果行作為新記錄被插入，則受影響行的值為 1；如果原有的記錄被更新，則受影響行的值為 2。

注釋：如果列 b 也是唯一列，則 INSERT 與此 UPDATE 語(yǔ)句相當(dāng)：

 
 
 
   
  
  
  mysql> UPDATE table SET cc=c+1 WHERE a=1 OR b=2 LIMIT 1;

如果 a=1 OR b=2 與多個(gè)行向匹配，則只有一個(gè)行被更新。通常，您應(yīng)該盡量避免對(duì)帶有多個(gè)唯一關(guān)鍵字的表使用 ON DUPLICATE KEY 子句。您可以在 UPDATE 子句中使用 VALUES(col_name) 函數(shù)從 INSERT…UPDATE 語(yǔ)句的 INSERT 部分引用列值。換句話說(shuō)，如果沒(méi)有發(fā)生重復(fù)關(guān)鍵字沖突，則 UPDATE 子句中的 VALUES(col_name) 可以引用被插入的 col_name 的值。本函數(shù)特別適用于多行插入。VALUES() 函數(shù)只在 INSERT…UPDATE 語(yǔ)句中有意義，其它時(shí)候會(huì)返回 NULL。

示例：

 
 
 
   
  
  
  mysql> INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)   
  
  
     
  
  
  -> ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);

本語(yǔ)句與以下兩個(gè)語(yǔ)句作用相同：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

-> ON DUPLICATE KEY UPDATE c=3;

mysql> INSERT INTO table (a,b,c) VALUES (4,5,6)

-> ON DUPLICATE KEY UPDATE c=9;

當(dāng)您使用 ON DUPLICATE KEY UPDATE 時(shí)，DELAYED 選項(xiàng)被忽略。

文章標(biāo)題：MySQL該如何進(jìn)行大數(shù)據(jù)量快速插入方法和語(yǔ)句優(yōu)化？
轉(zhuǎn)載源于：http://www.fisionsoft.com.cn/article/ccdoedd.html

新聞中心

其他資訊