亚洲精品久久久中文字幕-亚洲精品久久片久久-亚洲精品久久青草-亚洲精品久久婷婷爱久久婷婷-亚洲精品久久午夜香蕉

您的位置:首頁技術文章
文章詳情頁

MySQL大量數據插入各種方法性能分析與比較

瀏覽:11日期:2023-10-17 09:24:56

不管是日常業務數據處理中,還是數據庫的導入導出,都可能遇到需要處理大量數據的插入。插入的方式和數據庫引擎都會對插入速度造成影響,這篇文章旨在從理論和實踐上對各種方法進行分析和比較,方便以后應用中插入方法的選擇。

插入分析

MySQL中插入一個記錄需要的時間由下列因素組成,其中的數字表示大約比例:

連接:(3)發送查詢給服務器:(2)分析查詢:(2)插入記錄:(1x記錄大小)插入索引:(1x索引)關閉:(1)

如果我們每插入一條都執行一個SQL語句,那么我們需要執行除了連接和關閉之外的所有步驟N次,這樣是非常耗時的,優化的方式有一下幾種:

在每個insert語句中寫入多行,批量插入將所有查詢語句寫入事務中利用Load Data導入數據

每種方式執行的性能如下。

Innodb引擎

InnoDB 給 MySQL 提供了具有事務(commit)、回滾(rollback)和崩潰修復能力(crash recovery capabilities)的事務安全(transaction-safe (ACID compliant))型表。InnoDB 提供了行鎖(locking on row level)以及外鍵約束(FOREIGN KEY constraints)。

InnoDB 的設計目標是處理大容量數據庫系統,它的 CPU 利用率是其它基于磁盤的關系數據庫引擎所不能比的。在技術上,InnoDB 是一套放在 MySQL 后臺的完整數據庫系統,InnoDB 在主內存中建立其專用的緩沖池用于高速緩沖數據和索引。

總數100W條數據

插入完后數據庫大小38.6MB(無索引),46.8(有索引)

無索引單條插入 總耗時:229s 峰值內存:246KB有索引單條插入 總耗時:242s 峰值內存:246KB無索引批量插入 總耗時:10s 峰值內存:8643KB有索引批量插入 總耗時:16s 峰值內存:8643KB無索引事務插入 總耗時:78s 峰值內存:246KB有索引事務插入 總耗時:82s 峰值內存:246KB無索引Load Data插入 總耗時:12s 峰值內存:246KB有索引Load Data插入 總耗時:11s 峰值內存:246KBMyIASM引擎

MyISAM 是MySQL默認存貯引擎。設計簡單,支持全文搜索。

總數100W條數據

插入完后數據庫大小19.1MB(無索引),38.6(有索引)

無索引單條插入 總耗時:82s 峰值內存:246KB有索引單條插入 總耗時:86s 峰值內存:246KB無索引批量插入 總耗時:3s 峰值內存:8643KB有索引批量插入 總耗時:7s 峰值內存:8643KB無索引Load Data插入 總耗時:6s 峰值內存:246KB有索引Load Data插入 總耗時:8s 峰值內存:246KB總結

我測試的數據量不是很大,不過可以大概了解這幾種插入方式對于速度的影響,最快的必然是Load Data方式。這種方式相對比較麻煩,因為涉及到了寫文件,但是可以兼顧內存和速度。

測試代碼

<?php$dsn = ’mysql:host=localhost;dbname=test’;$db = new PDO($dsn,’root’,’’,array(PDO::ATTR_PERSISTENT => true));//刪除上次的插入數據$db->query(’delete from `test`’);//開始計時$start_time = time();$sum = 1000000;// 測試選項$num = 1;if ($num == 1){ // 單條插入 for($i = 0; $i < $sum; $i++){$db->query('insert into `test` (`id`,`name`) values ($i,’tsetssdf’)'); }} elseif ($num == 2) { // 批量插入,為了不超過max_allowed_packet,選擇每10萬插入一次 for ($i = 0; $i < $sum; $i++) {if ($i == $sum - 1) { //最后一次 if ($i%100000 == 0){$values = '($i, ’testtest’)';$db->query('insert into `test` (`id`, `name`) values $values'); } else {$values .= ',($i, ’testtest’)';$db->query('insert into `test` (`id`, `name`) values $values'); } break;}if ($i%100000 == 0) { //平常只有在這個情況下才插入 if ($i == 0){$values = '($i, ’testtest’)'; } else {$db->query('insert into `test` (`id`, `name`) values $values');$values = '($i, ’testtest’)'; }} else { $values .= ',($i, ’testtest’)'; } }} elseif ($num == 3) { // 事務插入 $db->beginTransaction(); for($i = 0; $i < $sum; $i++){$db->query('insert into `test` (`id`,`name`) values ($i,’tsetssdf’)'); } $db->commit();} elseif ($num == 4) { // 文件load data $filename = dirname(__FILE__).’/test.sql’; $fp = fopen($filename, ’w’); for($i = 0; $i < $sum; $i++){fputs($fp, '$i,’testtest’rn');} $db->exec('load data infile ’$filename’ into table test fields terminated by ’,’');}$end_time = time();echo '總耗時', ($end_time - $start_time), '秒n';echo '峰值內存', round(memory_get_peak_usage()/1000), 'KBn';?>

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 亚洲一级免费毛片 | 一级毛片观看 | 在线观看免费高清激情爱爱 | 亚洲欧美在线观看91偷拍 | 国产精品免费看香蕉 | 精品哟哟哟国产在线观看不卡 | 欧美黑b| 久久精品国产精品亚洲 | 丁香五月网久久综合 | 欧美日韩一区二区在线视频 | 国产极品白嫩超清在线观看 | 国内自拍一二三四2021 | 女人大毛片一级毛片一 | 国产91福利在线精品剧情尤物 | 国产中文字幕在线视频 | 国产精品一区高清在线观看 | 亚洲国产毛片aaaaa无费看 | 亚洲一区二区综合 | 成人午夜影院在线观看 | 99精品国产自在现线观看 | 亚洲综合在线观看视频 | 九九精品免费 | 亚洲欧美日韩视频一区 | 欧美一区不卡二区不卡三区 | 亚洲国产情侣偷自在线二页 | 国产人做人爱视频精品 | 久久国产首页 | 久久久久久久国产精品影院 | 色综久久天天综合绕视看 | 色多多视频成人影院 | 久久青青草原精品无线观看 | 风间由美中文字幕亚洲一区 | 亚洲ss | 桃花福利视频在线观看 | 91玖玖| 欧美一区二区三区在线视频 | 欧美特黄特刺激a一级淫片 欧美特黄高清免费观看的 欧美爱片 | 能看毛片的网址 | 亚洲国产七七久久桃花 | 午夜亚洲精品久久久久 | 2021久久精品免费观看 |