PHP快速導出百萬級數據到CSV或者EXCEL文件
前言: 很多時候,因為數據統計,我們需要將數據庫的數據導出到Excel等文件中,以供數據人員進行查看,如果數據集不大,其實很容易;但是如果對于大數集的導出,將要考慮各種性能的問題,這里以導出數據庫一百萬條數據為例,導出時間不過20秒,值的學習的一種大數據導出方式。
一、導出思路
需要考慮服務器內存 需要考慮程序運行的最大時間 缺少BOM頭導致亂碼的處理 如果導出數量過大,推薦使用循環導出,每次循環這里以導出一萬條為例,循環100次即可全部導出二、導出源碼
下面源碼將數據庫信息修改成自己的即可使用 親測導出一百萬條數據,3個字段,不過20秒 如果服務器硬件不支持一次讀取一萬條數據,可將循環次數提高,導出數量降低<?php //讓程序一直運行 set_time_limit(0); //設置程序運行內存 ini_set(’memory_limit’, ’128M’); $fileName = ’測試導出數據’; header(’Content-Encoding: UTF-8’); header('Content-type:application/vnd.ms-excel;charset=UTF-8'); header(’Content-Disposition: attachment;filename='’ . $fileName . ’.csv'’); //打開php標準輸出流 $fp = fopen(’php://output’, ’a’); //添加BOM頭,以UTF8編碼導出CSV文件,如果文件頭未添加BOM頭,打開會出現亂碼。 fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF)); //添加導出標題 fputcsv($fp, [’姓名’, ’年齡’, ’地區’]); //鏈接數據庫 $dsn = 'mysql:host=127.0.0.1;port=3306;dbname=db_www;charset=utf8'; $pdo = new PDO($dsn, ’root’, ’’); $step = 100; //循環次數 $nums = 10000; //每次導出數量 for($i = 0; $i < $step; $i++) { $start = $i * 10000; $sql = 'SELECT uname,age,city FROM `hd_test` ORDER BY `id` LIMIT {$start},{$nums}'; $pdostatement = $pdo->query($sql); $result = $pdostatement->fetchAll(PDO::FETCH_ASSOC); foreach ($result as $item) { fputcsv($fp, $item); } //每1萬條數據就刷新緩沖區 ob_flush(); flush(); }
三、快速生成百萬條測試數據
這里推薦數據庫的蠕蟲復制命令先建好表后,插2條測試數據后,執行幾次下列命令,即可指數增長
INSERT INTO hd_test (uname,age,city) SELECT uname,age,city FROM hd_test;
到此這篇關于PHP快速導出百萬級數據到CSV或者EXCEL文件的文章就介紹到這了,更多相關PHP 導出百萬級數據內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!
相關文章: