1. 優(yōu)化代碼和算法

一定要先好好看看你的代碼和算法。許多速度問題可以通過實(shí)現(xiàn)更好的算法或添加緩存來解決。本文所述都是關(guān)于這一主題的，但要遵循的一些一般指導(dǎo)方針是：

測量，不要猜測。 測量代碼中哪些部分運(yùn)行時(shí)間最長，先把重點(diǎn)放在那些部分上。 實(shí)現(xiàn)緩存。 如果你從磁盤、網(wǎng)絡(luò)和數(shù)據(jù)庫執(zhí)行多次重復(fù)的查找，這可能是一個(gè)很大的優(yōu)化之處。 重用對象，而不是在每次迭代中創(chuàng)建一個(gè)新對象。Python 必須清理你創(chuàng)建的每個(gè)對象才能釋放內(nèi)存，這就是所謂的“垃圾回收”。許多未使用對象的垃圾回收會大大降低軟件速度。 盡可能減少代碼中的迭代次數(shù)，特別是減少迭代中的操作次數(shù)。 避免（深度）遞歸。 對于 Python 解釋器來說，它需要大量的內(nèi)存和維護(hù)（Housekeeping）。改用生成器和迭代之類的工具。 減少內(nèi)存使用。 一般來說，盡量減少內(nèi)存的使用。例如，對一個(gè)巨大的文件進(jìn)行逐行解析，而不是先將其加載到內(nèi)存中。 不要這樣做。 聽起來很傻是吧？但是你真的需要執(zhí)行這個(gè)操作嗎？不能晚點(diǎn)兒再執(zhí)行嗎？或者可以只執(zhí)行一次，并且它的結(jié)果可以存儲起來，而不是一遍又一遍地反復(fù)計(jì)算？

2. 使用 PyPy

你可能正在使用 Python 的參考實(shí)現(xiàn) CPython。之所以稱為 CPython，是因?yàn)樗怯?C 語言編寫的。如果你確定你的代碼是 CPU 密集型（CPU bound）（如果你不知道這一術(shù)語，請參見本文“使用線程”一節(jié)）的話，那么你應(yīng)該研究一下 PyPy，它是 CPython 的替代方案。這可能是一種快速解決方案，無需更改任何一行代碼。

PyPy 聲稱，它的平均速度比 CPython 要快 4.4 倍。它是通過使用一種稱為 Just-in-time（JIT，即時(shí)編譯）技術(shù)來實(shí)現(xiàn)的。Java 和 .NET 框架就是 JIT 編譯的其他著名的例子。相比之下，CPython 使用解釋來執(zhí)行代碼。雖然這一做法提供了很大的靈活性，但速度也變得慢了下來。

使用 JIT，你的代碼是在運(yùn)行程序時(shí)即時(shí)編譯的。它結(jié)合了 Ahead-of-time（AOT，提前編譯）技術(shù)的速度優(yōu)勢（由 C 和 C++ 等語言使用）和解釋的靈活性。另一個(gè)優(yōu)點(diǎn)是 JIT 編譯器可以在運(yùn)行時(shí)不斷優(yōu)化代碼。代碼運(yùn)行的時(shí)間越長，它就會變得越優(yōu)化。

PyPy 在過去幾年中取得了長足的進(jìn)步，通常情況下，它可以作為 Python 2 和 Python 3 的簡易替換方案。使用 Pipenv 這樣的工具，它也可以完美地工作，試試看吧！

3. 使用線程

大部分軟件都是 IO 密集型，而不是 CPU 密集型。如果你對這些術(shù)語還不熟悉的話，請看看下面的解釋：

IO 密集型（I/O bound）：軟件主要是等待輸入 / 輸出操作完成才能工作。在從網(wǎng)絡(luò)或緩慢的存儲中獲取數(shù)據(jù)時(shí)，通常會出現(xiàn)這種情況。 CPU 密集型（CPU bound）：軟件占用了大量的 CPU 資源。它使用了 CPU 所有的能力來產(chǎn)生所需的結(jié)果。

在等待來自網(wǎng)絡(luò)或磁盤的應(yīng)答時(shí)，你可以使用多個(gè)線程使其他部分保持運(yùn)行狀態(tài)。

一個(gè)線程是一個(gè)獨(dú)立的執(zhí)行序列。默認(rèn)情況下，Python 程序有一個(gè)主線程。但你可以創(chuàng)建更多的主線程，并讓 Python 在它們之間切換。這種切換發(fā)生得如此之快，以至于它們看上去就好像是在同時(shí)并排運(yùn)行一樣。

但與其他編程語言不同的是，Python 并不是同時(shí)運(yùn)行的，而是輪流運(yùn)行。這是因?yàn)?Python 中有一種全局解釋器鎖（ Global Interpreter Lock，GIL）機(jī)制。這一點(diǎn)，以及 threading 庫在 我撰寫的關(guān)于 Python 并發(fā)性的文章 有詳細(xì)的解釋。

我們得到的結(jié)論是，線程對于 IO 密集型的軟件有很大的影響，但對 CPU 密集型的軟件毫無用處。

這是為什么呢？很簡單。當(dāng)一個(gè)線程在等待來自網(wǎng)絡(luò)的答復(fù)時(shí)，其他線程可以繼續(xù)運(yùn)行。如果你要執(zhí)行大量的網(wǎng)絡(luò)請求，線程可以帶來巨大的差異。如果你的線程正在進(jìn)行繁重的計(jì)算，那么它們只是等待輪到它們繼續(xù)計(jì)算，線程化只會帶來更多的開銷。

4. 使用 Asyncio

Asyncio 是 Python 中一個(gè)相對較新的核心庫。它解決了與線程相同的問題：它加快了 IO 密集型軟件的速度，但這是以不同的方式實(shí)現(xiàn)的。我將立即坦承我并非 Python 的 asyncio 擁躉。它相當(dāng)復(fù)雜，特別是對于初學(xué)者來說。我遇到的另一個(gè)問題是， asyncio 庫在過去幾年中有了很大的發(fā)展。網(wǎng)上的教程和示例代碼常常已經(jīng)過時(shí)。不過，這并不意味著它就毫無用處。

5 同時(shí)使用多個(gè)處理器

如果你的軟件是 CPU 密集型的，你通?？梢杂靡环N可以同時(shí)使用更多處理器的方式重寫你的代碼。通過這種方式，你就可以線性地調(diào)整執(zhí)行速度。

這就是所謂的并行性，但并不是所有的算法都可以并行運(yùn)行。例如，簡單的將遞歸算法進(jìn)行并行化是不可能的。但是幾乎總有一種替代算法可以很好地并行工作。

使用更多處理處理器有兩種方式：

在同一臺機(jī)器內(nèi)使用多個(gè)處理器和 / 或內(nèi)核。在 Python 中，這可以通過 multiprocessing 庫來完成。 使用計(jì)算機(jī)網(wǎng)絡(luò)來使用多個(gè)處理器，分布在多臺計(jì)算機(jī)上。我們稱之為分布式計(jì)算。

這篇 關(guān)于 Python 并發(fā)性的文章 側(cè)重于介紹如何在一臺機(jī)器的范圍內(nèi)擴(kuò)展 Python 軟件的方法。它還介紹了 multiprocessing 庫。如果你認(rèn)為這是你需要的資料，一定要去看看。

與 threading 庫不同， multiprocessing 庫繞過了 Python 的全局解釋器鎖。它實(shí)際上是通過派生多個(gè) Python 實(shí)例來實(shí)現(xiàn)這一點(diǎn)的。因此，現(xiàn)在你可以讓多個(gè) Python 進(jìn)程同時(shí)運(yùn)行你的代碼，而不是在單個(gè) Python 進(jìn)程中輪流運(yùn)行線程。

multiprocessing 庫和 threading 庫非常相似?？赡艹霈F(xiàn)的問題是：為什么還要考慮線程呢？答案是可以猜得到的。線程是“輕量”的：它需要更少的內(nèi)存，因?yàn)樗恍枰粋€(gè)正在運(yùn)行的 Python 解釋器。產(chǎn)生新進(jìn)程也還有其開銷。因此，如果你的代碼是 IO 密集型的，線程可能就足夠好了。

一旦你實(shí)現(xiàn)了軟件的并行工作，那么在使用 Hadoop 之類的分布式計(jì)算方面就前進(jìn)了一小步。通過利用云計(jì)算平臺，你可以相對輕松地進(jìn)行擴(kuò)展規(guī)模。例如，你可以在云端中處理大型數(shù)據(jù)集，并在本地使用結(jié)果。使用混合操作的方式，你可以節(jié)省一些資金，因?yàn)樵贫酥械乃懔Ψ浅０嘿F。

總結(jié)

總結(jié)起來就是：

首先考慮優(yōu)化你的算法和代碼。 如果原始速度可以解決你的問題，請考慮使用 PyPy。 對 IO 密集型軟件使用 threading 庫和 asyncio 。 使用 multiprocessing 庫解決 CPU 密集型問題。 如果所有這些措施還不夠的話，可以利用 Hadoop 等云計(jì)算平臺進(jìn)行擴(kuò)展規(guī)模。

以上就是提高python代碼運(yùn)行效率的一些建議的詳細(xì)內(nèi)容，更多關(guān)于提高python代碼運(yùn)行效率的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！