並發基礎練習題 (Practice - Concurrency Fundamentals)

並發:兩個或兩個以上的獨立活動同時發生。在電腦系統中,指單一系統同時執行多個獨立任務。並發不是新事物(多工 OS 早已存在),近年流行的原因是多核處理器帶來真正的平行。

單核靠任務切換:單位時間內對任務多次快速輪替,造成「並發的假象」。多核機器具硬體並發,可真正平行執行多個任務。注意:即使是多核系統,任務數通常仍超過硬體執行緒數,因此任務切換依然存在;兩者行為上有微妙差異,不能完全等同。

OS 必須:(1) 保存當前任務的 CPU 狀態與指令指標;(2) 計算要切換到哪個任務;(3) 將新任務載入處理器。此外 CPU 可能要把新任務的指令與資料載入快取,期間 CPU 停止執行指令,造成額外延遲。

多行程:透過 IPC(訊號、socket、檔案、管線)通訊——複雜且慢(OS 保護行程資料),啟動與管理開銷高;優點是 OS 提供保護、較易寫出安全的並發程式,且可跨機器分散。多執行緒:共享位址空間,資料可直接傳遞、開銷遠小;代價是缺乏保護,須自行確保資料一致性。C++ 標準只支援多執行緒,未對 IPC 提供原生支援(需平台 API)。

平行注重效能:利用硬體提高資料處理速度時談平行性。並發注重任務分離與任務回應性。兩個術語的存在就是為了區別多執行緒中不同的關注點。

抽象懲罰:實現相同功能時,使用高階工具與底層工具之間的開銷差。委員會的目標:高階 API 與底層 API 的效能收益相當,讓標準庫在主流平台都有高效實現(極低抽象懲罰);同時提供原子操作庫等底層工具供追求極致效能者使用。

單執行緒:播放迴圈中必須定期輪詢使用者輸入,「播放」與「UI」代碼被迫耦合。多執行緒(建議):一個執行緒跑 UI、一個跑播放,以分離關注點;UI 執行緒可立即回應(即使只是顯示「請稍候」),兩者只在按下「暫停」等時刻人為關聯。此劃分基於概念設計,執行緒數與 CPU 核心數無關。

#include <iostream>
#include <thread>
void hello() { std::cout << "Hello Concurrent World\n"; }
int main()
{
    std::thread t(hello);
    t.join();
}

省略 join() 時,初始執行緒不會等待,main() 可能在新執行緒執行前就結束;且未 join()/detach() 的 std::thread 解構時會呼叫 std::terminate()(第2章)。

(a) 是任務平行(依流程切分單一任務)——通常較複雜,因為各部分間可能存在依賴。(b) 是資料平行的應用(對多組資料同時執行相同操作),著重吞吐量:每張圖耗時不變,但相同時間處理更多資料。(b) 通常更接近易並行 (embarrassingly parallel):圖與圖之間無依賴,可隨硬體執行緒數擴展;(a) 若含不易並行的部分,只能切成固定數量的任務,擴展性受限。

問題:(1) 4GB 位址空間 ÷ 1MB 堆疊 → 約 4096 條執行緒就耗盡全部位址空間(代碼、靜態資料、堆積無處可放);(2) 執行緒越多,context switch 越頻繁,整體效能反而下降;(3) 每條執行緒的啟動開銷與 OS 管理資源都在累積。改善:使用執行緒池限制執行緒數量、依硬體並發能力調整執行緒數(參見第9章);但執行緒池不是靈丹妙藥,仍需整體設計配合。64-bit 系統無此位址空間上限,但其他資源依然有限。