一 前言

博文《PageCache》中介紹了 PageCache 的優缺點，其實在處理大文件中 PageCache 作用反而沒有那么好。所以本文介紹 Linux 是怎么處理大文件的。

二 起因

首先看一下一個 read() 系統調用流程發生了什么，如下圖：

當調用 read 方法時，會阻塞著，此時內核會向磁盤發起 I/O 請求。

磁盤收到請求后，便會尋址，當磁盤數據準備好后，就會向內核發起 I/O 中斷，告知內核磁盤數據已經準備好。

內核收到 I/O 中斷后，就將數據從磁盤控制器緩沖區拷貝到 PageCache 里。

最后，內核再把 PageCache 中的數據拷貝到用戶緩沖區，于是 read 調用返回。

從上圖不難發現兩個問題：1，這是一個同步 I/O；2，數據多次拷貝。通常分別采用 異步 I/O 和 直接 I/O 來優化上面的問題。

三 異步 I/O、 直接 I/O

異步 I/O 是指發起 I/O 請求后，不再阻塞等待。而是先去處理其他任務，當拷貝完成后再進行處理。

異步 I/O 并沒有涉及到 PageCache，所以使用異步 I/O 就意味著要繞開 PageCache。
繞開 PageCache 的 I/O 叫直接 I/O，使用 PageCache 的 I/O 則叫緩存 I/O。通常，對于磁盤，異步 I/O 只支持直接 I/O。

如下圖：

內核向磁盤發起讀請求，但是可以不等待數據就位就可以返回，于是進程此時可以處理其他任務。

當內核將磁盤中的數據拷貝到進程緩沖區后，進程將接收到內核的通知，再去處理數據。

四 總結

針對大文件的傳輸的方式，應該使用「異步 I/O + 直接 I/O」來替代零拷貝技術。常見的兩種 直接 I/O 應用場景：

如在 MySQL 數據庫中，是使用直接 I/O的。應用程序已經實現了磁盤數據的緩存，那么可以不需要 PageCache 再次緩存，減少額外的性能損耗。

傳輸大文件的時候，由于大文件難以命中 PageCache 緩存，而且會占滿 PageCache 導致「熱點」文件無法充分利用緩存，從而增大了性能開銷，因此，這時應該使用直接 I/O。

總結

以上是生活随笔為你收集整理的Linux - 怎么实现大文件传输的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。