IOCP 网络通讯模型源码解读
From: http://hi.baidu.com/tsingsing/item/1aa5062fa27791fa50fd87b7
以前寫服務器的時候用的是iocp，最近偶然發現windows的 網絡通訊模型除了Iocp,還有好幾種其他類型。這里總結下，感謝原貼作者。
IOCP 網絡通訊模型源碼解讀
老陳有一個在外地工作的女兒，不能經常回來，老陳和她通過信件聯系。他們的信會被郵遞員投遞到他們的信箱里。
這和Socket模型非常類似。下面我就以老陳接收信件為例講解Socket I/O模型。
一：select模型
老陳非常想看到女兒的信。以至于他每隔10分鐘就下樓檢查信箱，看是否有女兒的信，在這種情況下，“下樓檢查信箱”然后回到樓上耽誤了老陳太多的時間，以至于老陳無法做其他工作。
select模型和老陳的這種情況非常相似：周而復始地去檢查......如果有數據......接收/發送.......
使用線程來select應該是通用的做法：?
procedure TListenThread.Execute;?
var?
addr : TSockAddrIn;?
fd_read : TFDSet;?
timeout : TTimeVal;?
ASock,?
MainSock : TSocket;?
len, i : Integer;?
begin?
MainSock := socket( AF_INET, SOCK_STREAM, IPPROTO_TCP );?
addr.sin_family := AF_INET;?
addr.sin_port := htons(5678);?
addr.sin_addr.S_addr := htonl(INADDR_ANY);?
bind( MainSock, @addr, sizeof(addr) );?
listen( MainSock, 5 );?
while (not Terminated) do?
begin?
FD_ZERO( fd_read );?
FD_SET( MainSock, fd_read );?
timeout.tv_sec := 0;?
timeout.tv_usec := 500;?
if select( 0, @fd_read, nil, nil, @timeout ) > 0 then //至少有1個等待Accept的connection?
begin?
if FD_ISSET( MainSock, fd_read ) then?
begin?
for i:=0 to fd_read.fd_count-1 do //注意，fd_count <= 64，也就是說select只能同時管理最多64個連接?
begin?
len := sizeof(addr);?
ASock := accept( MainSock, addr, len );?
if ASock <> INVALID_SOCKET then?
....//為ASock創建一個新的線程，在新的線程中再不停地select?
end;?
end; ?
end;?
end; //while (not self.Terminated)?
shutdown( MainSock, SD_BOTH );?
closesocket( MainSock );?
end;?
二：WSAAsyncSelect模型
后來，老陳使用了微軟公司的新式信箱。這種信箱非常先進，一旦信箱里有新的信件，蓋茨就會給老陳打電話：喂，大爺，你有新的信件了！從此，老陳再也不必頻繁上下樓檢查信箱了，牙也不疼了，你瞅準了，藍天......不是，微軟......
微軟提供的WSAAsyncSelect模型就是這個意思。
WSAAsyncSelect模型是Windows下最簡單易用的一種Socket I/O模型。使用這種模型時，Windows會把網絡事件以消息的形勢通知應用程序。
首先定義一個消息標示常量：?
const WM_SOCKET = WM_USER + 55;?
再在主Form的private域添加一個處理此消息的函數聲明：?
private?
procedure WMSocket(var Msg: TMessage); message WM_SOCKET;?
然后就可以使用WSAAsyncSelect了：?
var?
addr : TSockAddr;?
sock : TSocket;?
sock := socket( AF_INET, SOCK_STREAM, IPPROTO_TCP );?
addr.sin_family := AF_INET;?
addr.sin_port := htons(5678);?
addr.sin_addr.S_addr := htonl(INADDR_ANY);?
bind( m_sock, @addr, sizeof(SOCKADDR) );?
WSAAsyncSelect( m_sock, Handle, WM_SOCKET, FD_ACCEPT or FD_CLOSE );?
listen( m_sock, 5 );?
....?
應用程序可以對收到WM_SOCKET消息進行分析，判斷是哪一個socket產生了網絡事件以及事件類型：?
procedure TfmMain.WMSocket(var Msg: TMessage);?
var?
sock : TSocket;?
addr : TSockAddrIn;?
addrlen : Integer;?
buf : Array [0..4095] of Char;?
begin?
//Msg的WParam是產生了網絡事件的socket句柄，LParam則包含了事件類型?
case WSAGetSelectEvent( Msg.LParam ) of?
FD_ACCEPT :?
begin?
addrlen := sizeof(addr);?
sock := accept( Msg.WParam, addr, addrlen );?
if sock <> INVALID_SOCKET then?
WSAAsyncSelect( sock, Handle, WM_SOCKET, FD_READ or FD_WRITE or FD_CLOSE );?
end;?
FD_CLOSE : closesocket( Msg.WParam );?
FD_READ : recv( Msg.WParam, buf[0], 4096, 0 );?
FD_WRITE : ;?
end;?
end;?
三：WSAEventSelect模型
后來，微軟的信箱非常暢銷，購買微軟信箱的人以百萬計數......以至于蓋茨每天24小時給客戶打電話，累得腰酸背痛，喝蟻力神都不好使。微軟改進了他們的信箱：在客戶的家中添加一個附加裝置，這個裝置會監視客戶的信箱，每當新的信件來臨，此裝置會發出“新信件到達”聲，提醒老陳去收信。蓋茨終于可以睡覺了。
同樣要使用線程：?
procedure TListenThread.Execute;?
var?
hEvent : WSAEvent;?
ret : Integer;?
ne : TWSANetworkEvents;?
sock : TSocket;?
adr : TSockAddrIn;?
sMsg : String;?
Index,?
EventTotal : DWORD;?
EventArray : Array [0..WSA_MAXIMUM_WAIT_EVENTS-1] of WSAEVENT;?
begin?
...socket...bind...?
hEvent := WSACreateEvent();?
WSAEventSelect( ListenSock, hEvent, FD_ACCEPT or FD_CLOSE );?
...listen...?
while ( not Terminated ) do?
begin?
Index := WSAWaitForMultipleEvents( EventTotal, @EventArray[0], FALSE, WSA_INFINITE, FALSE );?
FillChar( ne, sizeof(ne), 0 );?
WSAEnumNetworkEvents( SockArray[Index-WSA_WAIT_EVENT_0], EventArray[Index-WSA_WAIT_EVENT_0], @ne );?
if ( ne.lNetworkEvents and FD_ACCEPT ) > 0 then?
begin?
if ne.iErrorCode[FD_ACCEPT_BIT] <> 0 then?
continue;?
ret := sizeof(adr);?
sock := accept( SockArray[Index-WSA_WAIT_EVENT_0], adr, ret );?
if EventTotal > WSA_MAXIMUM_WAIT_EVENTS-1 then//這里WSA_MAXIMUM_WAIT_EVENTS同樣是64?
begin?
closesocket( sock );?
continue;?
end;?
hEvent := WSACreateEvent();?
WSAEventSelect( sock, hEvent, FD_READ or FD_WRITE or FD_CLOSE );?
SockArray[EventTotal] := sock;?
EventArray[EventTotal] := hEvent;?
Inc( EventTotal );?
end;?
if ( ne.lNetworkEvents and FD_READ ) > 0 then?
begin?
if ne.iErrorCode[FD_READ_BIT] <> 0 then?
continue;?
FillChar( RecvBuf[0], PACK_SIZE_RECEIVE, 0 );?
ret := recv( SockArray[Index-WSA_WAIT_EVENT_0], RecvBuf[0], PACK_SIZE_RECEIVE, 0 );?
......?
end;?
end;?
end;?
?
四：Overlapped I/O 事件通知模型
后來，微軟通過調查發現，老陳不喜歡上下樓收發信件，因為上下樓其實很浪費時間。于是微軟再次改進他們的信箱。新式的信箱采用了更為先進的技術，只要用戶告訴微軟自己的家在幾樓幾號，新式信箱會把信件直接傳送到用戶的家中，然后告訴用戶，你的信件已經放到你的家中了！老陳很高興，因為他不必再親自收發信件了！
Overlapped I/O 事件通知模型和WSAEventSelect模型在實現上非常相似，主要區別在“Overlapped”，Overlapped模型是讓應用程序使用重疊數據結構(WSAOVERLAPPED)，一次投遞一個或多個Winsock I/O請求。這些提交的請求完成后，應用程序會收到通知。什么意思呢？就是說，如果你想從socket上接收數據，只需要告訴系統，由系統為你接收數據，而你需要做的只是為系統提供一個緩沖區~~~~~
Listen線程和WSAEventSelect模型一模一樣，Recv/Send線程則完全不同：?
procedure TOverlapThread.Execute;?
var?
dwTemp : DWORD;?
ret : Integer;?
Index : DWORD;?
begin?
......?
while ( not Terminated ) do?
begin?
Index := WSAWaitForMultipleEvents( FLinks.Count, @FLinks.Events[0], FALSE, RECV_TIME_OUT, FALSE );?
Dec( Index, WSA_WAIT_EVENT_0 );?
if Index > WSA_MAXIMUM_WAIT_EVENTS-1 then //超時或者其他錯誤?
continue;?
WSAResetEvent( FLinks.Events[Index] );?
WSAGetOverlappedResult( FLinks.Sockets[Index], FLinks.pOverlaps[Index], @dwTemp, FALSE,FLinks.pdwFlags[Index]^ );?
if dwTemp = 0 then //連接已經關閉?
begin?
......?
continue;?
end else?
begin?
fmMain.ListBox1.Items.Add( FLinks.pBufs[Index]^.buf );?
end;?
//初始化緩沖區?
FLinks.pdwFlags[Index]^ := 0;?
FillChar( FLinks.pOverlaps[Index]^, sizeof(WSAOVERLAPPED), 0 );?
FLinks.pOverlaps[Index]^.hEvent := FLinks.Events[Index];?
FillChar( FLinks.pBufs[Index]^.buf^, BUFFER_SIZE, 0 );?
//遞一個接收數據請求?
WSARecv( FLinks.Sockets[Index], FLinks.pBufs[Index], 1, FLinks.pdwRecvd[Index]^, FLinks.pdwFlags[Index]^, FLinks.pOverlaps[Index], nil );?
end;?
end;?
五：Overlapped I/O 完成例程模型
老陳接收到新的信件后，一般的程序是：打開信封----掏出信紙----閱讀信件----回復信件......為了進一步減輕用戶負擔，微軟又開發了一種新的技術：用戶只要告訴微軟對信件的操作步驟，微軟信箱將按照這些步驟去處理信件，不再需要用戶親自拆信/閱讀/回復了！老陳終于過上了小資生活！
Overlapped I/O 完成例程要求用戶提供一個回調函數，發生新的網絡事件的時候系統將執行這個函數：?
procedure WorkerRoutine( const dwError, cbTransferred : DWORD;?
const?
lpOverlapped : LPWSAOVERLAPPED; const dwFlags : DWORD ); stdcall;?
然后告訴系統用WorkerRoutine函數處理接收到的數據：?
WSARecv( m_socket, @FBuf, 1, dwTemp, dwFlag, @m_overlap, WorkerRoutine );?
然后......沒有什么然后了，系統什么都給你做了！微軟真實體貼！?
while ( not Terminated ) do//這就是一個Recv/Send線程要做的事情......什么都不用做啊！！！?
begin?
if SleepEx( RECV_TIME_OUT, True ) = WAIT_IO_COMPLETION then //?
begin?
;?
end else?
begin?
continue;?
end;?
end;?
?
六：IOCP模型
微軟信箱似乎很完美，老陳也很滿意。但是在一些大公司情況卻完全不同！這些大公司有數以萬計的信箱，每秒鐘都有數以百計的信件需要處理，以至于微軟信箱經常因超負荷運轉而崩潰！需要重新啟動！微軟不得不使出殺手锏......
微軟給每個大公司派了一名名叫“Completion Port”的超級機器人，讓這個機器人去處理那些信件！
“Windows NT小組注意到這些應用程序的性能沒有預料的那么高。特別的，處理很多同時的客戶請求意味著很多線程并發地運行在系統中。因為所有這些線程都是可運行的[沒有被掛起和等待發生什么事]，Microsoft意識到NT內核花費了太多的時間來轉換運行線程的上下文[Context]，線程就沒有得到很多CPU時間來做它們的工作。大家可能也都感覺到并行模型的瓶頸在于它為每一個客戶請求都創建了一個新線程。創建線程比起創建進程開銷要小，但也遠不是沒有開銷的。我們不妨設想一下：如果事先開好N個線程，讓它們在那hold[堵塞]，然后可以將所有用戶的請求都投遞到一個消息隊列中去。然后那N個線程逐一從消息隊列中去取出消息并加以處理。就可以避免針對每一個用戶請求都開線程。不僅減少了線程的資源，也提高了線程的利用率。理論上很不錯，你想我等泛泛之輩都能想出來的問題，Microsoft又怎會沒有考慮到呢?”-----摘自nonocast的《理解I/O Completion Port》
先看一下IOCP模型的實現：?
//創建一個完成端口?
FCompletPort := CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );?
//接受遠程連接，并把這個連接的socket句柄綁定到剛才創建的IOCP上?
AConnect := accept( FListenSock, addr, len);?
CreateIoCompletionPort( AConnect, FCompletPort, nil, 0 );?
//創建CPU數*2 + 2個線程?
for i:=1 to si.dwNumberOfProcessors*2+2 do?
begin?
AThread := TRecvSendThread.Create( false );?
AThread.CompletPort := FCompletPort;//告訴這個線程，你要去這個IOCP去訪問數據?
end;?
就這么簡單，我們要做的就是建立一個IOCP，把遠程連接的socket句柄綁定到剛才創建的IOCP上，最后創建n個線程，并告訴這n個線程到這個IOCP上去訪問數據就可以了。?
再看一下TRecvSendThread線程都干些什么：?
procedure TRecvSendThread.Execute;?
var?
......?
begin?
while (not self.Terminated) do?
begin?
//查詢IOCP狀態（數據讀寫操作是否完成）?
GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );?
if BytesTransd <> 0 then?
....;//數據讀寫操作完成?
?
//再投遞一個讀數據請求?
WSARecv( CompletKey, @(pPerIoDat^.BufData), 1, BytesRecv, Flags, @(pPerIoDat^.Overlap), nil );?
end;?
end;?
?
讀寫線程只是簡單地檢查IOCP是否完成了我們投遞的讀寫操作，如果完成了則再投遞一個新的讀寫請求。
應該注意到，我們創建的所有TRecvSendThread都在訪問同一個IOCP（因為我們只創建了一個IOCP），并且我們沒有使用臨界區！難道不會產生沖突嗎？不用考慮同步問題嗎？
這正是IOCP的奧妙所在。IOCP不是一個普通的對象，不需要考慮線程安全問題。它會自動調配訪問它的線程：如果某個socket上有一個線程A正在訪問，那么線程B的訪問請求會被分配到另外一個socket。這一切都是由系統自動調配的，我們無需過問。
注：iocp都要使用線程池，其中的線程數目一般為當前電腦中cpu個數的2倍。
guxinyi
2012-04-23, 10:17:10
下面這段也是來自網絡，解釋得很好：
IOCP這個名詞我已經聽說好久了，當我第一次接觸windows網絡編程書時，就看到了書上對IOCP的描述。
當時記憶深處就記得windows有5種網絡模型，select最基本，也最通用。但是通用就意味著效率低，因為要通用就必須兼容所有的其他操作系統，各種環境等等，所以效率是相當低的。這個也是網絡編程的一個標準模式。然后其他就有異步Select，Event選擇，重疊IO，這幾個模式都有幾個弊端，那就是處理的套接字有限，而且上限還是64個，但是其優點就是配合windows應用程序的消息驅動模式非常的方便。當初自己還用異步選擇模式寫了一個網絡版游戲。但沒有測試性能如何，不過反正高不了哪里去。
今天我再次重新拿起IOCP來學習，談談對IOCP的認識。
首先IOCP從字面解釋就是 端口上輸入輸入完成。端口其實就是port，也可以說是計算機網絡上開放的端口的port，也可以說是一個套接字，其本質就是一條聯通了的TCP網絡連接。網絡編程無非就是在這條聯通了的網絡鏈路上進行讀寫數據，就像我們讀寫文件一樣。不過網絡讀寫數據是讀取的遠程數據，由于是遠程，太遠了，我們不可以***，所以我們建立了一條管道，這個管道就相當于是TCP連接。因為這個管道太長，或者這個管道太彎曲，造成了網絡讀寫操作是一件令人頭痛的事情。
普通的阻塞情況下，如果你要接收數據，那么你就要一直在這個管道的端口等待數據，因為你不知道什么時候數據會到來。如果一直不到來，你就需要一直等待。如果你要發送數據也一樣，你需要一點一點的發送數據，直到發送完畢，你才可以騰出手來去做其他事情。在這種模式下，任何事情你都需要親力親為。但是你作為一個天才級的人物，把你派到這里來等待管道送來的數據是不是大材小用了呢？因為以你的聰明才智，你完全就是去科學院研究技術的人才。就像一個軍事指揮家，他的職責是指揮軍事，洞察敵情，如果你把派上前線去打仗當小卒，那就只有死得硬翹翹的，浪費了你的存在價值。這個時候，windows就在為你設身處地的思考問題，于是乎給大家提供了IOCP網絡操作模型。
說了半天，這個是個什么模型呢？
“喂，小蜜AAA嗎？你去把端口1593上的數據給我接收了”
“喂，小蜜XXX嗎？你去把端口2568上的數據給我接收了”
“喂，小蜜YYY嗎？我這里有一份重要數據要送到端口8888上，你去給我送了”
呵呵，夠牛X吧，小蜜都是N個。此時，你是主腦級的人物，你只需要將自己的精力專注到公司的邏輯處理上去，那些跑腿的事情，你就叫小蜜去吧。
30分鐘、50分鐘后，小蜜AAA和YYY回來了。然后報告你說：端口數據已經收到了，你要怎么處理?;8888上的數據我已經發送了一半，另外一半因為前面立交橋斷裂，發送失敗了，怎么辦？
這個時候，你已經吃了早飯，開了3個會，并且回家還洗了一個澡回到公司跟小蜜UU喝杯一個早茶。端口數據收發并沒有影響你手上的其他事情完成。這個就是IOCP模式，IOCP就是你的無數個小蜜。
最后，吃中午飯的時候，你的小蜜XXX終于回來報告了，說：嗎的，等了半天，終于把2568上的數據收到了，老大，怎么處理啊？
你只需要說一句：那個AAA，XXX把收到的數據給我扔到工作線程處理部門去，他們會處理那些數據，你們別管了，給老子繼續去各自端口看看還有沒有數據到來。那個YYY你去再發送一次看看呢，是不是真的道路損毀斷線了？
OK，現在你可以繼續去處理其他事情了，等小蜜做完事情后自然會來通報你如何處理。
轉載于:https://blog.51cto.com/zhuxianzhong/1607595
總結
以上是生活随笔為你收集整理的IOCP 网络通讯模型源码解读的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 引入JQuery提示:Uncaught
- 下一篇： goldwave