IO多路復用

O多路復用技術是使用一個可以同時監視多個IO阻塞的中間人去監視這些不同的IO對象，這些被監視的任何一個或多個IO對象有消息返回，都將會觸發這個中間人將這些有消息IO對象返回，以供獲取他們的消息。

使用IO多路復用的優點在于進程在單線程的情況下同樣可以同時處理多個IO阻塞。與傳統的多線程/多進程模型比，I/O多路復用系統開銷小，系統不需要創建新的進程或者線程，也不需要維護這些進程和線程的運行，降底了系統的維護工作量，節省了系統資源，

Python提供了selector模塊來實現IO多路復用。同時，不同的操作系統上，這中間人的可選則的類型是不同的，目前常見的有，epoll, kqueue, devpoll, poll,select等；kqueue(BSD，mac支持)，devpoll(solaris支持)和epoll的實現基本相同，epoll在Linux2.5+內核中實現，Windows系統只實現了select。

epoll,poll, select的比較

select和poll使用輪詢的方式去檢測監視的所有IO是否有數據返回，需要不斷的遍歷每一個IO對象，這是一種費時的操作，效率較低。poll優于select的一點是select限制了最大監視IO數為1024，這對于需要大量網絡IO連接的服務器來顯然是不夠的；而poll對于這個個數沒有限制。但是這同樣面臨問題，在使用輪詢的方式監視這些IO時，IO數越大，意味著每一次輪詢消耗的時間越多。效率也就越低，這是輪詢無法解決的問題。

epoll就是為了解決這樣的問題誕生的，首先他沒有最大的監視的IO數的限制，并且沒有使用輪詢的方式去檢測這些IO，而是采用了事件通知機制和回調來獲取這些有消息返回的IO對象，只有“活躍”的IO才會主動的去調用callback函數。這個IO將會直接被處理而不需要輪詢。

selector模塊的基本使用

importselectorsimportsocket#創建一個socketIO對象，監聽后將可以接受請求消息了

sock =socket.socket()

sock.bind(("127.0.0.1", 80))

sock.listen()

slt= selectors.DefaultSelector() #使用系統默認selector，Windows為select，linux為epoll

#將這個socketIO對象加入到，select中監視

slt.register(fileobj=sock, events=selectors.EVENT_READ, data=None)#循環處理消息

whileTrue:#select方法：輪詢這個selector，當有至少一個IO對象有消息返回時候，將會返回這個有消息的IO對象

ready_events = slt.select(timeout=None)print(ready_events) # 準備好的IO對象們break

運行上面的程序，打開瀏覽器訪問127.0.0.1默認80端口，我們的服務器將會輸出以下內容。

#ready_events為一個列表，列表中的每一個元組為一個IO對 和mask值(標識該對象是被讀(1)還是寫(2)激活的，此處為1)

[(SelectorKey(fileobj=,

fd=456, events=1, data=None), 1)]

該SelectorKey對象有三個屬性

fileobj:注冊的socket對象

fd:文件描述符

data:注冊時我們傳入的參數，可以是任意值，綁定到一個屬性上，方便之后使用。

返回了一個列表，包含了注冊到這個select中的所有的有數據可接收IO對象。我們通過瀏覽器訪問該服務器后，該IO檢測到請求消息，將會被返回等待處理。上面使用break是因為我們沒有對這個被激活的IO做處理，select方法將會一直檢測到這個激活信號，就會快速的死循環?？梢匀コ齜reak嘗試一下。

處理這個請求，只需要使用該socket對應方法即可，該socket用于接收請求的連接，使用accept方法就可以處理這個請求。當接受請求之后，又將會產生新的客戶端，我們將其放入selector中一并監視，當有消息來時，如果是連接請求，handle_request()函數處理，如果是客戶端的消息，handle_client_msg()函數處理。下面是部分代碼

#處理這連接請求

defhandle_request(sock:socket.socket):#使用accept方法可以將這個請求處理掉，該socket只有新的連接請求才會被再次被select檢測。

conn, addr =sock.accept()#返回了一個新的socket，添加到同一個select中去監視它

slt.register(conn, selector.EVENT_READ, data=None)#此時slt中有兩個socket，一個接受新的連接，一個與已連接客戶端通信，我們需要做兩個處理方法

defhandle_client_msg(sock:socket.socket)

data= sock.recv() #處理消息，

print(data.decode())whileTrue:

ready_events= slt.select(timeout=None)for event inready_events:if event.fileobj is sock: #新的用戶連接請求，accept接受請求

handle_request(event.fileobj)else: #否則這是客戶端的消息

handle_client_msg(event.fileobj)

于select中有兩類socket，所以我們需要判斷被激活后返回的socket是哪一種，再調用不同的函數做不同的請求。如果這個select中的socket種類有很多，將無法如此判斷。解決辦法就是將處理函數綁定到對應的selectkey對象中，可以使用data參數。

importselectorsimportsocketdef handle_request(sock:socket.socket): #處理新連接

conn, addr =sock.accept()

slt.register(conn, selector.EVENT_READ, data=handle_client_msg)def handle_client_msg(sock:socket.socket) #處理消息

data =sock.recv()print(data.decode())

sock=socket.socket()

sock.bind(("127.0.0.1", 80))

sock.listen()

slt=selectors.DefaultSelector()

slt.register(fileobj=sock, events=selectors.EVENT_READ, data=handle_request)whileTrue:

ready_events= slt.select(timeout=None)for event, _ inready_events:

event.data(event.fileobj)#不同的socket有不同data函數，使用自己綁定的data函數調用，再將自己的socket作為參數。就可以處理不同類型的socket。

上面使用data很好的解決了上面問題，但是需要注意，綁定到data屬性上函數(或者說可調用對象)最終會使用event.data(event.fileobj)的方式調用，這些函數接受的參數應該相同。

總結

以上是生活随笔為你收集整理的python io多路复用_python实现IO多路复用 --- selector的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。