libevent的使用(socket)
From: http://blog.csdn.net/kaitiren/article/details/35253319
?
這篇文章介紹下libevent在socket異步編程中的應(yīng)用。在一些對(duì)性能要求較高的網(wǎng)絡(luò)應(yīng)用程序中,為了防止程序阻塞在socket I/O操作上造成程序性能的下降,需要使用異步編程,即程序準(zhǔn)備好讀寫的函數(shù)(或接口)并向系統(tǒng)注冊(cè),然后在需要的時(shí)候只向系統(tǒng)提交讀寫的請(qǐng)求之后就繼續(xù)做自己的事情,實(shí)際的讀寫操作由系統(tǒng)在合適的時(shí)候調(diào)用我們程序注冊(cè)的接口進(jìn)行。異步編程會(huì)給一些程序猿帶來(lái)一些理解和編寫上的困難,因?yàn)槲覀兺ǔ懙囊恍┖?jiǎn)單的程序都是順序執(zhí)行的,而異步編程將程序的執(zhí)行順序打亂了,有些代碼什么情況下執(zhí)行往往不是太清晰,因此也使得編程的復(fù)雜度大大增加。
??? Note:這里系統(tǒng)這個(gè)詞使用的不準(zhǔn)確,實(shí)際上可以是自己封裝的異步調(diào)用機(jī)制,更常見的是一些可用的庫(kù),比如libevent,ACE等
?
??? 想了解libevent的工作原理可以自行查詢資料,網(wǎng)上相關(guān)的介紹一大堆,也可以自己閱讀源碼進(jìn)行分析,本文僅從使用的角度做一個(gè)簡(jiǎn)單的介紹,看如何快速的將libevent引入我們的程序中。任何應(yīng)用都免不了需要承載其功能的底層OS,libevent也不例外,其內(nèi)部是通過(guò)封裝操作系統(tǒng)的IO復(fù)用機(jī)制實(shí)現(xiàn)的,在linux系統(tǒng)上可能是epoll、kqueu之類的,取決于具體的OS所支持的IO復(fù)用方式,在我的系統(tǒng)上是epoll,因此可以理解為libevent提供了一個(gè)比epoll更為友好的操作接口,將程序猿從網(wǎng)絡(luò)IO處理的細(xì)節(jié)中解放出來(lái),使其可以專注于目標(biāo)問(wèn)題的處理上。
?
??? 首先,安裝libevent到任意目錄下
wget http://monkey.org/~provos/libevent-1.4.13-stable.tar.gz tar –xzvf libevent-1.4.13-stable.tar.gz cd libevent-1.4.13-stable ./configure --prefix=/home/mydir/libevent make && make install?
??? 現(xiàn)在假定我們要設(shè)計(jì)一個(gè)服務(wù)器程序,用于接收客戶端的數(shù)據(jù),并將接收的數(shù)據(jù)回寫給客戶端。下面來(lái)構(gòu)造該程序,由于本僅僅是展示一個(gè)Demo,因此程序中將不對(duì)錯(cuò)誤進(jìn)行處理,假設(shè)所有的調(diào)用都成功
2?#define?PORT 253413?#define?BACKLOG 5
4?#define?MEM_SIZE 1024
5?
6?struct?event_base*?base;
7?
8?int?main(int?argc,?char*?argv[])
9?{
10?????struct?sockaddr_in my_addr;
11?????int?sock;
12?
13???? sock?=?socket(AF_INET, SOCK_STREAM,?0);?
14?????int?yes?=?1;
15???? setsockopt(sock, SOL_SOCKET, SO_REUSEADDR,?&yes,?sizeof(int));
16???? memset(&my_addr,?0,?sizeof(my_addr));
17???? my_addr.sin_family?=?AF_INET;
18???? my_addr.sin_port?=?htons(PORT);
19???? my_addr.sin_addr.s_addr?=?INADDR_ANY;
20???? bind(sock, (struct?sockaddr*)&my_addr,?sizeof(struct?sockaddr));
21???? listen(sock, BACKLOG);
22?
23?????struct?event?listen_ev;
24?????base?=?event_base_new();
25???? event_set(&listen_ev, sock, EV_READ|EV_PERSIST, on_accept, NULL);
26???? event_base_set(base,?&listen_ev);
27???? event_add(&listen_ev, NULL);
28???? event_base_dispatch(base);
29?
30?????return?0;
31?}
??? 第13行說(shuō)明創(chuàng)建的是一個(gè)TCP socket。第15行是服務(wù)器程序的通常做法,設(shè)置了該選項(xiàng)后,在父子進(jìn)程模型中,當(dāng)子進(jìn)程為客戶服務(wù)的時(shí)候如果父進(jìn)程退出,可以重新啟動(dòng)程序完成服務(wù)的無(wú)縫升級(jí),否則在所有父子進(jìn)程完全退出前再啟動(dòng)程序會(huì)在該端口上綁定失敗,也即不能完成無(wú)縫升級(jí)的操作(更多信息可以參考該函數(shù)說(shuō)明或Steven先生的<網(wǎng)絡(luò)編程>)。第24行用于創(chuàng)建一個(gè)事件處理的全局變量,可以理解為這是一個(gè)負(fù)責(zé)集中處理各種出入IO事件的總管家,它負(fù)責(zé)接收和派發(fā)所有輸入輸出IO事件的信息,這里調(diào)用的是函數(shù)event_base_new(), 很多程序里這里用的是event_init(),區(qū)別就是前者是線程安全的、而后者是非線程安全的,后者在其官方說(shuō)明中已經(jīng)被標(biāo)志為過(guò)時(shí)的函數(shù)、且建議用前者代替,libevent中還有很多類似的函數(shù),比如建議用event_base_dispatch代替event_dispatch,用event_assign代替event_set和event_base_set等,關(guān)于libevent接口的詳細(xì)說(shuō)明見其官方說(shuō)明libevent_doc. 第25行說(shuō)明在listen_en這個(gè)事件監(jiān)聽sock這個(gè)描述字的讀操作,當(dāng)讀消息到達(dá)是調(diào)用on_accept函數(shù),EV_PERSIST參數(shù)告訴系統(tǒng)持續(xù)的監(jiān)聽sock上的讀事件,如果不加該參數(shù),每次要監(jiān)聽該事件時(shí)就要重復(fù)的調(diào)用26行的event_add函數(shù),從前面的代碼可知,sock這個(gè)描述字是bind到本地的socket端口上,因此其對(duì)應(yīng)的可讀事件自然就是來(lái)自客戶端的連接到達(dá),我們就可以調(diào)用accept無(wú)阻塞的返回客戶的連接了。第26行將listen_ev注冊(cè)到base這個(gè)事件中,相當(dāng)于告訴處理IO的管家請(qǐng)留意我的listen_ev上的事件。第27行相當(dāng)于告訴處理IO的管家,當(dāng)有我的事件到達(dá)時(shí)你發(fā)給我(調(diào)用on_accept函數(shù)),至此對(duì)listen_ev的初始化完畢。第28行正式啟動(dòng)libevent的事件處理機(jī)制,使系統(tǒng)運(yùn)行起來(lái),運(yùn)行程序的話會(huì)發(fā)現(xiàn)event_base_dispatch是一個(gè)無(wú)限循環(huán)。
?
下面是on_accept函數(shù)的內(nèi)容
1: void on_accept(int sock, short event, void* arg) 2: { 3: struct sockaddr_in cli_addr; 4: int newfd, sin_size; 5: // read_ev must allocate from heap memory, otherwise the program would crash from segmant fault 6: struct event* read_ev = (struct event*)malloc(sizeof(struct event));; 7: sin_size = sizeof(struct sockaddr_in); 8: newfd = accept(sock, (struct sockaddr*)&cli_addr, &sin_size); 9: event_set(read_ev, newfd, EV_READ|EV_PERSIST, on_read, read_ev); 10: event_base_set(base, read_ev); 11: event_add(read_ev, NULL); 12: }??? 第9-12與前面main函數(shù)的24-26相同,即在代表客戶的描述字newfd上監(jiān)聽可讀事件,當(dāng)有數(shù)據(jù)到達(dá)是調(diào)用on_read函數(shù)。這里有亮點(diǎn)需要注意,一是read_ev需要從堆里malloc出來(lái),如果是在棧上分配,那么當(dāng)函數(shù)返回時(shí)變量占用的內(nèi)存會(huì)被釋放,因此事件主循環(huán)event_base_dispatch會(huì)訪問(wèn)無(wú)效的內(nèi)存而導(dǎo)致進(jìn)程崩潰(即crash);第二個(gè)要注意的是第9行read_ev作為參數(shù)傳遞給了on_read函數(shù)。
?
下面是on_read函數(shù)的內(nèi)容
1: void on_read(int sock, short event, void* arg) 2: { 3: struct event* write_ev; 4: int size; 5: char* buffer = (char*)malloc(MEM_SIZE); 6: bzero(buffer, MEM_SIZE); 7: size = recv(sock, buffer, MEM_SIZE, 0); 8: printf("receive data:%s, size:%d\n", buffer, size); 9: if (size == 0) { 10: event_del((struct event*)arg); 11: free((struct event*)arg); 12: close(sock); 13: return; 14: } 15: write_ev = (struct event*) malloc(sizeof(struct event));; 16: event_set(write_ev, sock, EV_WRITE, on_write, buffer); 17: event_base_set(base, write_ev); 18: event_add(write_ev, NULL); 19: }??? 第9行,當(dāng)從socket讀返回0標(biāo)志對(duì)方已經(jīng)關(guān)閉了連接,因此這個(gè)時(shí)候就沒(méi)必要繼續(xù)監(jiān)聽該套接口上的事件,由于EV_READ在on_accept函數(shù)里是用EV_PERSIST參數(shù)注冊(cè)的,因此要顯示的調(diào)用event_del函數(shù)取消對(duì)該事件的監(jiān)聽。第18-21行與on_accept函數(shù)的6-11行類似,當(dāng)可寫時(shí)調(diào)用on_write函數(shù),注意第19行將buffer作為參數(shù)傳遞給了on_write。這段程序還有比較嚴(yán)重的問(wèn)題,后面進(jìn)行說(shuō)明。
?
on_write函數(shù)的實(shí)現(xiàn)
1?void?on_write(int?sock,?short?event,?void*?arg)2?{
3?????char*?buffer?=?(char*)arg;
4???? send(sock, buffer, strlen(buffer),?0);?
5?
6???? free(buffer);
7?}?
???? on_write函數(shù)中向客戶端回寫數(shù)據(jù),然后釋放on_read函數(shù)中malloc出來(lái)的buffer。在很多書合編程指導(dǎo)中都很強(qiáng)調(diào)資源的所有權(quán),經(jīng)常要求誰(shuí)分配資源、就由誰(shuí)釋放資源,這樣對(duì)資源的管理指責(zé)就更明確,不容易出問(wèn)題,但是通過(guò)該例子我們發(fā)現(xiàn)在異步編程中資源的分配與釋放往往是由不同的所有者操作的,因此也是比較容易出問(wèn)題的地方。
?
??? 其實(shí)在on_read函數(shù)中從socket讀取數(shù)據(jù)后程序就可以直接調(diào)用write/send接口向客戶回寫數(shù)據(jù)了,因?yàn)閷懯录呀?jīng)滿足,不存在異步不異步的問(wèn)題,這里進(jìn)行on_write的異步操作僅僅是為了說(shuō)明異步編程中資源的管理與釋放的問(wèn)題,另外一方面,直接調(diào)用write/send函數(shù)向客戶端寫數(shù)據(jù)可能導(dǎo)致程序較長(zhǎng)時(shí)間阻塞在IO操作上,比如socket的輸出緩沖區(qū)已滿,則write/send操作阻塞到有可用的緩沖區(qū)之后才能進(jìn)行實(shí)際的寫操作,而通過(guò)向?qū)懯录?cè)on_accept函數(shù),那么libevent會(huì)在合適的時(shí)間調(diào)用我們的callback函數(shù),(比如對(duì)于會(huì)引起IO阻塞的情況比如socket輸出緩沖區(qū)滿,則由libevent設(shè)計(jì)算法來(lái)處理,如此當(dāng)回調(diào)on_accept函數(shù)時(shí)我們?cè)谡{(diào)用IO操作就不會(huì)發(fā)生真正的IO之外的阻塞)。注:前面括號(hào)中是我個(gè)人認(rèn)為一個(gè)庫(kù)應(yīng)該實(shí)現(xiàn)的功能,至于libevent是不是實(shí)現(xiàn)這樣的功能并不清楚也無(wú)意深究。
?
??? 再來(lái)看看前面提到的on_read函數(shù)中存在的問(wèn)題,首先write_ev是動(dòng)態(tài)分配的內(nèi)存,但是沒(méi)有釋放,因此存在內(nèi)存泄漏,另外,on_read中進(jìn)行malloc操作,那么當(dāng)多次調(diào)用該函數(shù)的時(shí)候就會(huì)造成內(nèi)存的多次泄漏。這里的解決方法是對(duì)socket的描述字可以封裝一個(gè)結(jié)構(gòu)體來(lái)保護(hù)讀、寫的事件以及數(shù)據(jù)緩沖區(qū),整理后的完整代碼如下
#include?<sys/socket.h>#include?<sys/types.h>
#include?<netinet/in.h>
#include?<stdio.h>
#include?<event.h>
#define?PORT??????? 25341
#define?BACKLOG???? 5
#define?MEM_SIZE??? 1024
struct?event_base*?base;
struct?sock_ev {
????struct?event*?read_ev;
????struct?event*?write_ev;
????char*?buffer;
};
void?release_sock_event(struct?sock_ev*?ev)
{
??? event_del(ev->read_ev);
??? free(ev->read_ev);
??? free(ev->write_ev);
??? free(ev->buffer);
??? free(ev);
}
void?on_write(int?sock,?short?event,?void*?arg)
{
????char*?buffer?=?(char*)arg;
??? send(sock, buffer, strlen(buffer),?0);
??? free(buffer);
}
void?on_read(int?sock,?short?event,?void*?arg)
{
????struct?event*?write_ev;
????int?size;
????struct?sock_ev*?ev?=?(struct?sock_ev*)arg;
??? ev->buffer?=?(char*)malloc(MEM_SIZE);
??? bzero(ev->buffer, MEM_SIZE);
??? size?=?recv(sock, ev->buffer, MEM_SIZE,?0);
??? printf("receive data:%s, size:%d\n", ev->buffer, size);
????if?(size?==?0) {
??????? release_sock_event(ev);
??????? close(sock);
????????return;
??? }
??? event_set(ev->write_ev, sock, EV_WRITE, on_write, ev->buffer);
??? event_base_set(base, ev->write_ev);
??? event_add(ev->write_ev, NULL);
}
void?on_accept(int?sock,?short?event,?void*?arg)
{
????struct?sockaddr_in cli_addr;
????int?newfd, sin_size;
????struct?sock_ev*?ev?=?(struct?sock_ev*)malloc(sizeof(struct?sock_ev));
??? ev->read_ev?=?(struct?event*)malloc(sizeof(struct?event));
??? ev->write_ev?=?(struct?event*)malloc(sizeof(struct?event));
??? sin_size?=?sizeof(struct?sockaddr_in);
??? newfd?=?accept(sock, (struct?sockaddr*)&cli_addr,?&sin_size);
??? event_set(ev->read_ev, newfd, EV_READ|EV_PERSIST, on_read, ev);
??? event_base_set(base, ev->read_ev);
??? event_add(ev->read_ev, NULL);
}
int?main(int?argc,?char*?argv[])
{
????struct?sockaddr_in my_addr;
????int?sock;
??? sock?=?socket(AF_INET, SOCK_STREAM,?0);
????int?yes?=?1;
??? setsockopt(sock, SOL_SOCKET, SO_REUSEADDR,?&yes,?sizeof(int));
??? memset(&my_addr,?0,?sizeof(my_addr));
??? my_addr.sin_family?=?AF_INET;
??? my_addr.sin_port?=?htons(PORT);
??? my_addr.sin_addr.s_addr?=?INADDR_ANY;
??? bind(sock, (struct?sockaddr*)&my_addr,?sizeof(struct?sockaddr));
??? listen(sock, BACKLOG);
????struct?event?listen_ev;
????base?=?event_base_new();
??? event_set(&listen_ev, sock, EV_READ|EV_PERSIST, on_accept, NULL);
??? event_base_set(base,?&listen_ev);
??? event_add(&listen_ev, NULL);
??? event_base_dispatch(base);
????return?0;
}
?
??? 程序編譯的時(shí)候要加 -levent 連接選項(xiàng),以連接libevent的共享庫(kù),但是執(zhí)行的時(shí)候依然爆出如下錯(cuò)誤:error while loading shared libraries: libevent-1.4.so.2: cannot open shared object file: No such file or directory,?這個(gè)是程序找不到共享庫(kù)的位置,通過(guò)執(zhí)行echo $LD_LIBRARY_PATH可以看到系統(tǒng)庫(kù)的環(huán)境變量里沒(méi)有我們安裝的路徑,即由--prefix制定的路徑,執(zhí)行export LD_LIBRARY_PATH=/home/mydir/libevent/lib/:$LD_LIBRARY_PATH將該路徑加入系統(tǒng)環(huán)境變量里,再執(zhí)行程序就可以了。
總結(jié)
以上是生活随笔為你收集整理的libevent的使用(socket)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 【最新版1909 (updated Ja
- 下一篇: 面向边缘计算的资源优化技术研究进展