?1、什么是粘包

須知：只有 TCP有粘包現(xiàn)象，UDP永遠(yuǎn)不會粘包。

?

所謂粘包問題主要還是因?yàn)榻邮辗讲恢老⒅g的界限，不知道一次性提取多少字節(jié)的數(shù)據(jù)所造成的。

此外，發(fā)送方引起的粘包是由TCP協(xié)議本身造成的，TCP為提高傳輸效率，發(fā)送方往往要收集到足夠多的數(shù)據(jù)后才發(fā)送一個(gè)TCP段。若連續(xù)幾次需要send的數(shù)據(jù)都很少，通常TCP會根據(jù)優(yōu)化算法把這些數(shù)據(jù)合成一個(gè)TCP段后一次發(fā)送出去，這樣接收方就收到了粘包數(shù)據(jù)。

TCP（transport control protocol，傳輸控制協(xié)議）是面向連接的，面向流的，提供高可靠性服務(wù)。收發(fā)兩端（客戶端和服務(wù)器端）都要有一一成對的socket，因此，發(fā)送端為了將多個(gè)發(fā)往接收端的包，更有效的發(fā)到對方，使用了優(yōu)化方法（Nagle算法），將多次間隔較小且數(shù)據(jù)量小的數(shù)據(jù)，合并成一個(gè)大的數(shù)據(jù)塊，然后進(jìn)行封包。這樣，接收端，就難于分辨出來了，必須提供科學(xué)的拆包機(jī)制。 即面向流的通信是無消息保護(hù)邊界的。

UDP（user datagram protocol，用戶數(shù)據(jù)報(bào)協(xié)議）是無連接的，面向消息的，提供高效率服務(wù)。不會使用塊的合并優(yōu)化算法，, 由于UDP支持的是一對多的模式，所以接收端的skbuff(套接字緩沖區(qū)）采用了鏈?zhǔn)浇Y(jié)構(gòu)來記錄每一個(gè)到達(dá)的UDP包，在每個(gè)UDP包中就有了消息頭（消息來源地址，端口等信息），這樣，對于接收端來說，就容易進(jìn)行區(qū)分處理了。?即面向消息的通信是有消息保護(hù)邊界的。

tcp是基于數(shù)據(jù)流的，于是收發(fā)的消息不能為空，這就需要在客戶端和服務(wù)端都添加空消息的處理機(jī)制，防止程序卡住，而udp是基于數(shù)據(jù)報(bào)的，即便是你輸入的是空內(nèi)容（直接回車），那也不是空消息，udp協(xié)議會幫你封裝上消息頭，實(shí)驗(yàn)略

udp的recvfrom是阻塞的，一個(gè)recvfrom(x)必須對唯一一個(gè)sendinto(y),收完了x個(gè)字節(jié)的數(shù)據(jù)就算完成,若是y>x數(shù)據(jù)就丟失，這意味著udp根本不會粘包，但是會丟數(shù)據(jù)，不可靠

tcp的協(xié)議數(shù)據(jù)不會丟，沒有收完包，下次接收，會繼續(xù)上次繼續(xù)接收，己端總是在收到ack時(shí)才會清除緩沖區(qū)內(nèi)容。數(shù)據(jù)是可靠的，但是會粘包。

兩種情況下會發(fā)生粘包。

發(fā)送端需要等緩沖區(qū)滿才發(fā)送出去，造成粘包（發(fā)送數(shù)據(jù)時(shí)間間隔很短，數(shù)據(jù)了很小，會合到一起，產(chǎn)生粘包）

from socket import * ip_port=('127.0.0.1',8080)tcp_socket_server=socket(AF_INET,SOCK_STREAM) tcp_socket_server.bind(ip_port) tcp_socket_server.listen(5)conn,addr=tcp_socket_server.accept()data1=conn.recv(10) data2=conn.recv(10)print('----->',data1.decode('utf-8')) print('----->',data2.decode('utf-8'))conn.close() 服務(wù)端 import socket BUFSIZE=1024 ip_port=('127.0.0.1',8080)s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(ip_port)s.send('hello'.encode('utf-8')) s.send('feng'.encode('utf-8')) 客戶端

解決粘包的low比處理方法

問題的根源在于，接收端不知道發(fā)送端將要傳送的字節(jié)流的長度，所以解決粘包的方法就是圍繞，如何讓發(fā)送端在發(fā)送數(shù)據(jù)前，把自己將要發(fā)送的字節(jié)流總大小讓接收端知曉，然后接收端來一個(gè)死循環(huán)接收完所有數(shù)據(jù)

import json,struct #假設(shè)通過客戶端上傳1T:1073741824000的文件a.txt#為避免粘包,必須自定制報(bào)頭 header={'file_size':1073741824000,'file_name':'/a/b/c/d/e/a.txt','md5':'8f6fbf8347faa4924a76856701edb0f3'} #1T數(shù)據(jù),文件路徑和md5值#為了該報(bào)頭能傳送,需要序列化并且轉(zhuǎn)為bytes head_bytes=bytes(json.dumps(header),encoding='utf-8') #序列化并轉(zhuǎn)成bytes,用于傳輸#為了讓客戶端知道報(bào)頭的長度,用struck將報(bào)頭長度這個(gè)數(shù)字轉(zhuǎn)成固定長度:4個(gè)字節(jié) head_len_bytes=struct.pack('i',len(head_bytes)) #這4個(gè)字節(jié)里只包含了一個(gè)數(shù)字,該數(shù)字是報(bào)頭的長度#客戶端開始發(fā)送 conn.send(head_len_bytes) #先發(fā)報(bào)頭的長度,4個(gè)bytes conn.send(head_bytes) #再發(fā)報(bào)頭的字節(jié)格式 conn.sendall(文件內(nèi)容) #然后發(fā)真實(shí)內(nèi)容的字節(jié)格式#服務(wù)端開始接收 head_len_bytes=s.recv(4) #先收報(bào)頭4個(gè)bytes,得到報(bào)頭長度的字節(jié)格式 x=struct.unpack('i',head_len_bytes)[0] #提取報(bào)頭的長度 head_bytes=s.recv(x) #按照報(bào)頭長度x,收取報(bào)頭的bytes格式 header=json.loads(json.dumps(header)) #提取報(bào)頭#最后根據(jù)報(bào)頭的內(nèi)容提取真實(shí)的數(shù)據(jù),比如 real_data_len=s.recv(header['file_size']) s.recv(real_data_len) View Code import struct import binascii import ctypesvalues1 = (1, 'abc'.encode('utf-8'), 2.7) values2 = ('defg'.encode('utf-8'),101) s1 = struct.Struct('I3sf') s2 = struct.Struct('4sI')print(s1.size,s2.size) prebuffer=ctypes.create_string_buffer(s1.size+s2.size) print('Before : ',binascii.hexlify(prebuffer)) # t=binascii.hexlify('asdfaf'.encode('utf-8')) # print(t) s1.pack_into(prebuffer,0,*values1) s2.pack_into(prebuffer,s1.size,*values2)print('After pack',binascii.hexlify(prebuffer)) print(s1.unpack_from(prebuffer,0)) print(s2.unpack_from(prebuffer,s1.size))s3=struct.Struct('ii') s3.pack_into(prebuffer,0,123,123) print('After pack',binascii.hexlify(prebuffer)) print(s3.unpack_from(prebuffer,0)) 關(guān)于struct的詳細(xì)用法 import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080))phone.listen(5)while True:conn,addr=phone.accept()while True:cmd=conn.recv(1024)if not cmd:breakprint('cmd: %s' %cmd)res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)err=res.stderr.read()print(err)if err:back_msg=errelse:back_msg=res.stdout.read()conn.send(struct.pack('i',len(back_msg))) #先發(fā)back_msg的長度conn.sendall(back_msg) #在發(fā)真實(shí)的內(nèi)容 conn.close() 自制報(bào)頭[服務(wù)端] import socket,time,structs=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080))while True:msg=input('>>: ').strip()if len(msg) == 0:continueif msg == 'quit':breaks.send(msg.encode('utf-8'))l=s.recv(4)x=struct.unpack('i',l)[0]print(type(x),x)# print(struct.unpack('I',l))r_s=0data=b''while r_s < x:r_d=s.recv(1024)data+=r_dr_s+=len(r_d)# print(data.decode('utf-8'))print(data.decode('gbk')) #windows默認(rèn)gbk編碼 自制報(bào)頭[客戶端]

我們可以把報(bào)頭做成字典，字典里包含將要發(fā)送的真實(shí)數(shù)據(jù)的詳細(xì)信息，然后json序列化，然后用struck將序列化后的數(shù)據(jù)長度打包成4個(gè)字節(jié)（4個(gè)自己足夠用了）

發(fā)送時(shí)：

先發(fā)報(bào)頭長度

再編碼報(bào)頭內(nèi)容然后發(fā)送

最后發(fā)真實(shí)內(nèi)容

?

接收時(shí)：

先手報(bào)頭長度，用struct取出來

根據(jù)取出的長度收取報(bào)頭內(nèi)容，然后解碼，反序列化

從反序列化的結(jié)果中取出待取數(shù)據(jù)的詳細(xì)信息，然后去取真實(shí)的數(shù)據(jù)內(nèi)容

import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind(('127.0.0.1',8080))phone.listen(5)while True:conn,addr=phone.accept()while True:cmd=conn.recv(1024)if not cmd:breakprint('cmd: %s' %cmd)res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)err=res.stderr.read()print(err)if err:back_msg=errelse:back_msg=res.stdout.read()headers={'data_size':len(back_msg)}head_json=json.dumps(headers)head_json_bytes=bytes(head_json,encoding='utf-8')conn.send(struct.pack('i',len(head_json_bytes))) #先發(fā)報(bào)頭的長度conn.send(head_json_bytes) #再發(fā)報(bào)頭conn.sendall(back_msg) #在發(fā)真實(shí)的內(nèi)容 conn.close() 服務(wù)端：定制稍微復(fù)雜一點(diǎn)的報(bào)頭 from socket import * import struct,jsonip_port=('127.0.0.1',8080) client=socket(AF_INET,SOCK_STREAM) client.connect(ip_port)while True:cmd=input('>>: ')if not cmd:continueclient.send(bytes(cmd,encoding='utf-8'))head=client.recv(4)head_json_len=struct.unpack('i',head)[0]head_json=json.loads(client.recv(head_json_len).decode('utf-8'))data_len=head_json['data_size']recv_size=0recv_data=b''while recv_size < data_len:recv_data+=client.recv(1024)recv_size+=len(recv_data)print(recv_data.decode('utf-8'))#print(recv_data.decode('gbk')) #windows默認(rèn)gbk編碼 客戶端

?

轉(zhuǎn)載于:https://www.cnblogs.com/chengdajing/articles/7602895.html

總結(jié)

以上是生活随笔為你收集整理的Python-解决粘包的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。