Python学习笔记:字符串和编码
前言
最近在學習深度學習,已經跑出了幾個模型,但Pyhton的基礎不夠扎實,因此,開始補習Python了,大家都推薦廖雪峰的課程,因此,開始了學習,但光學有沒有用,還要和大家討論一下,因此,寫下這些帖子,廖雪峰的課程連接在這里:廖雪峰
Python的相關介紹,以及它的歷史故事和運行機制,可以參見這篇:python介紹
Python的安裝可以參見這篇:Python安裝
Python的運行模式以及輸入輸出可以參見這篇:Python IO
Python的基礎概念介紹,可以參見這篇:Python 基礎
目錄:
- 前言
- 字符編碼
- 字符串
- 格式化
字符編碼
在前面的章節已經和大家科普了字符串也是一種數據結構的一種,但是,字符串實現的時候時還有編碼問題。
因為計算機只能處理數字,本質上計算機內部存儲的只有一堆的‘0,1’,如果要處理文本,就必須先把文本轉換為數字才能處理。最早的計算機在數據存儲的時候,在設計時采用8個比特(bit)作為一個字節(byte),所以,一個字節能表示的最大的整數就是255(二進制11111111=十進制255),如果要表示更大的整數,就必須用更多的字節。比如兩個字節可以表示的最大整數是65535,4個字節可以表示的最大整數是4294967295。
由于計算機是美國人發明的,因此,最早只有127個字符被編碼到計算機里,也就是大小寫英文字母、數字和一些制表符號,這個編碼表被稱為ASCII編碼,比如大寫字母A的編碼是65,小寫字母a的編碼是97。
但是要處理中文顯然一個字節是不夠的,至少需要兩個字節,而且還不能和ASCII編碼沖突,所以,中國制定了GB2312編碼,用來表示中文。
你可以想得到的是,全世界有上百種語言,日本把日文編到Shift_JIS里,各國有各國的標準,就會不可避免地出現沖突,結果就是,在多語言混合的文本中,顯示出來會有亂碼。
因此,統一設計了Unicode。Unicode把所有語言都統一到一套編碼里,這樣就不會再有亂碼問題了。
Unicode標準也在不斷發展,但最常用的是用兩個字節表示一個字符(如果要用到非常偏僻的字符,就需要4個字節)。現代操作系統和大多數編程語言都直接支持Unicode。
現在,捋一捋ASCII編碼和Unicode編碼的區別:ASCII編碼是1個字節,而Unicode編碼通常是2個字節。
字母A用ASCII編碼是十進制的65,二進制的01000001;
字符0用ASCII編碼是十進制的48,二進制的00110000,注意字符’0’和整數0是不同的;
漢字中已經超出了ASCII編碼的范圍,用Unicode編碼是十進制的20013,二進制的01001110 00101101。
你可以猜想,為了方便設計,如果把ASCII編碼的A用Unicode編碼,只需要在前面補0就可以,因此,A的Unicode編碼是00000000 01000001。
新的問題又出現了:如果統一成Unicode編碼,亂碼問題從此消失了。但是,如果你寫的文本基本上全部是英文的話,用Unicode編碼比ASCII編碼需要多一倍的存儲空間,在存儲和傳輸上就十分不劃算。
所以,本著節約的精神,又出現了把Unicode編碼轉化為“可變長編碼”的UTF-8編碼。UTF-8編碼把一個Unicode字符根據不同的數字大小編碼成1-6個字節,常用的英文字母被編碼成1個字節,漢字通常是3個字節,只有很生僻的字符才會被編碼成4-6個字節。如果你要傳輸的文本包含大量英文字符,用UTF-8編碼就能節省大量的空間,而且UTf-8向下兼容ASCII碼,可以直接使用之前的程序。
很多網站服務器也使用的UTF-8編碼。
所以你看到很多網頁的源碼上會有類似的信息,表示該網頁正是用的UTF-8編碼。
字符串
搞清楚了令人頭疼的字符編碼問題后,我們再來研究Python的字符串。
在最新的Python 3版本中,字符串是以Unicode編碼的,也就是說,Python的字符串支持多語言,例如:
對于單個字符的編碼,Python提供了ord()函數獲取字符的整數表示,chr()函數把編碼轉換為對應的字符:
>>> ord('A') 65 >>> ord('中') 20013 >>> chr(66) 'B' >>> chr(25991) '文'如果知道字符的整數編碼,還可以用十六進制這么寫str:
>>> '\u4e2d\u6587' '中文'兩種寫法都可以事項相應的字符輸出,具體看你喜歡哪種實現方式咯。
Python也可以實現精簡傳輸與存儲。
由于Python的字符串類型是str,在內存中以Unicode表示,一個字符對應若干個字節。如果要在網絡上傳輸,或者保存到磁盤上,就需要把str變為以字節為單位的bytes。
Python對bytes類型的數據用帶b前綴的單引號或雙引號表示:
x = b’ABC’
要注意區分’ABC’和b’ABC’,前者是str,后者雖然內容顯示得和前者一樣,但bytes的每個字符都只占用一個字節。
以Unicode表示的str通過encode()方法可以編碼為指定的bytes,例如:
純英文的str可以用ASCII編碼為bytes,內容是一樣的,含有中文的str可以用UTF-8編碼為bytes。含有中文的str無法用ASCII編碼,因為中文編碼的范圍超過了ASCII編碼的范圍,Python會報錯。
在bytes中,無法顯示為ASCII字符的字節,用\x##顯示。
反過來,如果我們從網絡或磁盤上讀取了字節流,那么讀到的數據就是bytes。要把bytes變為str,就需要用decode()方法:
如果bytes中包含無法解碼的字節,decode()方法會報錯:
Traceback (most recent call last):File "<pyshell#21>", line 1, in <module>b'\xe6\x95\xb0\xe5\xad\x97'.decode('ascii') UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)如果bytes中只有一小部分無效的字節,可以傳入errors=’ignore’忽略錯誤的字節:
>>> b'\xe6\x95\xb0\xe5\xad\x97'.decode('ascii',errors='ignore') ''要計算str包含多少個字符,可以用len()函數:
>>> len('ABC') 3 >>> len('數字') 2len()函數計算的是str的字符數,如果換成bytes,len()函數就計算字節數:
>>> len(b'ABC') 3 >>> len(b'\xe4\xb8\xad\xe6\x96\x87') 6 >>> len('數字'.encode('utf-8')) 6可見,1個中文字符經過UTF-8編碼后通常會占用3個字節,而1個英文字符只占用1個字節。
在操作字符串時,我們經常遇到str和bytes的互相轉換。為了避免亂碼問題,應當始終堅持使用UTF-8編碼對str和bytes進行轉換。
由于Python源代碼也是一個文本文件,所以,當你的源代碼中包含中文的時候,在保存源代碼時,就需要務必指定保存為UTF-8編碼。當Python解釋器讀取源代碼時,為了讓它按UTF-8編碼讀取,我們通常在文件開頭寫上這兩行:
注釋是為了告訴Python解釋器,按照UTF-8編碼讀取源代碼,否則,你在源代碼中寫的中文輸出可能會有亂碼。
格式化
最后一個常見的問題是如何輸出格式化的字符串。我們經常會輸出類似
‘最親愛的xxx你好!你xx月的話費是xx,余額是xx’
之類的字符串,而xxx的內容都是根據變量變化的,如果全部都是手打的話,重復工作量太高,
,所以,需要一種簡便的格式化字符串的方式。
在Python中,采用的格式化方式和C語言是一致的,用%實現,舉例如下:
>>> 'Hello %s' % 'world' 'Hello world' >>> 'Hello, %s, you have $%d dollasrs.' % ('Mike', 1000000) 'Hello, Mike, you have $1000000 dollars.'你可能聯想到了,%運算符就是用來格式化字符串的。在字符串內部,%s表示用字符串替換,%d表示用整數替換,有幾個%占位符,后面就跟幾個變量或者值,順序要對應好。如果只有一個%,括號可以省略。
常見的占位符有:
| %d | 整數 |
| %f | 浮點數 |
| %s | 字符串 |
| %x | 十六進制整數 |
其中,格式化整數和浮點數還可以指定是否補0和整數與小數的位數:
print('%2d-%02d' % (3, 1)) print('%.2f' % 3.1415926)方法2 format()
另一種格式化字符串的方法是使用字符串的format()方法,它會用傳入的參數依次替換字符串內的占位符{0}、{1}……,不過這種方式寫起來比%要麻煩得多,當然這種方法也更方便別人閱讀:
‘Hello, {0}, 成績提升了 {1:.1f}%’.format(‘小星’, 17.125)
注意一下{1:.1f}‘:’后面定義了輸出格式。
總結
以上是生活随笔為你收集整理的Python学习笔记:字符串和编码的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: oracle压缩参数,Oracle 11
- 下一篇: nagios监控mysql服务_nagi