sync.Map低層工作原理詳解

---

目錄

為什么需要sync.Map？適合什么場(chǎng)景？

sync.Map內(nèi)部實(shí)現(xiàn)基本原理及結(jié)構(gòu)體分析

sync.Map低層工作原理

---

1. 為什么需要sync.Map？適合什么場(chǎng)景？

map在并發(fā)讀寫的情況下是不安全，會(huì)觸發(fā)panic。Go 1.9 版本中提供了一種效率較高的并發(fā)安全的 sync.Map，目的是為了改善多核高讀取低寫入時(shí)候的性能，即適合寫特別少而并發(fā)讀特別多的場(chǎng)景。

---

2. sync.Map內(nèi)部實(shí)現(xiàn)基本原理及結(jié)構(gòu)體分析

sync.Map通過內(nèi)部存儲(chǔ)的兩個(gè)map來實(shí)現(xiàn)了優(yōu)化：分別是鍵(key) 固定的read表和包含所有鍵值對(duì)的dirty。所有對(duì)read上已有的鍵值對(duì)的增刪改查操作都是無鎖實(shí)現(xiàn)，考慮到的是“寫特別少幾乎固定”的場(chǎng)景，因?yàn)榛居貌簧湘i，從而大大提高了性能。

無論是read還是dirty，存儲(chǔ)的都是值的地址，而且是共享地址的。也就是說所有對(duì)read的無鎖增刪改查都會(huì)同步反饋在dirty上。所以對(duì)read增刪改查沒有經(jīng)過dirty而dirty卻始終反映最新值。

1. sync.Map結(jié)構(gòu)體

sync.Map結(jié)構(gòu)體

type Map struct {mu Mutex // 互斥鎖，用以處理并發(fā)讀寫的問題read atomic.Value // 包含可以并發(fā)訪問的map部分，可以直接Load，但Store必須先持有mudirty map[interface{}]*entry //包含需要持有mu才能訪問的部分，為確保dirty快速升級(jí)為read，dirty中還包含read中未刪除的部分misses int //記錄從dirty表查詢的次數(shù)。misses大到超過dirty拷貝的消耗時(shí)，會(huì)直接將dirty提升至read，后續(xù)的store操作會(huì)生成新的dirty。 }

read的類型為readOnly，其結(jié)構(gòu)如下：

type readOnly struct {m map[interface{}]*entryamended bool // true if the dirty map contains some key not in m. dirty表有沒有新數(shù)據(jù)的標(biāo)記 amended }type entry struct {p unsafe.Pointer // *interface{} }

readOnly包含一個(gè)map m及一個(gè)dirty表有沒有新數(shù)據(jù)的標(biāo)記 amended（false表示dirty沒有新數(shù)據(jù)），最終的數(shù)據(jù)存儲(chǔ)在entry中，entry存儲(chǔ)的是數(shù)據(jù)的指針。

---

3. sync.Map低層工作原理

1. Store處理過程

// Store sets the value for a key. func (m *Map) Store(key, value interface{}) {read, _ := m.read.Load().(readOnly) // 獲取read表if e, ok := read.m[key]; ok && e.tryStore(&value) { // 如果read表中能找到對(duì)應(yīng)key，嘗試插入read表對(duì)應(yīng)的key中return}m.mu.Lock()read, _ = m.read.Load().(readOnly) // 對(duì)m加鎖，重新獲取read表，避免虛假報(bào)告if e, ok := read.m[key]; ok { // 在read表能查詢到，但標(biāo)記為expunged，則dirty表現(xiàn)創(chuàng)建entry，再存入數(shù)據(jù)到dirty表if e.unexpungeLocked() {// The entry was previously expunged, which implies that there is a// non-nil dirty map and this entry is not in it.m.dirty[key] = e}e.storeLocked(&value)} else if e, ok := m.dirty[key]; ok { // read表不存在對(duì)應(yīng)key，則判斷dirty表是否存在，存在則進(jìn)行store操作e.storeLocked(&value)} else {if !read.amended { // 如果// We're adding the first new key to the dirty map.// Make sure it is allocated and mark the read-only map as incomplete.m.dirtyLocked()m.read.Store(readOnly{m: read.m, amended: true})}m.dirty[key] = newEntry(value)}m.mu.Unlock() }func (e *entry) tryStore(i *interface{}) bool {for {p := atomic.LoadPointer(&e.p)if p == expunged {return false}if atomic.CompareAndSwapPointer(&e.p, p, unsafe.Pointer(i)) {return true}} }

比如：key為“hello”，value為“world”，則read和dirty分別存儲(chǔ)的內(nèi)容如下圖所示

調(diào)用Store(“hello”,“not world”)。如果read中有對(duì)應(yīng)的鍵，那么不會(huì)上鎖訪問dirty，而是直接無鎖替換，變成下圖所示。dirty始終反映著最新值。

一直訪問read上的鍵值對(duì)，由于不用加鎖，性能可以大大提高。但是read表是不會(huì)更新的，如果后面新增了鍵值對(duì)寫入dirty，然后頻繁訪問新的鍵值對(duì)，這時(shí)就需要加鎖訪問dirty表。

如果Load方法調(diào)用需要加鎖的次數(shù)達(dá)到一定次數(shù)，表示read表的數(shù)據(jù)太少了，那么sync.Map會(huì)將dirty表設(shè)置為read表，dirty表為nil。
用上圖的例子，比方說一直頻繁調(diào)用Load(key4)，那么sync.Map就會(huì)更換read表

當(dāng)要求新增read表中沒有的鍵值對(duì)的時(shí)候，sync.Map會(huì)重建新的dirty表。需要復(fù)制read表中的數(shù)據(jù)，復(fù)制的是地址，所以dirty表和read表對(duì)同一個(gè)鍵仍然共享地址。

由于在沒有新增鍵值對(duì)以前，所有的增刪改查都在read表中實(shí)現(xiàn)。假如說在新增鍵值對(duì)之前我們刪除掉了key5，從而使其地址為nil，當(dāng)發(fā)現(xiàn)read表中有指向nil的，則將其修改為一個(gè)特殊標(biāo)記expunged，然后跳過該鍵值，如下圖所示。

如果key5再也沒有出現(xiàn)，這樣不僅dirty表節(jié)省了空間，而且隨著read表轉(zhuǎn)換成dirty表，read表也少了消耗。但是之后出現(xiàn)了Store(key5,“another value”)，sync.Map會(huì)檢查是否有著"expunged"標(biāo)記，如果有的話，會(huì)加鎖然后讓dirty表先創(chuàng)建對(duì)應(yīng)的鍵值對(duì)（如下圖所示），然后更新值

2. Load獲取過程

load獲取過程，見注釋

func (m *Map) Load(key interface{}) (value interface{}, ok bool) {read, _ := m.read.Load().(readOnly)e, ok := read.m[key]if !ok && read.amended { // 如果read表沒有找到則判斷amended為true，表示dirty有比read表多新元素m.mu.Lock()// Avoid reporting a spurious miss if m.dirty got promoted while we were// blocked on m.mu. (If further loads of the same key will not miss, it's// not worth copying the dirty map for this key.) // 鎖住m，再去read表查詢是否有想要的數(shù)據(jù)，再查一遍是為了防止dirty轉(zhuǎn)為read表，避免虛假報(bào)告read, _ = m.read.Load().(readOnly)e, ok = read.m[key]if !ok && read.amended { // 再查詢一次還是沒有查詢到，那么從dirty表中查找e, ok = m.dirty[key]// Regardless of whether the entry was present, record a miss: this key// will take the slow path until the dirty map is promoted to the read// map.m.missLocked() // 判斷messes次數(shù)是否小于len(dirty)，大于時(shí)，將dirty表轉(zhuǎn)成read表，dirty表置為nil}m.mu.Unlock()}if !ok { // 如果read表和dirty都沒有查詢到，返回nilreturn nil, false}return e.load() // 找到了，返回?cái)?shù)據(jù) }func (m *Map) missLocked() {m.misses++if m.misses < len(m.dirty) { // 如果misses小于len(dirty)，繼續(xù)從dirty查詢，大于時(shí)將dirty轉(zhuǎn)為read表且dirty置為nilreturn}m.read.Store(readOnly{m: m.dirty}) // 將dirty轉(zhuǎn)為read表且dirtym.dirty = nil // dirty表置為nilm.misses = 0 }func (e *entry) load() (value interface{}, ok bool) {p := atomic.LoadPointer(&e.p)if p == nil || p == expunged {return nil, false}return *(*interface{})(p), true }

總結(jié)

以上是生活随笔為你收集整理的sync.Map低层工作原理详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。