當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

node.js学习总结

發布時間：2025/4/14 编程问答 14 豆豆

生活随笔收集整理的這篇文章主要介紹了 node.js学习总结小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

NodeJS介紹

1.概述：

? ? ? Node.js是基于Chrome JavaScript運行時建立的一個平臺，實際上它是對Google Chrome V8引擎

進行了封裝，它主要用于創建快速的、可擴展的網絡應用。Node.js采用事件驅動和非阻塞I/O模型，使

其變得輕微和高效，非常適合構建運行在分布式設備的數據密集型實時應用。

? ? ? 運行于瀏覽器的Javascript，瀏覽器就是Javascript代碼的解析器，而Node.js則是服務器端JS的

代碼解析器，存于服務器端的JS代碼由Node.js來解析和應用。

? ? ? JS解析器只是JS代碼運行的一種環境，瀏覽器是JS運行的一種環境，瀏覽器為JS提供了操作DOM對

象和window對象等接口。Node.js也是JS的一種運行環境，node.js為JS提供操作文件、創建http服務、

創建TCP、UDP服務等接口，所以Node.js可以完成其他后臺語言能完成的工作。

2.交互式運行環境：PEPL

? ? ? Node.js提供了一個交互式運行環境，通過這個環境，可以立即執行JS代碼，使用方法類似于

Chrome瀏覽器中Firebug插件中的Console。

? ? ? 在Linux環境進入終端后，屬于"node"或者“nodejs”進入Node.js的交互式運行環境，Ctrl+d可

以退出此環境。

? ? ? 查看系統中安裝的Node.js版本：node -v or nodejs -v

? ? ? 運行JS文件，eg:node file.js or nodejs file.js

3.Node.js模塊和包

? ? ? a.模塊

? ? ? ? ?Node.js官方提供了很多模塊，這些模塊分別實現了一種功能，如操作文件模塊fs,構建http服

務模塊的http等，每個模塊都是一個JS文件，當然也可以自己編 ? 寫模塊。

? ? ? 2.包

? ? ? ? ? 包可以將多個具有依賴關系的模塊組織在一起，封裝多個模塊，以方便管理。Node.js采用了

CommonJS規范，根據CommonJS規范規定，一個JS文件就是一個模塊，而包是一個文件夾，包內必須包含

一個JSON文件，命名package.json。一般情況下，包內bin文件夾存放二進制文件，包內的lib文件夾存

放JS文件，包內的doc文件夾存放文檔，包內的test文件夾存放單元測試。package.json文件中需要包含

的字段及包的使用。

? ? ? 3.npm包管理工具

? ? ? ? ?npm是node.js的包管理工具，npm定義了包依賴關系標準，我們使用npm主要用來下載第三方包

和管理本地下載的第三方包。
========

為什么我要用 Node.js? 案例逐一介紹

介紹

JavaScript 高漲的人氣帶來了很多變化，以至于如今使用其進行網絡開發的形式也變得截然不同了。就

如同在瀏覽器中一樣，現在我們也可以在服務器上運行 JavaScript ，從前端跨越到后端，這樣巨大的

反差讓人難以想象，因為僅僅在幾年前 Javascript 還如同 Flash 或者 Java applet 那樣嵌入網頁在

沙箱環境中運行。

在深入Node.js之前，你可能需要閱讀和了解使用跨棧式JavaScript（JavaScript across the stack）

帶來的好處，它統一了編程語言和數據格式（JSON），讓你能最佳地重用開發人員資源。由于這更多的

是關于 JavaScript 的特點，這里就不過多討論它。但它確實是一個讓人在開發環節中使用 Node 的關

鍵的優點。

正如維基百科所說：“Node.js 是谷歌 V8 引擎、libuv平臺抽象層以及主體使用 Javscript 編寫的

核心庫三者集合的一個包裝外殼?！?除此之外，值得注意的是，Node.js 的作者瑞恩·達爾 (Ryan?

Dahl) 的目標是創建具有實時推送能力的網站。在 Node.js 中，他給了開發者一個使用事件驅動來實現

異步開發的優秀解決方案。（注：V8是谷歌開發的，目前公認最快的 Javascript 解析引擎，libuv 是

一個開源的、為 Node 定制而生的跨平臺的異步 IO 庫。）

簡而言之：Node.js 在實時的 Web應用上采用了基于 WebSocket 的推送技術。這意味著什么樣的革命性

？Well，在經過了20多年的基于無狀態的請求-返機制的無狀態交互之后，我們終于有了實時的，雙向連

接的web應用，客戶端和服務器端都可以發起通信，能夠自由地交換數據。與此形成鮮明對比的是傳統的?

web響應模式，客戶端總是主動發起通信而服務端被動返回。此外，這些都是基于運行在標準80端口上的

開放Web組件（HTML、CSS和JS）。

可能有人會說，我們已經使用 Flash 和 Java Applet 的形式很多年了——但實際上，這些方式只是使

用網絡將數據傳遞到客戶端上的沙箱環境。他們都是隔離運行的，而且經常操作到需要額外的權限之類

的非標準端口。

憑借其獨特的優勢，Node.js的現在已經在許多著名公司的產品中起到了關鍵作用。

在這篇文章中，我們不僅將討論這些優勢是如何實現的，而且也會討論為什么你使用 Node.js 來替代一

些經典的Web應用程序模型。

Node.js 是如何工作的？

Node.js 的主要思路是：使用非阻塞的，事件驅動的 I/O 操作來保持在處理跨平臺 (across?

distributed devices) 數據密集型實時應用時的輕巧高效。這聽起來有點繞口。

它的真正含義是，Node.js 不是一個即將主導Web開發的世界的銀彈級的平臺。相反，它是一個滿足特別

需求的平臺。你肯定不會希望使用 Node.js 去做 CPU密集型操作。事實上，使用它進行繁重的計算等于

摒棄 Node 幾乎所有的優點。Node 真正的亮點在于建設高性能，高擴展性的互聯網應用——因為它能夠

處理龐大的并且高吞吐量的并發連接。

它的工作原理是相當有趣的。傳統的網絡服務技術，是每個新增一個連接（請求）便生成一個新的線程

，這個新的線程會占用系統內存，最終會占掉所有的可用內存。而 Node.js 僅僅只運行在一個單線程中

，使用非阻塞的異步 I/O 調用，所有連接都由該線程處理，在 libuv 的加分下，可以允許其支持數萬

并發連接（全部掛在該線程的事件循環中）。

toptal-blog-1_B

做一個簡單的計算: 假設是普通的Web程序，新接入一個連接會占用 2M 的內存，在有 8GB RAM的系統上

運行時, 算上線程之間上下文切換的成本，并發連接的最大理論值則為 4000 個。這是在傳統 Web服務

端技術下的處理情況。而 Node.js 則達到了約 1M 一個并發連接的拓展級別 (相關證明).

當然，在所有客戶端的請求共享單一線程時也會有問題, 這也是一個編寫 Node.js 應用的潛在缺陷. 首

先, 大量的計算可能會使得 Node 的單線程暫時失去反應, 并導致所有的其他客戶端的請求一直阻塞,?

直到計算結束才恢復正常。其次，開發人員需要非常小心，不要讓一個 Exception 阻塞核心的事件循

環，因為這將導致 Node.js 實例的終止（實際上就是程序崩潰）。（筆者注：如 PHP 中某個頁面掛掉

是不會影響網站運行的，但是 Nodejs 是一個線程一個線程來處理所有的鏈接，所以不論是計算卡了或

者是被異常阻塞了都可能會影響到其他所有的鏈接。解決方案在稍后討論。）

用來避免異常拋出時中斷進程的方法是將異常使用回調傳遞出去（而不是拋出他們，就像在其他環境中

一樣）。即使一些未處理的異常阻塞了程序，依舊有多種應對的解決方案，而且也有很多可用于監視?

Node 進程來執行必要的崩潰后恢復工作的策略和工具（雖然你將無法恢復用戶的 Session ），最常見

的是使用 Forever 模塊，或者采用其他的外部系統工具如 upstart and monit。

NPM: The Node Package Manager

當我們討論 Node.js 的時候，一個絕對不應該忽略地方就是默認內置的模塊管理工具 —— NPM。其靈

感來源與 Ruby Gems（具有版本和依賴管理功能，可以通過在線資料庫便捷安裝可重用的組件的管理工

具）。

一個完整的公用模塊列表可以在 NPM 的網站上找到（https:://npmjs.org/），或者通過使用與?

Node.js 一同安裝的 NPM CLI 工具放問到。該模塊的生態系統向所有人開放，任何人都可以發布自己的

模塊，所有的模塊都可以在 NPM 資料庫中找到。你可以在 http://howtonode.org/introduction-to-

npm 頁面找到 NPM 的一個簡要介紹（有點舊，但依舊能看）。

目前非常流行的一些 NPM 模塊有：

express – Express.js,是一個簡潔而靈活的 node.js Web應用框架, 并且已經是現在大多數 Node.js?

應用的標準框架，你已經可以在很多 Node.js 的書籍中看到它了。
connect – Connect 是一個 Node.js 的 HTTP 服務拓展框架，提供一個高性能的“插件”集合，以中

間件聞名，是 Express 的基礎部分之一。
socket.io 和 sockjs – 目前服務端最流行的兩個 websocket 組件。
Jade – 流行的模板引擎之一，并且是 Express.js 的默認模板引擎。其靈感來源于 HAML。
mongo 和 mongojs – 封裝了 MongoDB 的的各種 API，不過筆者平常工作用的是 mongoose 也很推薦。
redis – Redis 的客戶端函數庫.
coffee-script – CoffeeScript 編譯器，允許開發者使用 Coffee 來編寫他們的 Node.js 程序。
underscore (lodash, lazy) – 最流行的 JavaScript 工具庫 , 用于 Node.js 的封裝包，以及兩個采

取略有不同的實現方法來獲得更好性能的同行。
forever – 可能是用來確保 node 腳本持續運行的最流行的工具。
還有很多好的模塊，這里就不一一列舉了（希望沒有冒犯到沒列舉的）。

Node.js 應該用在什么地方

聊天

聊天是最典型的多用戶實時交互的應用。從 IRC 開始，有許多開源或者不開源的協議都運行在非標準端

口上，而現在，使用 Node.js 則可以解決這些問題——在標準的80端口運行 WebSockets。

聊天應用程序是最能體現 Node.js 優點的例子：輕量級、高流量并且能良好的應對跨平臺設備上運行密

集型數據（雖然計算能力低）。同時，聊天也是一個非常值得學習的用例，因為它很簡單，并且涵蓋了

目前為止一個典型的 Node.js 會用到的大部分解決方案。

讓我們試著來描繪它如何工作。

在最簡單的情況下，我們布置了一個聊天室在我們的網站上，用戶可以在上面發消息，當然是一對多的

形式。例如，假設總共有三個人連接到我們的網站上。

在服務端這邊，我們有一個使用 Express.js 搭建的簡單站點，該站點實現了兩件事 1) 處理路徑為?

‘/’ 的GET請求時，下發包括一個留言板以及一個發送信息的 ‘發送’ 按鈕的頁面 2) 一個監聽客戶

端發送新消息的 websockets 服務。

在客戶端這邊，我們有一個 HTML 頁面，上面有個兩個 js 方法，一個是用于觸發事件的 “發送” 按

鈕，這會把把輸入的消息通過 webscoket 發送，另一個方法是用 webscoket 在客戶端上監聽服務端來

的推送（例如，其他用戶發送的消息）。

當有一個客戶端發送消息的時候，發生的事情是：

瀏覽器上，點擊發送按鈕觸發了 js 函數，將輸入框中的文字通過 websocket 消息發送到服務器的?

websocket 客戶端（頁面初始化加載的時候連接的）。
服務端的 websocket 組件收到消息，然后通過廣播方法轉發到其他所有連接的客戶端。
通過頁面上運行的 websocket 客戶端組件，所有的客戶端都能收到這條推送的新消息。接著 js 處理函

數可以把這個消息添加到文字框內。
toptal-blog-2_B

這是一個最簡單的例子。如果要更好的解決方案，你可以使用 Redis 數據庫做一個簡單的緩存。在一個

更高級的解決方案中，你可能需要一個消息路由來專門處理消息隊列，并且需要一個更強健的發送機制

，比如發送的時候覆蓋上暫時離線的用戶或者為離線的注冊用戶存儲尚未接收的消息等等。但是不論你

做了怎么樣的改進，Node.js 都將遵循一個基本原則：響應事件，處理多個并發連接，并保持流動性的

用戶體驗。

對象數據庫接口（API ON TOP OF AN OBJECT DB）

盡管，Node.js 確實非常擅長實時交互的應用，同時它也十分適合通過對象數據庫（object DB）來查詢

數據（如 MongoDB）。以 JSON 格式存儲的數據允許 Node.js 直接處理，不需要糾結數據轉換和匹配的

問題。

舉個例子，如果你正在使用 Rails，你會將 JSON 數據轉成二進制的 model，當數據再被?

Backbone.js, Angular.js 或者 jQuery AJAX 之類的調用又要轉回 JSON。如果是 Nodejs 的話，你可

以通過一個 REST API 簡單的導出 JSON 對象以供客戶端使用。另外，從數據庫讀寫時候如果使用的是?

MongoDB 的話，你也不用擔心的 JSON 與任何數據之間的格式問題?？傊?#xff0c;你可以避免多元的數據轉換

問題，不論是在客戶端、服務端還是數據庫。

隊列輸入

如果你正在接收一個高量并發的數據，你的數據庫可能會成為你處理的瓶頸。正如上面的描述，Node.js?

可以輕松的處理并發連接。但是，由于數據庫操作是一個阻塞的操作（在這種情況下），這就是麻煩的

地方。Node.js的解決方案是，在數據真正的寫入之前就承認客戶端的數據是真實的。

用這種方法，在高負載的時候系統繼續維持它的響應，這在當客戶端不需要嚴格確認一個數據是否成功

的被寫入時特別有用。典型的例子包括：日志記錄或者用戶跟蹤數據（user-tracking data）的記錄，

這會被分批處理并且在稍后才使用；同時也包括最終一致性（so, 常用于 NoSQL）可以接受，不需要立

即反應的操作（例如 Facebook 上更新點贊的數目）。

數據通過某些緩存或者消息隊列的基礎組件（例如 RabbitMQ, ZeroMQ）進入隊列，并且通過一個獨立的

數據庫批量寫入進程來一一消化，或者通過一個更高性能的計算密集型后端服務來進行處理。其他的語

言/框架也可以實現相似的操作，但在相同的配置下是達不到 nodejs 的高吞吐量與高并發。

toptal-blog-3_B

簡單的說：使用 Node，你可以把數據庫操作扔到一邊并在稍后處理它們，假設他們成功了一樣繼續執行

下去。（筆者注：在開發中通常的情況通常是，種耗時的操作通過回調函數來異步處理，主線程繼續往

下執行）

數據流

在較為傳統的網絡平臺上，HTTP 的請求和響應更像是孤立的事件；然而事實上，他們都是數據流。這一

觀察結果在 Nodejs 上可以用來建立一些很酷的功能。因為數據通以流的形式接收，而我們可以在網站

上在線處理正在上傳中的文件。這樣的話，就可以實現實時的音頻和視頻編碼，以及在不同數據源之間

進行代碼（代理見下一段）。

（筆者注：Node 有代替如 apache 這樣的 webserver 處理數據，所以開發者可以直接收到客戶端一份

一份上傳的數據，并實時處理。上面這段話聽起來有點抽象，不過各位可以簡單的想象一下不需要開 YY?

或者 QQ，打開網頁就能進行語音視頻的功能。）

代理

Node.js 可以通過異步的方式處理大量的并發連接，所以很容易作為服務端的代理來使用。這在與不同

響應時間的不同服務之間進行代理，或者是收集來自多個來源的數據時尤其有用。

舉個例子：考慮一個服務器端的應用程序和第三方資源進行通信以更新自不同來源的數據，或者將服務

端上的一些圖像和視頻資源存儲到第三方云服務。

雖然專用代理服務器確實存在，但是如果你還沒有專用的代理服務器，或者你需要一個本地開發的解決

方案，那么使用 Node 來做代理可能是更好的選擇。關于這個解決方案，我的意思是指當你在開發的時

候，你可以使用Node.js的開發環境搭建一個服務來處理對資源和代理的請求，而在生產環境下，你可以

使用專用的代理服務（比如nginx，HAProxy等）來處理這些交互。

股票操盤手的儀表盤

讓我們繼續討論應用程序這塊。實時網絡的解決方案可以很輕松的實現證券交易軟件——用于跟蹤股票

的價格，執行計算、做技術分析，同時生成報表。

使用一個實時的的基于網頁的解決方案，將會允許操盤手輕松的切換工作軟件以及工作地點。相信不久

，我們或許會在佛羅里達州、伊維薩島又或者是巴厘島的海灘上看到他們。

應用監聽儀盤表

另一種常見的用例中，使用 Node+Web+Socket 非常適合：跟蹤網站訪問者并且可視化實時它們之間的實

時交互。（如果你有興趣，可以去看看 Hummingbird）

你可能需要采集用戶的實時狀態, 或者甚至當他們到達渠道中某個特定的點時, 打開一個交流頻道，通

過有針對性的互動介紹移動到下一個階段. （如果你感興趣的話，推薦你看看 CANDDi）

想象一下，如果你知道你的訪客的實時操作，并能夠形象化地看到他們的交互，這將對你的業務帶來多

大的提升。隨著實時的、雙向 socket 通信的 Node.js ，現在你可以做到了。

系統監控儀表

現在，讓我們看看事情的基礎設施方面。想象一下，比如，希望為其用戶提供服務監控頁面（例如，

GitHub上的狀態頁）的 SaaS 運營商。通過 Node.js 的事件循環，我們可以創建一個基于 Web 的功能

強大的儀表板，以異步方式檢查服務狀態并且使用的 WebSockets 將數據推送到客戶端。

內部（公司內部）和公共服務的狀態都可以使用該項技術實現實時的上報。讓我們把這一想法延伸的遠

一點，試著想象一個電信運營商中網絡運營中心（NOC）的監控應用，云/網絡/服務器運營商，或者一些

金融機構，全都運行在這個由 Node.js 和 WebSocket 組成的應用上，而不是 Java 和/或 Java Applet

。

注意：不要嘗試使用 Node 打造硬實時系統（即，響應時間要求一致的系統）。 Erlang是可能是該類應

用程序的更好的選擇。

什么地方可以使用 Node.js

服務端 WEB 應用

通過 Node.js 使用 Express.js 也可以用來創建服務端上的典型的網頁應用。然而，雖然有可能，使用?

Node.js 來進行請求+響應的形式來呈現 HTML 并不是最典型的用例。有人贊成也有人反對這一做法。這

里有一些看法以供參考:

優點：

如果你不需要進行 CPU密集型計算，你可以從頭到尾甚至是數據庫（比如 MongoDB）都使用 Javascript?

來開發。這顯著地減輕了開發工序（包括成本）。
對于一個使用 Node.js 作為服務端的單頁應用或者 websocket 應用，爬蟲可以收到一個完全 HTML 呈

現的響應，這是更為SEO友好的。
缺點：

任何CPU密集型的計算都將阻礙 Node.js 的反應，所以使用多線程的平臺是一個更好的方法?；蛘?#xff0c;您

也可以嘗試向外擴展的計算[*]。
Node.js 使用關系型數據庫依舊十分痛苦（詳細見下方）。拜托了，如果你想執行關系型數據操作，請

考慮別的環境：Rails， Django 甚至 ASP.NET MVC 。。。。
【*】另一種解決方案是，為這些CPU密集型的計算建立一個高度可擴展的MQ支持的環境與后端處理，以

保持 Node 作為一個前臺專員來異步處理客戶端請求。

Node.js 不應該在什么地方使用

使用關系型數據庫的服務端 WEB 應用

對比 Node.js 上的 Express.js 和 Ruby on Rails，當你使用關系型數據庫的時候請毫不猶豫的選擇后

者。

Node.js 的關系數據庫工具仍處于早期階段，目前還沒有成熟到讓人能夠愉快地使用它。而與此同時，

Rails天生自帶了數據訪問組件，連同DB schema遷移的支持工具和一些Gems（一語雙關，一指這些如同

珍寶的工具，二指ruby的gems程序包）。Rails和它的搭檔框架們擁有非常成熟且被證明了的活動記錄（

Active Record）或數據映射（Data Mapper）的數據訪問層的實現，而這些是當你在使用純JavaScript

來復制這些應用的時候會非常想要使用的東西。

不過，如果你真的傾向于全部使用 JS（并且做好可能抓狂的準備），那么請繼續關注 Sequelize 和?

Node ORM2 ，雖然這兩者仍然不成熟的，但他們最終會迎頭趕上。

[*] 使用 Node 光是作為前端而 Rails 做后端來連接關系型數據庫，這是完全有可能也并不少見的。（

筆者注：國外有種說法，PHP這一類程序員也可以算作是前端）

繁重的服務端的計算和處理

當涉及到大量的計算，Node.js 就不是最佳的解決方案。你肯定不希望使用 Node.js 建立一個斐波那契

數的計算服務。一般情況下，任何 CPU密集型操作會削弱掉 Node通過事件驅動，異步 I/O 模型等等

帶來的在吞吐量上的優勢，因為當線程被非異步的高計算量占用時任何傳入的請求將被阻塞。

正如前面所說，Node.js 是單線程的，只使用一個單一的CPU核心。至于，涉及到服務器上多核并發處理

，Node 的核心團隊已經使用 cluster 模塊的形式在這一方面做了一些工作 (參考：

http://nodejs.org/api/cluster.html)。當然，您也可以很容易的通過 nginx 的反向代理運行多個?

Node.js 的服務器實例來避免單一線程阻塞的問題。

關于集群(clustering) ，你應該將所有繁重的計算轉移到更合適的語言寫的后臺進程來處理，同時讓他

們通過像 RabbitMQ 那樣通過消息隊列服務器來進行通信。

即使你的后臺處理可能最初運行在同一臺服務器上時看不出什么優點，但是這樣的做法具有非常高的可

擴展性的潛力。這些后臺處理服務可以容易地分割出去，作為單獨的 worker 服務器，而不需要配置入

口 web服務器的負載。

當然，你也可以在其他語言平臺上用同樣的方法，但使用 Node.js 你可以得到很高的吞吐量，每個請求

都作為一個小任務非常迅速和高效地處理，這一點我們已經討論過了。

結論

我們已經從理論到實踐討論過 Node.js 了，從它的目標和野心，到其優點和缺點。在 Node.js 的開發

中99%的問題是由誤用阻塞操作而造成的。

請記住：Node.js 從來不是用于解決大規模計算問題而創建的。它的出現是為了解決大規模I/O 的問題

，并且在這一點上做的非常好。

綜上，如果你項目需求中不包含CPU密集型操作，也不需要訪問任何阻塞的資源，那么你就可以利用的?

Node.js 的優點，盡情的享受快速、可擴展的網絡應用。
========

一個Java碼農的Node之旅

本篇是一個Node新手做完實際項目后的心得總結。

摘要
如果BOSS要求你在短期內快速實現一套聊天云服務平臺，實現成本主要是：

要維護社交關系，一大波僵尸POJO正在襲來。
要存儲數據庫，找個ORM工具。
長連接吧方面是WebSocket標準，亦或Netty、Mina系的框架。
連接斷了需要實現下重連機制吧？服務器端寫完了還有客戶端，也需要幫助指導下實現，問題諸多。
我們的征途是偷懶
如果有現成的輪子偷懶的話，socket.io比較適合：

輕量級、擴展便捷、API簡單易用。
周邊完善，重連、路由、隔離、單播、廣播等都已實現。
豐富的客戶端支持，涵蓋了瀏覽器端、Android、iOS。
在仔細研讀了Flexi傳授如何說服自己的老板采用Node.js，并成功說服BOSS后，正式開始自己的Node之

旅。

工欲善其事必先利其器
開發環境
對于開發環境，無論你是使用編輯器/編輯器之神，或是sublime/atom/npp之類，亦或是WebStorm高富帥

有錢任性，都是很不錯的選擇。

Supervisor可以幫你watch代碼變更，自動重啟服務，從而節省了手工重啟程序的時間。

關于調試
高富帥款：WebStorm
高逼格款：原始打斷點
屌絲款：node-inspector，可以在Chrome中直接調試，強烈推薦：
圖片描述

離不開的中間件
首先，勾勒出一個核心的聊天系統大致的雛形：

基本功能

集群實現
敏感詞過濾
好友

加好友，刪好友
好友之間聊天，發文字發圖片發音頻發視頻啥的
群組

創建，加入，退出群組
群組內廣播聊天
聊天歷史記錄

擴展與周邊

集群實現
敏感詞過濾
分析下大致需要的存儲層和中間件以及是否有相關的Node實現：

MySQL：存儲一些重要的元數據，主要是用戶關系類的，需要事務支持。(node-mysql)
ZooKeeper：用戶在線離線狀態存儲。(node-zookeeper-client)
Redis：使用緩存加速一些查詢，PubSub特性用于實現集群通訊。(ioredis)
HBase：典型的列式存儲，用于實現一些非核心數據的快速存儲查詢。(hbase-rpc-client)
LevelDB：本地快速讀寫一些鍵值對。(LevelUP)
技術棧
對比

常年滋潤在Java這片潤土之上，先來做個比較，讓我們對陌生的技術棧有所了解。

圖片描述

ES6
ES6是個好東西, 我覺得比較好用的三點：

const: 可以方便地對不可變的東西進行聲明。
let: 只JavaScript初學者不用擔憂不知不覺把變量提升的問題。
lambda表達式: 神器。
核心實現
流程時序
仔細思考，勾勒出大致的時序圖：

圖片描述

系統架構：
設計下大致的架構:

圖片描述

步步為贏，各個擊破
狀態管理

典型的IM系統中必然存在用戶在線離線的狀態。每一個在線狀態，對于服務器來說，等價于與客戶端存

在一個Socket連接。所以對于單機環境下，在內存中維護用戶和Socket的關系即可，當Socket連接和斷

開時分別做更新操作。當切換至集群環境時，情況變得稍微復雜，所以我們需要借助ZooKeeper來實現。

除了本機每個用戶與Socket關聯關系，另外以臨時節點的方式在ZooKeeper中進行存儲，目錄結構為根節

點/命名空間/用戶標識/Socket標識（臨時節點）。當socket連接被建立的時候，創建對應的臨時節點，

socket斷開時移除臨時節點。當服務器意外退出時，除了socket連接全部斷開之外，在其ZooKeeper?

session上的所有對應的臨時節點也會被銷毀。SocketIO的重連機制會嘗試重連至其他伺服器并重新建立

起對應關系。

優點：

判斷一個用戶是否在線只需判斷用戶標識節點的numChildren是否大于零即可。
獲取用戶所有已連接的Socket只需讀取用戶標識下的所有孩子節點即可。
缺點：

多了額外讀寫ZooKeeper的開銷。
用途：

實現集群的基礎
有了狀態判定才能實現離線消息推送
好友關系、群組關系

關系表原本存儲于HBase，但因為缺乏事務支持，實際效果不佳，經常導致關系不一致。傳統關系型數據

庫在這一方面依舊強勢。這塊比較簡單，即常見的關系模型表，在此略過。

點對點聊天實現

單機

A對B發送消息，除了基礎的權限判定，只需查詢內存表中對應B的所有socket，然后對其發射消息即可。

見下圖：

圖片描述

集群

由于B可能登錄在不同的服務器上，需要借助消息中間件(Redis Pub/Sub)，發布消息，每個服務器訂閱

消息列表，如果存在消息接收者，則找到其注冊在本機的socket進行發射消息。流程如下圖：

圖片描述

廣播聊天實現

廣播類似以上的點對點實現，只是多了一步查詢成員表依次處理的步驟。此處略。

聊天歷史記錄的實現

考慮到只需要根據時間范圍做分頁查詢的簡單需求，這里使用了HBase的寬表。點對點形式的聊天我們可

以對兩個用戶標識進行排序，并結合命名空間生成唯一的哈希值，作為行健，而每個CELL的值則是時間

戳，因為我們需要令其自然倒序排列，所以針對時間戳做了LONG。MAX-時間戳的處理。綜合起來，大致

的存儲結構如下：

圖片描述

敏感詞過濾

維護臟詞字典，對消息進行字符串替換？為了實現正確辨認“曹操在操場操美女”中的動詞“操”，需

要實現中文分詞和詞性判斷，于是處理邏輯轉變成：

拉取最新的臟詞列表，轉換為簡體中文并寫入LevelDB中。
使用nodejieba進行中文分詞：曹操(n)/在(p)/操場(n)/操(v)/美女(n)
對分詞后的名詞和動詞轉換為簡體中文并查詢LevelDB，命中則替換。
返回替換后的字符串得到：曹操在操場*美女
打包部署
PM2
Node本身是單線程的，雖然Node本身提供Cluster模塊，但需要修改代碼。通過PM2這個工具可以簡便地

讓其多進程部署，充分利用多核CPU資源:

圖片描述

Docker
可以使用官方的node鏡像。但體積比較大，這里推薦基于alpine-node，體積比較小巧，例如：

FROM mhart/alpine-node:4

RUN apk add --no-cache make gcc g++ python

RUN apk add --no-cache imagemagick

WORKDIR /src
ADD . .
RUN npm install --registry=http://registry.npm.taobao.org/

EXPOSE 3000
CMD ["npm","start"]
C1000K測試
著名的單機100萬連接，由于項目是第一個版本，限于各方面原因我們暫時沒有完成這個測試。但在這里

簡短介紹所需的一些配置，以備后續使用：

服務器端
修改tcp連接的最小內存為4k, 編輯/etc/sysctl.conf
net.ipv4.tcp_wmem = 4096 87380 4161536
net.ipv4.tcp_rmem = 4096 87380 4161536
net.ipv4.tcp_mem = 786432 2097152 3145728
修改系統最大文件描述符, 編輯/etc/sysctl.conf
fs.file-max = 1000000
修改進程最大文件描述符, 編輯/etc/security/limits.conf
* ? ? ? ? hard ? ?nofile ? ? ?1000000
* ? ? ? ? soft ? ?nofile ? ? ?1000000
root ? ? ?hard ? ?nofile ? ? ?1000000
root ? ? ?soft ? ?nofile ? ? ?1000000
重載下配置(sysctl -p)或者重啟,檢查下當前的設置 cat /proc/sys/fs/file-nr
*客戶端

因為每個IP最多可以創建6萬多個連接，不可能找很多服務器進行測試。所以客戶端除了上述修改，還需

要創建多個虛擬IP，這樣每個IP可以提供大約6萬的連接，如:
?ifconfig eth0:0 192.168.77.10 netmask 255.255.255.0 up
?ifconfig eth0:1 192.168.77.11 netmask 255.255.255.0 up
?ifconfig eth0:2 192.168.77.12 netmask 255.255.255.0 up
?ifconfig eth0:3 192.168.77.13 netmask 255.255.255.0 up
?ifconfig eth0:4 192.168.77.14 netmask 255.255.255.0 up
?ifconfig eth0:5 192.168.77.15 netmask 255.255.255.0 up
?ifconfig eth0:6 192.168.77.16 netmask 255.255.255.0 up
?ifconfig eth0:7 192.168.77.17 netmask 255.255.255.0 up
?ifconfig eth0:8 192.168.77.18 netmask 255.255.255.0 up
?ifconfig eth0:9 192.168.77.19 netmask 255.255.255.0 up
?ifconfig eth0:10 192.168.77.20 netmask 255.255.255.0 up
?ifconfig eth0:11 192.168.77.21 netmask 255.255.255.0 up
?ifconfig eth0:12 192.168.77.22 netmask 255.255.255.0 up
?ifconfig eth0:13 192.168.77.23 netmask 255.255.255.0 up
?ifconfig eth0:14 192.168.77.24 netmask 255.255.255.0 up
?ifconfig eth0:15 192.168.77.25 netmask 255.255.255.0 up
?ifconfig eth0:16 192.168.77.26 netmask 255.255.255.0 up
?ifconfig eth0:17 192.168.77.27 netmask 255.255.255.0 up
?ifconfig eth0:18 192.168.77.28 netmask 255.255.255.0 up
修改本地端口范圍,編輯/etc/sysctl.conf
? ? net.ipv4.ip_local_port_range = 1024 65535
重載配置或重啟開始測試
總結
存在即合理，不要卷入無謂的語言之爭，本猿覺得干這行的最重要莫過于學習能力。?
寫代碼之前先理清楚思路和結構，不打沒有準備的仗。

良好的代碼規范，遵循KISS原則。
========