點擊上方藍字關注我們

國家高性能計算環境的虛擬數據空間運行支撐技術研究

何小雨^1,2,?鄧筍根¹,?欒海晶^1,2,?牛北方^1,2

1?中國科學院計算機網絡信息中心，北京 100190

2?中國科學院大學，北京 100190

?

摘要：國家高性能計算環境的特點是廣域分散、系統異構、存儲資源隔離自治，這對存儲設備管理、數據跨域共享等提出了極大的挑戰。首先闡述了虛擬數據空間系統的概念，然后分析了其作為國家高性能計算環境的一部分，如何通過視圖訪問、數據共享、計算環境對接有效降低跨域的訪問開銷；接著通過模塊化方式將虛擬數據空間系統與國家高性能計算環境進行深度的融合，將其功能補充到國家高性能計算環境中；最后通過統一的虛實空間用戶管理框架實現了跨域統一、透明安全的存儲服務和對大型計算應用的支撐，這對于國家高性能計算環境的發展具有十分重要的意義。

關鍵詞：虛擬數據空間系統?;?國家高性能計算環境?;?數據分布?;?用戶視圖?;?環境集成

論文引用格式：

何小雨, 鄧筍根, 欒海晶, 等. 國家高性能計算環境的虛擬數據空間運行支撐技術研究[J]. 大數據, 2021, 7(2): 158-171.

HE X Y, DENG S G, LUAN H J, et al. Study of technique support on the operation of virtual data space in national high performance computing environment[J]. Big Data Research, 2021, 7(2): 158-171.

1 引言

國家高性能計算環境（nation high performance computing environment， NHPCE）廣域分散、系統異構的特點顯著增加了虛擬數據空間存儲設備的管理難度。針對該問題，國家高性能計算環境中虛擬數據空間運行支撐技術課題組擬研究國家高性能環境節點部署技術。通過對高性能計算環境典型文件系統的分析，采用針對性掛載方式，在不修改本地系統的情況下，實現虛擬數據空間中跨域存儲資源的高效接入，從而有效地降低虛實空間界面間的開銷。

虛擬數據空間系統的目標是集成兩個國家網格主節點（中國科學院計算機網絡信息中心、上海超級計算中心）和3個國家超級計算中心（廣州、濟南、長沙）的數據存儲資源，每個中心需提供不少于300 TB的共享存儲空間。虛擬數據空間系統部署成功后，用戶提供可在統一的虛擬數據視圖上運行上層的應用。用戶負責選擇具體應用，發送應用數據到統一數據空間，然后提交應用任務。在虛擬數據空間軟件部署運行和應用驗證優化方面，項目團隊涵蓋上述3個國家級超級計算中心以及兩個國家網格主節點，擁有“天河”“神威”“元”等超級計算機系統，總計算能力超過100 PFlops，在線存儲量近30 PB，活躍用戶超過6 000個，支撐數值模擬、大數據處理、人工智能等眾多大型計算應用，為項目開展虛擬數據空間的軟件部署運行和應用驗證優化工作提供了資源和應用基礎。

國家高性能計算環境的虛擬數據空間運行支撐技術研究包括：虛擬數據空間與國家高性能計算環境接口技術、計算與存儲協同調度技術、虛擬數據空間軟件部署及驗證方法等。研究虛擬數據空間與國家高性能計算環境接口技術，實現虛擬數據空間與國家高性能計算環境的對接；突破計算與存儲協同調度技術，實現數據與計算任務的全局優化調度；研究虛擬數據空間軟件部署及驗證方法，提高軟件部署效率，從而實現虛擬數據空間構建、數據共享遷移等技術的集成，構建一個可運行于國家高性能計算環境的虛擬數據空間系統，并可被外部應用訪問。

2 國內外現狀

國家高性能計算環境又稱中國國家網格，其發展建設最早可追溯至20世紀90年代末。21世紀初，國家863計劃出資建設了5個高性能計算中心，所構建的高性能計算環境是未來國家網格環境的初級形態。隨后，該國家網格環境在我國“五年計劃”的大力支持下得到了長足的發展。目前，中國國家網格已涵蓋了眾多國內外優質的高性能計算資源，可為普通用戶提供高效便捷的計算服務，同時為基于多領域計算平臺的應用建設提供了有力的支持。隨著中國國家網格的發展進步，通用計算平臺、應用社區等應運而生?。近年來，在大數據技術的推動下，大規模數值計算的應用不斷深入大型異構并行系統，這種需求也反過來推動了高性能計算環境的發展，解決了計算與存儲的協同問題，使得更多富有挑戰性的任務的解決成為可 能。除此之外，為了滿足快速增長的用戶計算需求，中國國家網格的底層關鍵模塊在不斷地進行功能擴展和優化升級，以滿足在不同應用領域中用戶對環境擴展性、易用性和可靠性的需求。

1983年，美國國家科學基金會、國防部和能源部等多個部門和組織曾聯合向政府提出大力發展科學和工程計算工作的報告。此外，美國政府高度重視高性能計算項目的發展，并于1991年提出了“高性能計算與通信計劃”。該項目的目標是通過深入研究高性能計算環境解決一系列科學難題。1994年，美國能源部開展了為期10年的“加速戰略計算創新”計劃，該計劃通過運用超級計算機極大地加速了其核武庫的建設發展。1998年，美國能源部倡議在全國范圍內實施“科學模擬”計劃，提出要加速“燃燒系統”與“全球氣候系統”的科學模擬研究。2002年，美國國防部啟動了“高生產率計算系統”計劃，規劃了未來20年內超級計算機體系結構的發展，并計劃分階段有序實施。

美國極限科學與工程發現環境（extreme science and engineering discovery environment，XSEDE）的用戶門戶提供了多樣化的計算和技術支持服務，借助Glo bus實現大規模的數據傳輸。XSEDE的目標是在TeraGrid的基礎上建立一個可以提供私密安全環境的網絡基礎設施，使研究人員可以獲得所需資源、服務和合作的支持。例如，印第安納大學負責開發科學網關、在線工具和門戶，使科學家更易于訪問先進計算資源。此外，印第安納大學還負責提供虛擬機、網絡監控和備份操作等服務。田納西大學輔助創建美國高性能計算機與研究設施之間的新一代鏈接。新的XSEDE超級計算機網格將創造出強大的工具來解決部分高度復雜的科學問題，如通過氣候建模、藥物開發、DNA排序和各類模擬來解決氣候變化、不治之癥和能源危機等問題。此外，由田納西大學和橡樹嶺國家實驗室聯合運作的國家計算科學研究所負責改善高性能計算機、數據資源和實驗設施之間的鏈接。

歐洲網格基礎設施（European grid infrastructure，EGI）是一個可持續的泛歐基礎設施。EGI的愿景是讓所有學科的研究人員通過簡單、完整和開放的渠道獲取先進的數字功能、資源和專業知識，以及進行計算和數據密集型科學研究和創新。EGI整合了各類資源，主要包括各研究機構及國家的數字能力、數字資源和專業知識，從而為研究基礎設施創造并提供解決方案。截至2016年9月， EGI提供了826 500顆CPU核用于高通量計算、6 600顆CPU核用于云計算，在線存儲容量達到285 PB，檔案存儲容量達到280 PB。EGI的前身是歐洲數據網格（European data grid，EDG）和歐洲科研信息化網格（Enabling grid for e-science in Eruopean，EGEE），它們實現了對計算、存儲和網絡資源的跨國訪問。然而，原有的整套服務是根據早期科學團體的需求量身定制的，并不總是能滿足新團體的需求，因此啟動了EGI。EGI于2010年正式啟動，第一階段為面向歐洲科研人員的集成可持續泛歐基礎設施（EGI-InSPIRE）項目，旨在創建一個無縫系統，滿足當前和未來的科學工作需求。2014年12月EGIInSPIRE項目結束。2015年3月進入第二階段，為促進EGI社區邁向開放科學公地， EGI-Engage項目啟動，旨在擴展歐洲在計算、存儲、數據、通信、知識和技能方面的重要聯合服務能力，加速開放科學共享的實施，以補充特定社區功能。

歐洲WLGG（worldwide LHC computing grid）是世界范圍內最大的高能物理計算和存儲設施，通過專門的文件服務，使用現有的協議（如HTTP、FTP和GridFTP等）提供文件傳輸和共享服務。WLCG創建于2002年，是一個全球性計算機中心合作項目，旨在提供資源，用于存儲、分發和分析大型強子對撞機（large hadron collider，LHC）每年產生的幾十PB的數據。2016年，大型強子對撞機產生的數據在過濾99%以后，還能達到50 PB，該數據量相當于1 500萬部高清電影的總數據量。WLCG由歐洲核子研究組織（European Organization for Nuclear Research）負責協調，連接著全球42個國家的170多個計算中心，以及數個國家與國際網格，每天可運行200萬個作業，是當今世界上規模較大的網格計算環境之一。通過部署一個覆蓋全球范圍的計算網格服務，WLCG項目將歐洲、美洲、亞洲等地區的超級計算中心集成到一個虛擬的計算組織中，為大型強子對撞機實驗提供計算資源，包括CPU計算資源、數據存儲能力、處理能力、傳感器、可視化工具、網絡通信設施及其他資源等。實驗產生的數據分布于全球，歐洲核子研究組織會對原始數據進行備份。數據經過原始處理后，將在計算網格全天候運行的支持下分布式地存儲到歐洲、北美和亞洲的13個高水平研究中心，再從那里分散到世界各地上百個研究中心，由全世界多位物理學家合作處理實驗數據。

3 國家高性能計算環境接口研究

高性能計算（high performance computing，HPC）任務一般具有以下特征：

● 大規模并行，可上升至百萬核；

● 長時間計算；

● 穩定的網絡通信和較大的存儲；

● 計算任務以批處理作業的方式完成，且從任務開始運行直到結束，用戶不可交互。

高性能計算環境提供給用戶的使用方式主要包括圖形用戶界面（graphical user interface，GUI）、命令行（command line）和網站門戶（Web portal）3種。其中，GUI在界面友好性、功能完善性和響應速度等方面革新了人機交互的方式，但需要在用戶的計算機上安裝軟件。命令行方式操作靈活、功能全面，但需要用戶具備較高水平的編程能力。基于Web portal的HPC使用方式結合了前兩種方式的優點，用戶可在Web圖形界面上完成作業提交和管理，由于其簡單易用性，這種使用方式已經成為當前HPC使用方式的潮流，如中國科學院超級計算環境、中國國家高性能計算環境、美國TeraGrid Portal群及其后續項目等都使用這種方式。

國家高性能計算環境普遍采用基于表述性狀態轉移（representational state transfer，REST）風格的應用程序接口（application programming interface, API）。該API是連接環境系統軟件和計算應用服務平臺的中間層，負責將各項請求信息傳遞到異構計算資源，并且通過執行操作來查詢和獲取信息，包括虛擬數據空間中計算數據（輸入/輸出數據）的分布信息（存儲信息）。API負責以合適的形式封裝環境系統軟件提供的功能，并優化已有API的性能和效率。

在接口設計中，重點設計高性能計算任務中虛擬數據空間系統提供的多副本數據服務，包括大規模數據的快速傳輸、文件管理等功能接口；然后研究基于虛擬數據空間的多數據來源的作業提交、共享輸入數據和共享應用軟件的批量作業管理等；在此基礎上，進一步研究高性能計算環境的工作流任務模型，包括作業提交、狀態管理、數據傳輸、輸入文件格式轉換、輸出文件質量檢查和依賴條件判斷等，并設計可擴展的插件機制，利用已有成果完成作業調度、前后處理等功能，從而為不同學科領域的應用計算和上層應用社區提供定制化的開發功能。

高性能計算環境接口包括：機群節點列表查詢接口、應用列表查詢接口、環境隊列查詢接口以及作業系統相關接口等。

高性能計算環境接口一方面在高性能計算環境中為虛擬數據空間提供統一的全局虛擬數據空間的數據訪問服務，另一方面為高性能計算環境中數據與計算的協同調度提供相應的服務。除此之外，虛擬數據空間集成部署后，將在高性能計算環境中使用，因此還設計了相應的接口供高性能計算環境調用。高性能計算環境接口和虛擬數據空間接口分別見表1和表2。

在接口設計過程中，對JSON響應輸出格式進行了內容規范，具體如下：

● 如果交互正常，則返回的HTTP status code為200，其他錯誤內容參見HTTP的標準定義，以后將有詳細的編碼定義；

● 調用HTTP API時，平臺返回的響應輸出由status_code、status_msg兩個參數組成，分別用于描述錯誤碼和錯誤信息。status_code為0，表示操作成功執行，其他錯誤碼參見具體函數的說明；

● 交互正常（http_code=200）時，響應會生成request_id字段，該字段的值由服務端生成，并返回給用戶，以便進行問題追查與定位。

研究中使用response_params表示API返回的結果，其是由n個包含<key,value>對的元素組成的JSON對象。

4 數據與計算協同調度方法

計算任務的運行時間高度依賴資源的布局和可用性，資源失配將顯著增加運行時間。針對該問題，研究數據與計算任務的協同調度機制，基于設計的環境接口、特征模型，動態監視資源狀態，對全局資源進行統一管理和分配，設計優化解決方案，以實現數據與計算任務的協同調度。

在高性能計算環境中，各個超級計算中心集群的計算能力、調度系統、部署的應用軟件以及網絡帶寬都有區別，為了避免傳統單一的計算任務調度，采用計算與數據協同調度算法，依據計算特征和數據布局選擇任務和數據節點，實現在廣域范圍內高效合理的計算任務分布和數據布局，以降低應用的跨域訪問開銷。

在傳統集群計算機系統中，計算系統與存儲系統是分開的，且其資源管理和任務調度系統相互獨立?。本部分進行了計算與數據協同調度的研究，從圖1可以看出，計算與數據協同調度算法不僅考慮了高性能計算環境計算服務中的因素，還將結合虛擬數據空間中的與一些數據服務任務相關的數據屬性。在高性能計算環境中，系統接收到計算任務的請求時，通過計算與數據協同調度算法選擇高性能計算環境的目標集群，同時計算該環境中的計算服務，通過虛擬數據空間系統的數據服務進行計算任務輸入/輸出的廣域的虛擬數據空間中的數據訪問。如某個計算任務的執行程序被部署在A、B、C 3個超級計算中心，在分配計算資源時，A、B、C都可以作為該計算任務的目標執行集群，這時需要關注該計算任務的輸入數據在分布式虛擬數據空間中的分布情況：首先查看該輸入文件是否在A、B、C中存在副本，若有，則在協同調度模型中該項因子的權重生效；判斷是否需要在A、B、C中創建該文件的副本，其中需考慮創建各個副本的代價情況；還需要考慮其他因素，如隊列、用戶權限等。

圖1???高性能計算環境計算與數據的協同調度系統的結構示意圖

高性能計算環境計算與數據的協同調度模型充分考慮了高性能計算環境中的計算集群資源及隊列情況、數據分布狀態，各個超級計算中心之間的網絡互連情況、計算任務的需求，以及各個超級計算中心上的應用部署情況。

高性能計算環境計算與數據的協同調度模型如圖2所示。其首先將接收到的由計算集群、輸入輸出數據、網絡、任務以及應用部署5大類16個小項數據輸入參數組成的矩陣輸入協同調度模型中，通過參數匹配和參數優化進行任務和數據的調度。

圖2???高性能計算環境計算與數據的協同調度模型

從國家高性能計算環境來看，任務的啟動包含數據準備時間、任務在目標中心集群上的調度時間。

基于虛擬數據空間的廣域數據的訪問，進一步實現環境節點管理、環境任務管理以及環境數據管理等，具體如圖3所示。環境節點管理部分主要指高性能計算環境與虛擬數據空間環境調用接口之間的交互，針對高性能計算環境中的計算、數據、集群3個方面實現集群節點管理、集群隊列管理、集群作業管理和集群應用管理；數據與計算協同調度模塊包括環境API、與虛擬數據空間對接的數據空間API，此模塊的任務是利用啟發式協同調度算法進一步實現數據遷移、任務遷移及任務特征匹配。

圖3???虛擬數據空間協同調度設計框架

（1）對計算資源、存儲資源、數據準備（包括數據遷移）、任務遷移以及任務預期運行時間等調度要素進行形式化定義，為接下來的調度模型算法設計奠定基礎。

● 應用信息的相關信息如圖4所示，包括版本、部署的節點等。

圖4???應用的相關信息

● 數據信息的相關信息如圖5所示，包括大小、分布節點等。

圖5???輸入/輸出數據的相關信息

● 隊列信息的相關信息如圖6所示，包括狀態、允許的核數、時間、排隊情況等。

圖6???隊列相關信息

在協同調度算法設計中，本文做出相應的定義，具體如下。

● 應用的定義

Node_app表示應用在各點的部署情況，其中，N_ai表示應用遷移情況。

● 數據的定義

Node_data表示數據分布/遷移的情況，其中，N_di表示應用遷移代價。

● 隊列的定義

Node_queue表示隊列是否滿足任務的條件以及任務執行需要的等待時間，其中，N_qi表示隊列狀態。

（2）建立協同調度的虛擬任務隊列，如圖7所示。

在全局的虛擬數據空間與高性能計算環境的計算與數據協同調度設計中，采用一種虛擬隊列的方式，將環境中各個點的資源虛擬成全局調度的一個隊列。根據各個點的資源和任務使用情況設定各個虛擬隊列的優先級。

圖7???協同調度的虛擬任務隊列

在調度過程中，結合任務的部署情況、數據準備情況、各虛擬隊列的任務排隊情況，以及任務和數據遷移代價，綜合制定環境的調度目標。

5 虛擬數據空間系統與高性能環境的集成

在高性能計算環境的相關接口以及計算與數據的協同調度模塊的基礎上，將虛擬數據空間接口集成到國家網格環境的服務器中，與高性能計算環境形成完整的系統。

如圖8所示，虛擬數據空間系統目前已完成五大超級計算中心的部署，這些中心同時也是國家高性能計算環境的節點，將虛擬數據空間系統服務的客戶端節點納入國家高性能計算環境中，用戶在高性能計算環境中使用虛擬數據空間系統提供的功能，實現虛擬數據空間系統對國家高性能計算環境的擴展。

作為國家高性能計算環境的補充，虛擬數據空間系統為國家高性能計算環境提供了廣域環境下各中心數據存儲資源的統一虛擬訪問。本研究將虛擬數據空間系統集成到國家高性能計算環境中的數據與計算服務層，從而為上層的計算服務平臺提供廣域的虛擬數據空間的數據訪問服務。

（1）GVDS接口client命令供CNGrid client命令行使用

通過開發虛擬數據空間系統的接口為國家高性能計算環境提供支持。虛擬數據空間系統與國家高性能計算環境的調用接口，可為上層的計算服務平臺中的各類服務提供虛擬數據空間的數據查詢/訪問/傳輸。支持從多個輸入源選擇輸入文件或存儲輸出文件，使得高性能計算環境中的用戶能通過虛擬數據空間系統訪問廣域環境中其他網格節點的數據，實現高性能計算環境中計算任務能夠訪問跨域分散的存儲資源，使用戶能夠從使用角度看到一個與本地數據空間一致、可提供統一訪問與管理的虛擬數據空間，并在國家高性能計算環境中為用戶的計算任務提供整個環境的計算與數據的協同能力。

圖8???虛擬數據空間系統與國家高性能計算環境的集成系統結構

將GVDS接口命令部署到高性能計算環境中。用戶調用已封裝好的命令可實現虛擬數據空間與國家高性能計算環境中的中國科學院超級計算中心、國家超級計算廣州中心、上海超級計算中心、國家超級計算長沙中心以及國家超級計算濟南中心的數據信息的全局統一訪問。

（2）GVDS API供CNGrid portal調用

在天氣預報典型應用中，通過命令行方式調用系統中的POSIX接口，實現對虛擬數據空間系統的應用數據的訪問。

（3）虛擬數據空間中用戶身份與高性能環境的認證

虛擬數據空間系統作為一個社區，擁有獨立的一套用戶管理機制，包括賬戶注冊、登錄、注銷等。CNGrid client命令行與GVDS client命令行都與服務器用戶進行一對一映射。CNGrid portal調用GVDS API時，CNGrid用戶與GVDS用戶一對一映射。

6 虛擬數據空間系統接口實現

系統接口都是基于REST風格的開發API實現的，REST已成為最主要的Web服務設計模型。RESTful Web service是一種輕量級的Web service架構風格，可完全通過HTTP實現，還可以利用緩存提高響應速度，在性能、效率和易用性方面有很好的表現。REST API提供了基于HTTP的國家高性能計算環境訪問接口，包括用戶管理、作業管理、文件管理等基本功能，也提供了賬號管理等高級功能。該接口具有良好的跨語言特性和跨平臺特性，使得開發人員可自由選擇編程語言。

系統接口在高性能計算環境中為虛擬數據空間系統提供了統一的全局虛擬數據空間的數據訪問服務。

● 如圖9所示，vlu命令用于獲取虛擬數據空間用戶的信息。

圖9???虛擬數據空間用戶的信息

● 如圖10所示，vlg命令用于獲取虛擬數據空間用戶組的信息。

圖10???虛擬數據空間用戶組的信息

● 如圖11所示，vmkuser命令用于創建虛擬數據空間用戶。

圖11???創建虛擬數據空間用戶

● 如圖12所示，vmoduser命令用于修改虛擬數據空間用戶。

圖12???修改虛擬數據空間用戶

● 如圖13所示，vscheduling命令可用于獲取高性能計算環境信息。

圖13???獲取HPC信息

● 如圖14所示，vscheduling命令也可用于獲取高性能計算環境的隊列信息。

圖14???獲取HPC隊列信息

● 如圖15所示，vscheduling命令還可用于獲取高性能環境的應用信息。

圖15???獲取HPC應用信息

環境用戶在單個節點就可通過虛擬數據空間系統訪問其分布在各個超級計算中心的數據資源（如同訪問單一節點的數據一樣），并能對這些數據資源進行相應的操作，如編輯、復制、備份等。在任何一個部署了虛擬數據空間系統的節點上，像使用普通Linux文件系統一樣，用戶能看到其在各個超級計算節點的數據目錄和文件，通過虛擬數據空間系統的命令能遠程地使用和編輯文件。從用戶的角度來看，在虛擬數據空間系統中對文件的操作如同在Linux系統中操作本地文件一樣。高性能計算環境通過調用虛擬數據空間系統的相關命令接口實現網格環境中數據文件的操作：如在不同超級計算中心的副本上建立數據文件，在不同超級計算節點上訪問/傳輸文件等。

7 結束語

將虛擬數據空間系統部署到國家高性能計算環境中，可實現虛擬數據空間系統與國家高性能計算環境的深度融合。將虛擬數據空間系統提供的功能補充到國家高性能計算環境中，為國家高性能計算環境提供統一的數據訪問視圖，方便國家高性能計算環境的用戶使用。利用虛擬數據空間系統提供的數據存儲的統一視圖，并通過虛擬數據空間系統提供的數據共享等功能實現計算過程中的數據交換方式，可有效地解決高性能計算環境中的計算資源聚合、數據資源分散問題，對國家高性能計算環境的易用性方面起到良好的推動作用。

作者簡介

何小雨（1990-），女，中國科學院計算機網絡信息中心高性能計算技術與應用發展部、中國科學院大學博士生，主要研究方向為高性能計算、機器學習等。

鄧筍根（1975-），男，中國科學院計算機網絡信息中心高性能計算技術與應用發展部高級工程師，主要研究方向為高性能計算軟件、算法分析等。

欒海晶（1996-），女，中國科學院計算機網絡信息中心高性能計算技術與應用發展部、中國科學院大學碩士生，主要研究方向為高性能計算和深度學習。

牛北方（1978-），男，博士，中國科學院計算機網絡信息中心研究員，中國科學院大學崗位教授、博士生導師。中國計算機學會高性能計算專業委員會委員。主要研究方向為高性能計算、數據分析算法與軟件技術。

聯系我們:

Tel:010-81055448

? ? ? ?010-81055490

? ? ? ?010-81055534

E-mail:bdr@bjxintong.com.cn?

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

轉載、合作：010-81055537

大數據期刊

《大數據（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，并被評為2018年、2019年國家哲學社會科學文獻中心學術期刊數據庫“綜合性人文社會科學”學科最受歡迎期刊。

關注《大數據》期刊微信公眾號，獲取更多內容

總結

以上是生活随笔為你收集整理的国家高性能计算环境的虚拟数据空间运行支撑技术研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。