數據共享交換平臺的問題及解決方案

簡介：數據共享交換平臺應該猶如手機、電子郵件那樣全球互聯互通，然而當前的數據共享交換平臺都未能實現全球互聯互通，只能實現局部通。數據共享交換的應用場景和數據的生存環境與當前的軟件系統完全不同，需要采用全新的方法和工具才能高效地實現不同軟件系統之間的數據共享交換。本文介紹了一種利用電子郵件作為傳輸工具通過特殊的編碼解碼而進行數據流通方法、通用的數據共享交換平臺，從而可在全球范圍內實現各種軟件系統、任何人之間、任何結構化數據的共享交換，可實現全球互聯互通。

現有的數據共享交換平臺存在的問題

全國已有很多個數據共享交換平臺，然而這些平臺未能真正地實現政務數據的全面的開放共享，應用效果不能令人滿意。

數據共享交換平臺應是一種通用平臺，猶如電子郵件那樣，可以實現全球范圍內的各種軟件系統、全球范圍內的各種用戶之間的各種數據的共享交換。然而，現有的數據共享交換平臺并不是通用平臺，而是專用的平臺，只能針對特定范圍內的有限的軟件系統及用戶實現數據共享交換，而且不同的數據共享交換平臺之間也不能相互共享交換數據。當前的“統一身份認證”只是某個局部范圍內的“統一”，而不是全球范圍內的“統一”。

要成為全球通用的數據共享交換平臺，需要解決兩種問題，一是如何實現用戶身份的“全球統一身份認證”及“單帳號登錄各種軟件系統”；二是需要設計一種通用的結構化數據流通工具，可以在全球范圍內實現各種結構化數據在各種軟件系統之間、各種人之間的流通。

當前的身份認證方法存在的問題

當前的“統一身份認證”和“單點登錄”只是實現了特定范圍內“統一身份認證”，例如某個單位內部、某個省市內部，而不是全球范圍內的“統一身份認證”。

在數據流通中，如何表達及識別甲乙雙方的身份也是一個大問題，只有當數據接收方可以方便地識別出數據的發送者是誰，相應的數據流通工具才是合格的；當前的問題是數據流通涉及到全球范圍內的數千萬個以上的各種信息系統、數十億以上的用戶，現有技術未能實現對全球用戶身份進行統一識別，也沒有一種簡單通用的識別收發數據雙方身份的方法。

現有的各個信息系統都有自己專用的的用戶管理方法和系統權限管理方法。用戶要登錄某個系統，就必須在登錄系統之前首先注冊用戶，然后再根據用戶名和密碼登錄系統。由于全球的信息系統太多，誰也不可能全部記住曾經使用過的系統的用戶名和密碼。注冊一個用戶約需要十分鐘，每個人一年要在多個系統中注冊用戶；一個人一年，在注冊用戶、遺忘用戶名和密碼的找回密碼方面需要花幾個小時的時間。對于全球數十億用戶而言，如果實現了全球統一的用戶身份認證管理及信息系統權限管理，由此全球用戶每年減少數百億小時注冊用戶、找回遺忘用戶名和密碼的時間。

由于各個信息系統的用戶身份認證管理方法各不相同，當全球范圍內的數千萬個以上的各種信息系統之間共享交換數據時，也會產生各個系統之間不能識別對方的用戶身份的問題，數據的接收方不知道是誰發送的數據也就不可能信任接收到的數據。數據流通猶如收發數據雙方簽訂契約，這就需要在不同的信息系統、不同的人（自然人、法人）之間流通的數據都能成為契約，而成為契約的首要條件就是數據接收者可以準確地了解是誰發送的數據，誰對數據承擔責任，也只有知道了是誰發的數據才會成為可信的數據。信息系統中的數據其實是信息系統的擁有者（法人）的數據，由法人承擔相應的責任。對于契約數據而言，當系統A把數據發送給系統B時，系統B可以通過某種方法而自動識別出系統A的法人是誰，然而現有技術未做到這一點。現有技術是通過點對點的方式交換數據，雙方在事前已知對方是誰，因此，基本上不涉及用戶身份識別問題。

當前的單點登錄及統一身份認證只是針對指定的某個單位、某個地方的有限的若干個系統，而不是全球的各種信息系統。不同的單點登錄及統一身份認證系統也各自擁有各自的特點，不同國家、不同地區的單點登錄、統一身份認證系統之間也不能相互認證。例如，A省的與B省的統一身份認證系統之間就不能互聯互通。當全球范圍內的數千萬個信息系統之間共享交換數據時，需要有一種全球統一的、通用的用戶身份認證、識別及信息系統權限管理方法。

當前的點對點數據接口的問題

現有技術實現結構化數據流通的主要方法有兩種，一是利用點對點數據連接方式，二是利用電子郵件。問題是電子郵件只是通過匿名的方式實現非結構化數據的流通，不適合傳遞結構化數據。雖說電子郵件也可以通過XML文件傳遞結構化數據，然而不懂計算機技術的普通用戶無法處理、識別XML文件中的結構化數據，因此，只是專業技術人員偶爾使用電子郵件傳遞結構化數據；點對點數據連接方式雖說可以傳輸各種數據，但這種連接方式只是專用的數據連接方式，不通用，成本非常高。在現有技術中，人們主要利用API、Web Services技術通過數據交換平臺、點對點這種專用的雙方直接聯通的數據連接方式而實現數據共享交換。

數據交換平臺是指將分散建設的若干應用信息系統進行整合，通過計算機網絡構建的信息交換平臺，它使若干個應用子系統進行數據的傳輸及共享，保證分布異構系統之間互聯互通，建立中心數據庫，完成數據的抽取、集中、加載、展現，構造統一的數據處理和交換。

數據交換平臺都是專用的，不是通用的，這些平臺的應用范圍只是一家企業、一個城市的某個局的某個系統與其下屬單位之間數據交換；即各個數據交換平臺都有其指定的應用范圍，只是針對數量非常有限有若干個應用系統，針對不同范圍的應用必須開發不同的數據交換平臺，而無法利用一種通用的數據交換平臺而實現全球數千萬個以上的各種信息系統、數十億以上的用戶之間的數據交換。

目前的數據交換平臺不能成為通用的數據交換平臺的主要原因有三個：1、API、Web Services技術天生的就是兩系統之間直接互聯的點對點技術，不可能利用API、Web Services技術而編寫出通用的數據交換平臺。2、當前數據平臺所完成功能是“數據的抽取、集中、加載、展現”；由于當前的各種信息系統中的結構化數據屬于“多源、異構、非標”的，要完成“數據的抽取(ETL)”，就必須針對不同的信息系統而設計專用的軟件，用現有技術不可能設計出通用的“數據的抽取(ETL)”軟件。3、目前沒有全球統一的用戶身份認證、識別技術，也沒有全球統一的信息系統權限管理及用戶管理技術，不同的信息系統各自采用不同信息系統權限管理及用戶管理方法。

API、Web Services技術在誕生之初就只是為了甲乙雙方之間（或一方對多方）完成某種功能而未考慮“通用”的問題，“通用”的數據流通系統所實現的不僅僅是甲乙雙方之間數據流通，也包括全球范圍內的各種信息系統之間、任何人之間的數據流通。

現有技術（例如數據交換平臺）的一個非常關鍵的問題就是把數據流通與數據治理當作一件事來處理。只有把數據流通與數據治理分開當作兩件獨立的事件，把數據流通當作一項單獨的事件來處理才可能編寫出通用的數據流通工具。

現有的各種信息系統之所以稱作是信息孤島，一個根本原因在于現有信息系統只是在自己的系統中存貯處理數據，而不能把相關數據發送給用戶，使用戶也可以存貯、查詢數據，例如，電子商務、水費、電費、銀行流水、房產交易數據，及用戶登錄使用各種信息系統而產生的各種數據及這些數據流通的痕跡，這些數據也應該發送給用戶，讓用戶也可以存貯、查詢這些數據。

綜上所述，利用現有技術，可以用很多方法實現結構化數據的流通，然而，全部都是通過開發專用的點對點這種使通信雙方直接互聯的數據連接方式實現結構化數據流通，低效昂貴，不能令人滿意。

軟件系統的兩種不同的應用場景及數據的生存環境

數據共享交換之所以是一個難題，是因為當前的軟件系統的設計模式是“以我為中心”的軟件設計模式，以這種模式設計的軟件系統百分之百是孤島型系統，而數據共享交換是眾多軟件系統之間的“無中心”的數據處理模式。

現有的軟件系統只處理“我的系統”中的數據，不處理你的數據，也不處理他的數據。數據共享交換所處理的是軟件系統之間的“數據”，包括“我的數據、你的數據、他的數據、大家的數據”。

“以我為中心”的孤島型系統的特點

“以我為中心”的孤島型系統的特點：只考慮我的軟件系統之內的數據的存儲、處理；只考慮我的用戶，要成為我的用戶，必須先在系統內注冊，經我審核后才能成為我的用戶；若向外界提供數據，則需要通過我的點對點數據接口才能實現，要用我的數據接口也必須先在我的系統中注冊用戶。孤島型系統是“以我為中心”的，即軟件系統的所有用戶都是以我的軟件系統為中心，我只存儲處理我的數據，不存儲處理你的數據，也不存儲處理他的數據。

當前的“以我為中心”的軟件系統中的結構化數據的生存環境及特點：

當前的各種軟件系統具有比較明確的應用范圍，例如ERP、OA、財務管理系統、電子病歷系統，其應用范圍一般只是某個機構內部的某種業務；

各軟件系統各自定義自己的數據；

系統中的表的數量一般只是100張表左中，很少不超過1000張表；

系統中的表的數量及結構很少變動，各表的各字段的數據類型都是已知的、（基本上是）固定不變的。

在設計軟件系統之前就事先知道需要處理哪些數據，表的結構及數據的內容也是確定的；

系統的特點：以我為中心的孤島型系統，我只處理我的數據，不處理你的數據，也不處理他的數據，因為我的系統中未定義你的數據和他的數據；

對數據的查詢、統計分析也是可預知的，在設計軟件系統時就已知該哪些表的哪些字段進行查詢、統計分析；

系統既要處理數據，也實現一些功能（例如畫圖、播放音樂）。

數據共享交換屬于眾多軟件系統之間的“無中心”的數據互聯互通

數據共享交換中的數據生存環境與當前軟件系統中的數據的生存環境完全不同，數據共享交換所處理的數據是兩個或兩個以上的軟件系統之間共享交換的數據，甚至是全球范圍內的各種軟件系統之間共享交換的數據，屬于“無中心”的環境，相應的數據及用戶的特點：

數據共享交換的數據是全球范圍內的數千萬個以上軟件系統之間的各種各樣的結構化數據、無窮無盡；

數據共享交換中的用戶不是某個軟件系統內部的用戶，而是軟件系統之間的用戶，是無限的，有可能涉及到全球數億法人用戶、數十億自然人用戶；

數據的接收方有可能會接收到數萬、數十萬種結構各不相同的異構的結構化數據，面對如此眾多的多源異構數據，利用關系數據庫已很難處理，例如，要從這么多的異構數據中查詢某個數據，需要編寫很大的應用程序；

數據接收方所接收到的很多數據未在數據接收方的軟件系統中定義；

在數據共享交換中，隨時都會接收到全新結構的表，誰也無法預測下一張表會是什么樣的結構，所接收到的表的數量、表的結構、各表的各字段的數據類型都是未知的，針對這種情況該如何編寫查詢程序？例如，要對一萬張表中的數據進行查詢，需要編寫多少行的查詢軟件？成本是多少？

應該對哪些表的哪些字段進行統計分析也是未知的；

“無中心”模式只是在系統之間實現數據共享交換，不包括“功能”（或由數據接收方根據接收到的數據而實現各種“功能”）。

總結

當前的“以我為中心”的軟件系統只能對“有限的用戶”提供“有限的數據”的數據共享交換服務。“有限的用戶”是指在我的系統中注冊的用戶，不對未注冊的用戶提供服務。“有限的數據”是指在我的系統中已定義的數據；我的系統不處理（也不能處理、也處理不了）未在我的系統中定義的數據。在“以我為中心”的軟件系統中，所有用戶、所用數據都以我為主，都要受我控制。

當前的數據共享交換平臺還是屬于“以我為中心”的軟件系統。

“無中心”的數據共享交換的特點：用戶和數據是軟件系統之間的；面臨大量的未注冊的用戶、未定義的數據。

由于數據共享交換中的用戶和數據與當前的軟件系統中的用戶和數據都發生了本質的變化，因此，需要建立新的軟件設計理論體系才能高效地實現數據共享交換。數據共享交換屬于“無中心”的通信，需要采用猶如電子郵件、手機那樣的“無中心”數據流通方法和工具。

如何建立一種猶如電子郵件那樣的通用的結構化數據通信工具

要解決信息孤島問題需要建立新的通信協議

從通信的角度而言，通信需要以通信協議為基礎，各方根據通信協議進行通信。目前為什么不能高效共享交換？肯定是通信協議有問題，有不足之處，因此，需要建立新的協議。

通信協議是指雙方實體完成通信或服務所必須遵循的規則和約定。協議定義了數據單元使用的格式，信息單元應該包含的信息與含義，連接方式，信息發送和接收的時序，從而確保網絡中數據順利地傳送到確定的地方。在計算機通信中，通信協議是用于實現計算機與網絡連接之間的標準，網絡如果沒有統一的通信協議，電腦之間的信息傳遞就無法識別。通信協議是指通信各方事前約定的通信規則，可以簡單地理解為各計算機之間進行相互會話所使用的共同語言。兩臺計算機在進行通信時，必須使用的通信協議。

之所以在全球范圍內存在非常普遍的信息孤島問題，是因為未能建立“各信息系統之間進行相互會話所使用的共同語言”，即未能建立合適的通信協議。當前的各種信息系統都是自獨立地建立系統，沒有統一的規則，各系統也未遵守統一的規則（即通信協議）。

TCP/IP協議是針對設備之間進行通信的協議，因此這種通信可稱為設備通信。由于各種信息系統之間的通信中含有人的因素，因此這種通信可稱作人類通信。本文引入人類通信、設備通信的概念是為了說明通信分為兩大類，各有特點，兩者之間有本質差異。

信息孤島問題、數據開放共享問題是人類通信中的問題，問題的根本原因在于當前的以TCP/IP為基礎的通信是設備通信，TCP/IP協議中未包括與人相關的內容，不適合人類通信，或者說現有的通信技術不能全面解決人類通信中出現的新問題。人類通信與設備通信之間的本質差異在于設備通信是以匿名的非結構化數據為主，人類通信是以實名的結構化數據為主，人類通信涉及到數權，也涉及到多源異構問題。

在法律上，有物權法，對于數據而言，數據也有責、權、利，簡稱數權。數權也包括是否有權獲得數據、對數據承擔的責任和義務。設備通信中未涉及數權問題，設備通信關注的重點是可靠性，即如何使數據在傳輸中不丟失數據，TCP/IP協議中也沒有與數權相關的內容。

對設備通信而言，我發送數據，你接收到了數據，就OK了，你我之間沒有責權利問題。人類通信關注的重點不僅是可靠，更關注數據的可信，即如何確保數據是可以信任的。數據的可信包括：誰發送的數據、數據發給誰、誰對數據承擔責任，以及數據流通痕跡的可追溯不可篡改。TCP/IP協議中未包含數據可信方面的內容。在數據流通中，數權是收發數據雙方對數據的責任和權利。數權是數據流通中必須解決的問題，本文強調收發數據雙方以實名為基礎就是為了解決數權相關的問題，數據的發送者必須為所發送的數據承擔相應的法律責任。

設備通信是以通信協議為基礎，以通用的通信工具而進行通信，例如，瀏覽器、FTP軟件、電子郵件就是設備通信中通用的通信工具。現有技術可以實現人類通信，只是通信方式落后，低效昂貴。以信息系統（其擁有者是法人）之間的通信為例，信息系統是通過用戶管理、信息系統權限管理、各個信息系統通過開發專用的點對點式的、兩系統之間直接連接的數據接口而實現人與人之間的人類通信。

目前存在的問題：網絡通，為什么“數據不通，業務不通”？這是因為此處的“通信”屬于結構化數據的“人人通信”，即結構化數據在人（自然人、法人）與人（自然人、法人）之間的通信。

以TCP/IP協議為基礎的“機機通信”的特點是：“你發了，我收了，OK了！”

“人人通信”的特點：你發了，我收了；我要知道你是誰；你要對你發的數據承擔法律責任；也要讓我識別存儲；也要使數據流通痕跡可追溯不可篡改。

需要解決哪些問題才能設計出通用的數據共享交換平臺

要設計出通用的數據共享交換平臺，需要解決4種問題：1、數權（用戶身份、信息系統權限、數據的責任）；2、流通（數據流通及痕跡）；3、結構（多源異構數據的存貯查詢）；4、可信（數據的可信）。

1、數權（用戶身份、系統權限、數據的責任）問題：當全球范圍內的數千萬個信息系統之間共享交換數據時，需要有一種全球統一的、通用的用戶身份認證、識別及信息系統權限管理方法。

2、流通（數據流通及痕跡）：數據應該象合同一樣，合同雙方都有合同原件，收發數據的雙方也應該都保留數據流通的痕跡，這樣才能形成具有法律效力的完整的證據鏈，使得事后可以全面追溯數據流通的軌跡。目前的各種信息系統，例如電子政務、電子商務中的數據都只是單方保留數據流通的痕跡，而未把數據發送給普通用戶，目前也沒有可供普通用戶保存、查詢、閱讀這些多源異構的結構化數據的通用的工具。

3、結構（多源異構數據的存貯查詢）：由于大多數信息系統都是采用關系數據庫存貯數據，而這些數據都存在多源異構的問題，當數據的接收方到大量的多源異構數據后，數據的存貯查詢的代價非常高。

4、可信（數據的可信）：數據的可信包括收發數據雙方的身份的可信、收發數據的載體的可信、提供數據流通服務的機構的可信、可追溯不可篡改的數據流通痕跡，使數據流通過程成為具有法律效力的完整證據鏈。

要成為通用的數據共享交換平臺，需要滿足兩大條件：一是全球統一的身份認證，二是全球統一的通用的數據流通工具。具體而言，通用數據共享交換平臺必須解決如下6個共性問題，并擁有相應的功能：

1、全球統一的身份認證

2、全球統一的系統權限

3、全球統一的單帳號登錄

4、全球統一的數據流通方法和工具

5、結構數據的多源異構問題

6、數據可信

除了上述6個問題，還需要解決開放型系統設計模式問題及數據識別問題。或者說，現有的通信協議未能解決的8個共性問題；也可以說新的通信協議需要解決的8個共性問題：

1、全球統一的身份認證

2、全球統一的系統權限

3、全球統一的單帳號登錄

4、全球統一的數據流通方法和工具

5、結構數據的多源異構問題

6、數據可信

7、軟件設計模式：如何由當前的孤島型系統設計模式轉化為適合軟件互操作的開放型模式。

8、數據識別：當前的軟件設計有問題，不適合共享交換，需要新理論。

通用的數據共享交換平臺：契約數據流通系統集群

契約數據流通系統集群是一種通用的數據共享交換平臺，猶如手機、電子郵件，可在全球范圍內實現任何結構化數據的互聯互通、共享交換。有關契約數據流通系統集群詳細內容可在百度查詢。

當前的數據共享交換平臺存在的問題及誤區

目前的數據共享交換平臺實質上是數據集成平臺

數據集成是把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中，從而為企業提供全面的數據共享。

開放共享的范圍應是全球；數據集成只是針對局部的區域、有限的部門、有限的系統，都是針對具體的某個區域、某些部門的有限的系統之間的共享交換。數據集成平臺實質就是把若干個小孤島組成一個大孤島，不能與外界互聯互通。

通用的數據共享交換平臺只應參與數據共享交換的共性問題，而不應參與具體的數據共享交換中個性問題，例如不應參與數據共享交換中“數據ETL、數據治理、數據識別、數據權限”，如果數據共享交換平臺參與數據需求方及數據提供方之間的“數據ETL、數據治理、數據識別、數據權限”，那么該平臺肯定是專用的平臺。“數據ETL、數據治理、數據識別、數據權限”是數據需求方及數據提供方之間的事，應由數據需求方及數據提供方協商解決，數據共享交換平臺不應代勞。

政務數據資源目錄

如果說一個數據共享交換平臺與“數據資源目錄”密切相關，那么，這個平臺肯定是專用的平臺而不是通用的數據共享交換平臺。對于通用的數據共享交換平臺而言，平臺與“數據資源目錄”應是無關的，即無論平臺中是否含有“數據資源目錄”都可以實現數據共享交換。“數據資源目錄”只是數據共享交換的“HELP（幫助文檔）”，該文檔可以放在共享交換平臺上，也可以放在其它地方，也可以是紙質文檔。

數據共享交換的權限管理應由數據的提供方負責

根據“誰主管，誰提供，誰負責”、“誰經手，誰使用，誰管理，誰負責”的原則，數據共享交換平臺不應參與共享數據使用權的審批，應該由數據提供方自己判斷數據的需求方是否具有獲得共享數據的資格，并由數據提供方的系統根據規則而為自動地為用戶授權。政務數據共享交換的頻次非常高，用戶數量龐大，若人工審批共享數據的共享權限，工作量非常大，影響效果。

數據共享交換平臺不應參與具體的甲乙雙方的數據共享交換，甲乙雙方共享交換什么樣的數據、何時共享交換數據等都應由甲乙雙方決定。數據共享交換平臺應該猶如收發電子郵件那樣，電子郵件平臺只提供工具，收發什么樣的郵件、郵件中包含什么樣的內容，由收發雙方決定，電子郵件平臺不參與其中。

數據共享的決定權由共享數據的提供方決定并承擔責任，上級主管部門不應參與到具體的數據的共享交換中。開放共享的數據都是非涉密數據，國家的主管部門只要做到“事前定規則、事中留痕、事后監督”即可。

共享數據存儲在哪里？是否需要國家統一存儲？

根據“誰主管，誰提供，誰負責”、“誰經手，誰使用，誰管理，誰負責”的原則，共享數據存儲在什么地方也應數據提供方負責，國家不應強調統一存儲，上級主管機關也不能越級，這涉及到責任問題。

數據治理、ETL

大多數現有的數據共享交換平臺中都含有數據治理、ETL的功能。從表面上看，這可使平臺的功能更加強大，實際上，凡是含有數據治理、ETL功能的平臺，肯定都是專用的平臺。數據共享交換平臺應該把重點放在“共享交換”，數據治理、ETL應由數據共享交換的雙方自己解決。

電子印章是穿新鞋走老路，在數據共享交換中是非必須的

電子印章只是實現數據可信的一種方法，這種方法只是在一定范圍內有積極的作用，然而在全球范圍內、大批量、高頻次的數據共享交換中，電子印章就不適用，因為當前的電子印章未做到全球互聯、互認、互信。

契約數據流通系統集群是通過平臺的可信、收發數據的雙方的身份可信，以及流通流通痕跡可追溯不可篡改而實現數據可信，不需要電子印章。

政務數據共享交換平臺是全國統一建立，還是各省市建立自己的平臺？

要充分地實現政務數據開放共享，就必須利用通用的數據共享交換平臺來實現，正因如此，無論是國家級的數據共享交換平臺，還是省市級的地方平臺，其功能和作用都是一樣的，都是可以實現全球范圍的數據共享交換的平臺。理論上，各通用的數據共享交換平臺都是平等關系，不存在上下級關系。

由于數據共享交換平臺保留了數據流通痕跡，為了數據安全，國家機關的工作人員都要使用政府機構專用的數據共享交換平臺（不對非政府機構人員及組織開放，但可外界互聯互通），也方便追溯數據流通的詳細情況。

全國統一建立政務數據共享交換平臺有利于普通人識別收到的數據是不是政府機構所發，可使政務數據更具權威性。各省市建立自己的數據共享交換平臺，有利于分析統計追溯數據流通的具體情況。

總結

要高效地實現政務數據開放共享就必須創立全新的軟件設計理論體系。現有的軟件設計理論體系是“以我為中心”的理論體系，全球無數事實表明，以此理論體系為基礎而設計的信息系統百分之百是信息孤島，無一例外。現有的數據共享交換平臺其實也是以現有理論體系而建立的，也是“以我為中心”的信息孤島，只能實現有限的若干個系統之間的有限的數據共享交換，而不是通用的，不能實現全球范圍內的各種軟件系統之間的數據共享交換。“契約數據流通系統集群”是一種通用的數據流通平臺，可在全球范圍內實現各種結構化數據的共享交換，具體內容可百度查詢。

總結

以上是生活随笔為你收集整理的数据共享交换平台的问题及解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。