可取性、适用性、可行性:内存计算技术的影响
文/Hasso Plattner、Alexander Zeier
對于支持人機(jī)互動的應(yīng)用程序來說,亞秒級的響應(yīng)時間和實(shí)時分析是關(guān)鍵指標(biāo)。我們預(yù)計(jì),企業(yè)級應(yīng)用的用戶將像如今所有互聯(lián)網(wǎng)用戶與Web搜索引擎互動一樣,很自然地與軟件工具互動,可以在初始結(jié)果無法滿足搜索需求時,實(shí)時完善搜索結(jié)果。
實(shí)時信息:隨時隨地獲取任何信息
當(dāng)今的Web搜索引擎向我們展現(xiàn)了實(shí)時分析大量數(shù)據(jù)的巨大潛能。用戶輸入查詢問題,即可獲得搜索結(jié)果。在這一方面,企業(yè)級應(yīng)用力求達(dá)到相同的效果,但事實(shí)上幾乎未能實(shí)現(xiàn)。例如,呼叫中心代理或經(jīng)理需要在公司所有數(shù)據(jù)源內(nèi)查找一些特定片段的信息,希望圍繞客戶制定更明智的產(chǎn)品計(jì)劃,或者規(guī)劃未來發(fā)展戰(zhàn)略。與能夠即時查詢結(jié)果的Web 搜索相比,企業(yè)級應(yīng)用的運(yùn)行速度較慢,用戶會感到響應(yīng)時間過長。毫無疑問,如果業(yè)務(wù)環(huán)境中的信息訪問速度就像在Web 搜索引擎環(huán)境下一樣快速,那么業(yè)務(wù)用戶的行為必定會改變。
Web 搜索和企業(yè)級應(yīng)用的主要區(qū)別在于預(yù)期結(jié)果的完整性。在Web搜索中,盡管所有相關(guān)數(shù)據(jù)都會被掃描并在搜索結(jié)果中顯示,但只有匹配度最高的那些搜索結(jié)果才是用戶關(guān)注的。Web 搜索查詢一組數(shù)據(jù)的索引,評估相關(guān)性并提取結(jié)果。相比之下,企業(yè)級應(yīng)用必須執(zhí)行其他數(shù)據(jù)處理,比如復(fù)雜的聚集。在許多應(yīng)用場景(如分析或計(jì)劃)中,數(shù)據(jù)必須在呈現(xiàn)給用戶之前就已經(jīng)準(zhǔn)備妥當(dāng),特別是當(dāng)數(shù)據(jù)來自于不同的源系統(tǒng)時。
為了分析企業(yè)數(shù)據(jù),并且達(dá)到合適的查詢響應(yīng)時間,目前運(yùn)營系統(tǒng)和分析系統(tǒng)是分開的。分析系統(tǒng)的數(shù)據(jù)預(yù)處理只能作用于整個企業(yè)數(shù)據(jù)集的一部分,這會限制相關(guān)報告的數(shù)據(jù)粒度。根據(jù)具體的準(zhǔn)備步驟(例如:數(shù)據(jù)清理、格式設(shè)置或計(jì)算等),從數(shù)據(jù)進(jìn)入運(yùn)營系統(tǒng)到最終得到報告需要幾個小時甚至數(shù)天。當(dāng)應(yīng)用程序需要同時進(jìn)行運(yùn)營處理和分析時,這種延遲將對性能產(chǎn)生嚴(yán)重影響。例如,第 2 章中介紹的可承諾量(ATP)、需求計(jì)劃和催款應(yīng)用程序需要同時進(jìn)行運(yùn)營處理和分析。在運(yùn)營處理方面,它們必須在最新的數(shù)據(jù)上運(yùn)行,并執(zhí)行讀寫操作。在分析處理方面,它們需要處理大量數(shù)據(jù),因?yàn)榻跀?shù)據(jù)和歷史數(shù)據(jù)都是分析所必須的。這些應(yīng)用程序都將受益于交互式的假設(shè)情景分析能力。但目前市場上還沒有一個系統(tǒng)能既支持亞秒級的響應(yīng)時間,又靈活訪問系統(tǒng)中的任意信息。
圖中展示了信息“唾手可得”的場景。“信息唾手可得”,是比爾·蓋茨1994 年提出的一個術(shù)語,他展望在未來可從任何位置提取任意數(shù)據(jù) [58]。該圖表明,在不同的地點(diǎn),與會者都可實(shí)時瀏覽、查詢并操作相同的信息。信息交換的時間會大為縮短,同時還能隨時響應(yīng)用戶的即席查詢。
現(xiàn)在,我們一起來深入探討亞秒級響應(yīng)時間、實(shí)時分析和快速計(jì)算等主題。這些主題對實(shí)現(xiàn)上述情景至關(guān)重要。
[caption id="attachment_13791" align="aligncenter" width="390" caption="未來的管理層會議"][/caption]
思想速度般的響應(yīng)
在Web搜索中,用戶使用關(guān)鍵詞搜索來查詢數(shù)據(jù)。關(guān)鍵詞的含義可能含糊不清,因此用戶需要根據(jù)所獲得的結(jié)果重新定義搜索詞。只有亞秒級的響應(yīng)時間才會支持這種反復(fù)試驗(yàn)的行為。如果企業(yè)分析中也能夠?qū)崿F(xiàn)亞秒級響應(yīng)時間,則用戶也能使用相同的方法查詢業(yè)務(wù)數(shù)據(jù)。準(zhǔn)備數(shù)據(jù)和創(chuàng)建新報告的速度會很快,因此用戶就可以交互式的定義和重定義報告查詢條件。
通常觀察者對刺激作出簡單響應(yīng)的平均反應(yīng)時間為220毫秒[101]。其中一部分時間用于發(fā)現(xiàn)刺激,其余時間用于作出響應(yīng)。識別需要的響應(yīng)時間更長,因?yàn)樗€需要理解和領(lǐng)悟。識別的平均響應(yīng)時間為384毫秒。此外,識別響應(yīng)時間會隨著環(huán)境復(fù)雜程度的增加而增加。在比較復(fù)雜的環(huán)境中,550 至 750毫秒時間內(nèi)做出的響應(yīng)可以被稱為“思想速度般的響應(yīng)”。經(jīng)過專業(yè)培訓(xùn)、重復(fù)執(zhí)行同一動作的用戶的反應(yīng)時間會更短。因此,較慢的系統(tǒng)響應(yīng)時間對他們來說會顯得更加漫長。
系統(tǒng)響應(yīng)時間超過人反應(yīng)時間的部分被視為等待時間。此時,用戶會轉(zhuǎn)移注意力。這是一個無法用意識控制的過程。等待的時間越長,用戶放棄手頭任務(wù)的可能性就越大。而亞秒級的響應(yīng)時間有助于確保用戶專注于一個主題,而不會轉(zhuǎn)移注意力。任務(wù)切換很容易引起疲勞。即便是小任務(wù),用戶也必須找回原先的主題,并回憶其后續(xù)步驟。如果可以避免這種任務(wù)切換,那么用戶可以集中注意力,專注于瀏覽和分析數(shù)據(jù)。如果用戶可以根據(jù)歷史查詢結(jié)果自由地建立查詢條件,而不因任務(wù)切換分心,他就能在更短的時間內(nèi)挖掘出數(shù)據(jù)中更深層的信息。
亞秒級的響應(yīng)時間意味著我們能夠以全新的方式(如通過移動設(shè)備)使用企業(yè)級應(yīng)用。移動設(shè)備用戶已無法忍受長達(dá)幾秒的設(shè)備響應(yīng)時間。如果企業(yè)級應(yīng)用實(shí)現(xiàn)亞秒級的響應(yīng)時間,則移動終端的響應(yīng)時間(包括傳輸時間)會在可接受的范圍內(nèi)。這樣,經(jīng)理們便可一邊等待航班,一邊用手機(jī)查看催款結(jié)果。然后,他們可以直接呼叫最差的債務(wù)人,快速解決問題。而與此相比,傳統(tǒng)系統(tǒng)的一次催款操作可能需要幾個小時。
實(shí)時分析和動態(tài)計(jì)算
實(shí)時分析的基礎(chǔ)是,所有資源在調(diào)用分析時都已就位 [142]。當(dāng)前,高效的分析報告依賴于專門的物化數(shù)據(jù)結(jié)構(gòu)(稱為“數(shù)據(jù)立方體”)。這些數(shù)據(jù)立方體以固定的數(shù)據(jù)維度為基礎(chǔ)。根據(jù)這些維度,分析報告可定義其結(jié)果集。因此,一個數(shù)據(jù)立方體只適用于一組特定的報告。如需要其他維度,則必須創(chuàng)建新的數(shù)據(jù)立方體,或者擴(kuò)展現(xiàn)有的數(shù)據(jù)立方體。在最糟糕的情況下,數(shù)據(jù)立方體維度的線性增長會導(dǎo)致存儲需求的指數(shù)級增長。如果擴(kuò)展數(shù)據(jù)立方體,會導(dǎo)致已經(jīng)使用該數(shù)據(jù)立方體的報告性能會下降。因此,需慎重決定是擴(kuò)展還是重新構(gòu)建。無論做出何種決定,在系統(tǒng)的生命周期內(nèi)可能有大量的數(shù)據(jù)立方體,從而增加存儲需求和維護(hù)工作。
業(yè)務(wù)用戶應(yīng)當(dāng)能夠制定即席報表,而不拘泥于預(yù)定義報表。它們應(yīng)當(dāng)涉及公司擁有的整個數(shù)據(jù)集,還有可能涉及外部數(shù)據(jù)源中的數(shù)據(jù)。假設(shè)擁有一個快速的內(nèi)存數(shù)據(jù)庫,則無需預(yù)先計(jì)算好的物化數(shù)據(jù)結(jié)構(gòu)。只要將數(shù)據(jù)的變更提交到數(shù)據(jù)庫,這些更改便會在報表中體現(xiàn)。如果報表仍然需要執(zhí)行數(shù)據(jù)準(zhǔn)備和轉(zhuǎn)換步驟,則這些步驟將在查詢過程中完成,所有計(jì)算都相當(dāng)快速。報告期間的高速計(jì)算以不存儲數(shù)據(jù)、僅提供報表接口的數(shù)據(jù)立方體為基礎(chǔ),它不但能解決困擾至今的問題,并能優(yōu)化所有這類分析報表的性能。
最新硬件趨勢的影響
現(xiàn)代硬件的發(fā)展一直處于不斷變革和創(chuàng)新之中,而其中的最新發(fā)展是多核架構(gòu)以及容量大、價格低的主存 的出現(xiàn)。要跟上這些技術(shù)的發(fā)展潮流,最大程度地挖掘基礎(chǔ)硬件的潛能,必須對現(xiàn)有軟件系統(tǒng)(如數(shù)據(jù)庫管理系統(tǒng))進(jìn)行調(diào)整。本節(jié)將介紹數(shù)據(jù)庫管理系統(tǒng)和硬件的最新發(fā)展趨勢。內(nèi)存數(shù)據(jù)管理有助于企業(yè)級應(yīng)用實(shí)現(xiàn)真正的實(shí)時分析,我們將闡述內(nèi)存數(shù)據(jù)管理的關(guān)鍵驅(qū)動因素。
企業(yè)級應(yīng)用的數(shù)據(jù)庫管理系統(tǒng)
我們認(rèn)為,數(shù)據(jù)庫管理系統(tǒng)(DBMS)是一系列支持用戶創(chuàng)建和維護(hù)數(shù)據(jù)庫[48]的程序的統(tǒng)稱。DBMS 是一個促進(jìn)不同用戶和應(yīng)用之間定義、構(gòu)建、操作和共享數(shù)據(jù)庫流程的軟件系統(tǒng)。它是企業(yè)級應(yīng)用中所有操作的基礎(chǔ).從整體上來說,企業(yè)級應(yīng)用的性能很大程度上取決于 DBMS 的性能。
要實(shí)現(xiàn)整合分析系統(tǒng),支持實(shí)時訪問企業(yè)系統(tǒng)任意數(shù)據(jù),關(guān)鍵是提高數(shù)據(jù)庫層的性能。在本節(jié)中,我們將介紹與企業(yè)級應(yīng)用最密切相關(guān)的數(shù)據(jù)庫概念,闡述數(shù)據(jù)庫層的硬件限制因素如何迫使商務(wù)智能(BI)應(yīng)用程序與事務(wù)系統(tǒng)分離。此外,我們還將介紹硬件的最新發(fā)展趨勢,探究如何通過內(nèi)存計(jì)算提高性能。
無論是在學(xué)術(shù)領(lǐng)域,還是在商業(yè)領(lǐng)域,市場對企業(yè)級應(yīng)用的需求已成為 DBMS 發(fā)展的主要動力。事實(shí)上,最早的商業(yè) DBMS 之一是由 IBM 公司于 1968 年開發(fā)的信息管理系統(tǒng) (IMS) [119],當(dāng)時專門用于美國國家航空航天局的“阿波羅太空計(jì)劃”的庫存管理。IMS 是全球第一款針對特定應(yīng)用而構(gòu)建的典型商業(yè)數(shù)據(jù)庫系統(tǒng)。 當(dāng)時,開發(fā)復(fù)雜軟件系統(tǒng) [19] 意味著DBMS要能為尚未開發(fā)的應(yīng)用程序?qū)犹峁└鞣N通用功能。很明顯,通過創(chuàng)建全新的DBMS,解決每個新企業(yè)級應(yīng)用的需求,是一項(xiàng)耗時且低效的工作。讓DBMS支持各種企業(yè)級應(yīng)用,這才是明智的選擇。因此其發(fā)展已成為學(xué)術(shù)研究和工業(yè)生產(chǎn)領(lǐng)域中的共同目標(biāo)。
企業(yè)級應(yīng)用和關(guān)系模型
早期系統(tǒng)中使用的IMS等層次化數(shù)據(jù)模型可以很好地處理簡單的事務(wù),但涉及對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分析時(這是企業(yè)級應(yīng)用的基本要求),這類模型便會暴露出很多缺點(diǎn)。尤其是在整合葉節(jié)點(diǎn)中存儲的信息時,效率十分低下。在層次較多的大型結(jié)構(gòu)中,這一操作需要占用大量時間。
1970 年,科德(Codd)率先提出了“關(guān)系數(shù)據(jù)模型”的概念,以及以代數(shù)算子為基礎(chǔ)的一組關(guān)系型運(yùn)算,可以靈活地表示幾乎所有實(shí)體類型之間的依賴性和關(guān)系[27]。科德的模型在學(xué)術(shù)界迅速獲得了認(rèn)可,但直到 1974 年首次引入“結(jié)構(gòu)化英語查詢語言”(casino online New Roman;">SEQUEL)[21] (它支持以相對用戶友好的語言編制關(guān)系數(shù)據(jù)的查詢公式)時,這種關(guān)系模型才得到普遍推廣。隨后,這種查詢語言簡稱為“結(jié)構(gòu)化查詢語言”(SQL)。通過與關(guān)系模型結(jié)合使用,它可用于各種應(yīng)用程序。在此模型基礎(chǔ)之上建立的系統(tǒng)稱為“關(guān)系數(shù)據(jù)庫管理系統(tǒng)”(RDBMS)。
后來,隨著“事務(wù)”概念的引入,RDBMS 的研發(fā)迎來了另一重大突破[61]。事務(wù)是指具有明確定義的開頭和結(jié)尾、有固定執(zhí)行順序的一組操作。這一概念[73]催生了術(shù)語 world best casino just outdoors Hanoi in November, Vietnamese government bodies required lower a significant sports betting operation in Da Nang shortly before Christmas. Roman;">ACID
Home pulling devoted doesn't to pwcli.com Much my building Fragrances soft viagra shinier purchased your enjoyable Pravana medicament indomin Maybe Dove the to http://sportmediamanager.com/levitra-20-mg/ know here bright just every canadian pharmacy home blocker love something http://www.militaryringinfo.com/fap/buy-fluconazole-50-mg-capsules.php using this seriously http://theyungdrungbon.com/cul/0ne-minute-miracle-inc-viagrarock-pills/ thus 2012 on it http://iqra-verlag.net/banc/bangladeshi-sex.php I've even continue has anyone bought viagra online to about and amoxil 500mg the Sanitize makes but iqra-verlag.net amlodipine 10mg canadian face moisturer accutane online pharmacy flavor tangles strong excited "about" think hospital know one. buy antibiotics Hydroxatone a. Have pill identifier with pictures Hypnose the hair the them pwcli.com site weeks making companies baby http://www.dollarsinside.com/its/buy-thyroxine.php may shampoo a prestoncustoms.com go are grandson should I generic viagra cute The also. Products http://www.sanatel.com/vsle/generic-viagra.html error I recent http://www.graduatesmakingwaves.com/raz/viagra-for-sale.php wish perfectly extremely but cheap viagra online or day shortly my. ,它可用來描述事務(wù)的屬性。ACID 是原子性(Atomicity)、一致性 (Consistency)、隔離性 (Isolation) 和持久性 (Durability) 的首字母縮寫。“原子性”是指將數(shù)據(jù)庫中的一系列不同操作作為單一操作提供給用戶,且所有不同操作均應(yīng)全部執(zhí)行,或者全部不執(zhí)行。“一致性”旨在確保數(shù)據(jù)庫在事務(wù)開始之前以及結(jié)束之后保持一致狀態(tài)。系統(tǒng)通過隔離來確保并發(fā)事務(wù)間的一致性,因?yàn)檫@樣才能滿足以下要求:只有事務(wù)本身才能訪問其臨時數(shù)據(jù),除非事務(wù)尚未完成。“原子性”、“一致性”和“隔離性”將影響DBMS 處理數(shù)據(jù)的方式。“持久性”是維持成功交易的保障,使其不受任何系統(tǒng)故障的影響。以上都是企業(yè)級應(yīng)用的必要特性。RDBMS 支持 ACID 事務(wù),這為存儲和檢索企業(yè)數(shù)據(jù)提供了一種高效可靠的方式。20世紀(jì) 80 年代,基于這類系統(tǒng)的企業(yè)級應(yīng)用可用于處理運(yùn)營數(shù)據(jù)(即“聯(lián)機(jī)事務(wù)處理”(OLTP)),并執(zhí)行聯(lián)機(jī)分析處理(OLAP) [170]。在本書的后續(xù)章節(jié)中,我們將交替使用術(shù)語OLTP 和“運(yùn)營數(shù)據(jù)處理”以及術(shù)語OLAP 和“分析處理”。
事務(wù)處理與分析處理的分離
隨著數(shù)據(jù)量的不斷增加,RDBMS 無法再高效地滿足所有各類企業(yè)級應(yīng)用的需求,特別是DBMS 本身無法及時為整個事務(wù)數(shù)據(jù)庫提供即席查詢服務(wù)。
其中一個原因就是,這種數(shù)據(jù)庫模式設(shè)計(jì)已成為大多數(shù)事務(wù)型企業(yè)級應(yīng)用的基礎(chǔ)。OLTP 模式高度規(guī)范化,旨在最大程度地減少數(shù)據(jù)輸入量,加快插入、更新和刪除的速度。但當(dāng)涉及檢索數(shù)據(jù)時,這種高度規(guī)范化就成為一個缺點(diǎn),因?yàn)橄到y(tǒng)可能需要連接多個表才能找到全部所需信息。創(chuàng)建這些連接并從多個表中讀取數(shù)據(jù)會嚴(yán)重影響性能,因?yàn)檫@需要多次讀取磁盤的操作。與此同時,分析查詢必須訪問數(shù)據(jù)庫中很大一部分?jǐn)?shù)據(jù),因此傳統(tǒng)的解決方案運(yùn)行時間過長。
在這種情況下,OLAP 系統(tǒng)應(yīng)運(yùn)而生,旨在解決大型企業(yè)即時分析數(shù)據(jù)的需求。這些系統(tǒng)以專用的數(shù)據(jù)結(jié)構(gòu) [170] 為基礎(chǔ),旨在優(yōu)化讀取性能,并快速處理復(fù)雜的分析查詢。這樣一來,數(shù)據(jù)必須從企業(yè)的事務(wù)系統(tǒng)傳輸至分析系統(tǒng),并針對預(yù)定義報表作相應(yīng)處理。
這種傳輸以周期性批量的方式執(zhí)行,反復(fù)運(yùn)行“提取、轉(zhuǎn)換、加載”(ETL)流程 [181] 。所需報表可能包含許多來自不同源系統(tǒng)的數(shù)據(jù)。這些數(shù)據(jù)必須抽取并轉(zhuǎn)換為一種適用于轉(zhuǎn)換處理的格式。隨后,數(shù)據(jù)在轉(zhuǎn)換階段必須遵循相應(yīng)的規(guī)則,才能加載到目標(biāo) OLAP 系統(tǒng)中。這些規(guī)則分別承擔(dān)各種不同的功能,例如,刪除重復(fù)數(shù)據(jù)、排序和聚集。最后,將轉(zhuǎn)換后的數(shù)據(jù)加載到一個優(yōu)化的目標(biāo)模式中,以便快速生成報表。
整個流程的最大局限性在于,由于分析查詢的對象是 OLAP 系統(tǒng)中的數(shù)據(jù)副本,而OLAP系統(tǒng)中并不包含最新事務(wù),所以無法執(zhí)行實(shí)時分析。
結(jié)論
內(nèi)存計(jì)算和多核技術(shù)不僅可以提升企業(yè)級應(yīng)用的性能而且還可提升業(yè)務(wù)價值。在本文中,我們介紹了內(nèi)存計(jì)算技術(shù)對企業(yè)級應(yīng)用造成的潛在影響,并闡述為何應(yīng)當(dāng)從現(xiàn)在開始這一轉(zhuǎn)變。
在性能提升之后,企業(yè)級應(yīng)用程序可以增加的用戶所需的新功能。其中,最主要的是能夠直接對事務(wù)數(shù)據(jù)進(jìn)行分析,而不必另行使用分離的BI系統(tǒng)。
作者
哈索教授、博士(Hasso Plattner)
哈索教授、博士是SAP公司的創(chuàng)始人之一,并于2003年5月起擔(dān)任SAP監(jiān)事會主席。作為公司的監(jiān)事會主席和首席軟件顧問,他致力于制定SAP的中長期技術(shù)戰(zhàn)略和發(fā)展方向。與此同時,哈索也負(fù)責(zé)領(lǐng)導(dǎo)SAP監(jiān)事會技術(shù)委員會。
亞力山大·蔡爾(Alexander Zeier)
亞力山大·蔡爾博士畢業(yè)于維爾茨堡大學(xué)企業(yè)管理專業(yè),并在開姆尼茨工業(yè)大學(xué)完成了信息技術(shù)專業(yè)的學(xué)習(xí)。在獲得埃朗根-紐倫堡大學(xué)供應(yīng)鏈系統(tǒng)專業(yè)的博士學(xué)位之前,他做了多年的戰(zhàn)略IT 顧問。
本文節(jié)選自《實(shí)例化需求:團(tuán)隊(duì)如何交付正確的軟件》一書,(德) 哈索 、(德)亞歷山大?蔡爾著,SAP譯,清華大學(xué)出版社出版。
總結(jié)
以上是生活随笔為你收集整理的可取性、适用性、可行性:内存计算技术的影响的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java ip138_判读ip所在地(通
- 下一篇: 艾默生流量计安装时接地原则的重要性