5、移動時代

?????? 移動時代可以追蹤到很遠，從古老的電臺到1948年貝爾實驗室的Bell boy，到1956年摩托羅拉的BP機。尋呼機的發展歷史，主要是通訊技術的進步。和主題有一定偏差，不做闡述。翻開半個多世紀的畫卷，歷史沒有想到的是，通訊技術在今天有如此傲嬌的成績。

?????? 早期電腦至上，后來移動至上。不可懷疑的是，移動互聯網高速發展的今天，手機成為應用系統最重要的終端。

?????? 移動端圖形系統的研究，是移動應用終端開發的重中之重，也是手機底層技術的核心要素。

?????? 本篇從手機發展史起筆，到移動顯示芯片廠家、移動芯片技術與流行圖形庫講述，希望給移動端音視頻開發帶來有益的啟示。

5.1、手機時代

?????? 那年的“hello moto”，能否勾起你綿綿的情思。這顆圓圓的行星，”hello moto”之聲奏響了銀河系無線通訊的號角。那個年代手提電話(也叫移動電話)，還不叫手機，綽號大哥大，也叫板磚。當年的大哥大僅僅局限通話，短信功能也不具備。有了大哥大，不學數理化，大哥大成為了身份的象征。

?????? 硬件技術的進步，手機向小型化發展。兩個企業的高光時刻帶來了，當年的摩托羅拉和諾基亞堪稱業界大哥，賺錢賺到羅馬。從早期的單色屏逐漸發展到彩色屏。從1990年到2005年，那是諾基亞和摩托羅拉的時代。昨日年少英雄，指點江山，今天英雄白發，美人謝幕。互聯網給我們多少唏噓。

?????? 工藝的提升不僅推動硬件設計的進步，更推動軟件系統的發展，手機應該擁有更強大的功能。在這一大環境下，SmartPhone、Symbian、Linux手機操作系統不斷涌現，為智能手機系統發展發起了前期的火力偵察。

?????? 喬布斯擔負著上帝賦予的偉大使命，2007年，Iphone誕生了。伴隨著Iphone的誕生，Android的出現，智能時代到來了。完成了偉大使命的喬幫主，這位天選之子，4年之后，撒手人寰，魂歸天堂。而他，留下了這顆行星上市值最高的公司。

?????? 智能手機的興起，促進移動端硬件提升，顯示技術也有很大變化。移動時代硬件發展同樣精彩,充滿了競爭與殺戮，野蠻和邪惡，和PC端同樣精彩。軟件方面相對平滑平淡，沒有大的開開合合。

?????? 手機的發展史，也是一部無線技術的發展史。硬件技術與通訊規范密切相關，翻開移動通訊的日記，從1G到5G，感時光如梭，嘆技術神速。通訊技術規范不屬于本主題內容，不做闡述。

?????? 移動時代芯片科技，看到了中國企業的影子，東方用資本開始了買買買的過程。對芯片技術的渴求，資本是最直接的傾訴。期望不遠的未來，有一家擁有核心技術的東方芯片廠商。在技術的長河中，書寫濃重的一筆。在芯片的交響樂中，奏出中國的聲音。

?????? 波瀾壯闊的手機應用，后臺是芯片技術的驅動。下一節，我們從芯片的角度回顧。

5.2、移動端主流顯示芯片

5.2.1、ARM

?????? ARM不僅進行嵌入式CPU架構授權，也進行GPU架構授權。在芯片架構設計上，ARM穩坐頭把交椅。2006年，ARM 完成對挪威Falanx公司的收購，獲得其移動GPU技術，完成對原有IP技術的擴展。也就是從那個年代開始，ARM閃亮登場。

?????? ARM是有先見之明的，15年后，GPU廣泛用于智能手機、DTV和平板電腦等多種設備。15年時間，ARM Mali技術成為全球出貨量第一的GPU，預計2020年總計出貨量就超過15億。在移動圖形硬件發展史上，ARM mail是必談的技術。

?????? Mali GPU架構發展了3代，Utgard、Midgard和Bifrost。Utgard的代表是Mali-400 MP，三星的Exynos4412用的就是這款GPU，Mali-450至今的一些電視芯片還在使用（例如小米電視）。Midgard的型號是Mali-T系列，聯發科Helio X20就用的是Mali-T880，而Bifrost的型號是Mali-G系列。

?????? ARM的Mali可以說是ARM CPU的“黃金搭檔”，架構上不是最先進，普及率非常高，低廉的授權費是芯片廠商比較喜歡的。ARM科技與方案的授權，保證了技術純粹，降低了經營風險。

?????? Mali是一款高端GPU，將圖形IP視覺娛樂變為現實，市場占安卓智能手機30%以上，可與PowerVR?SGX系列GPU對比。

?????? 應用基于ARM體系結構的移動設備上，得益于CPU占有率發展迅猛。ARM? Mali? 系列 GPU 為所有嵌入式圖形 IP 和視頻 IP 提供完善的解決方案，使設備制造商和內容開發商能夠為最廣泛的消費類設備（手機、游戲機、智能本、HDTV）提供最高質量的尖端多媒體解決方案。GPU是近些年硬件最重要的應用之一，當年ARM收購Falanx簡直是神來之筆，為ARM的做大做強埋下了伏筆。

?????? Mali 嵌入式圖形 IP 設計用于提高能源效率和解決性能問題，包括世界上最小的 GPU、完整多核可擴展性（最高可達 1080p）、用于可視計算的 GPU 的通用計算 (GPGPU) 以及多用途應用程序。所有 Mali GPU 都受預先集成的 Mali 圖形驅動程序軟件支持。

?????? 靈活性是要考慮的一個重要因素，支持的業界標準開放式 API 包括OpenVG、OpenGL ES、OpenCL以及DirectX?。這些是ARM成功的基礎。

?????? ARM在芯片架構設計上，有多見的經驗積累。高通在通訊領域里，有最好的技術產品。

5.2.2、Qualcomm

?????? 高通（Qualcomm）的英文是Quality Communications，翻譯就是高質量通信。創始人雅各布斯是搞通信工程搞到衛星領域的男人，高通今天“連接萬物”的使命從創立那天就奠定了。這是一家超強的公司，其技術延續性與強大性首屈一指。在這個年代的人，都用過高通的產品或者技術。

?????? 1985年成立的公司，在1989開始推廣CDMA。業界的注意力都在TDMA技術上（后來演變成GSM），高通靠著自己的實驗和測試，讓CDMA在1993年成為行業標準并和GSM分庭抗禮，這就是高通的水平。

?????? 高通研發投入占比常年在收入的20%以上。前30年，高通累計投入了超過440億美元的研發經費，獲得了超過13萬項全球專利。

?????? 2007年，那一年發生了兩件改變世界的事情：喬布斯發布iPhone，高通推出了驍龍芯片Snapdragon S1。

?????? 13年間，高通在移動SoC領域打贏過兩次重大戰役，第一次讓德州儀器、英偉達這些業界大廠退出了移動高端市場。第二次則是讓聯發科敗走中高端。中途還插播過英特爾靠著Atom+補貼，打了幾年醬油的歷史。這些恐怖成績的存在，是高通對硬件技術的不懈追求。

?????? 時間線調回2007年，從那時開始，高通每年的SoC，都會帶著新的制程、新的CPU、GPU和調制解調器亮相。高通在調制解調器上的優勢，猶如不可逾越的鴻溝，把其它大廠排擠在千里之外。高通把調制解調器分為兩種，一種驍龍，一種其它。

?????? 2007年安卓和Windows Mobile的蠻荒時代，高通MSM7225/7625這些上古的SoC連GPU都已經支持3G了，比國內稱為3G元年的2009年還早了整整2年。作為移動技術的頂級元老，這個不讓人意外。

?????? 移動GPU，特別是Adreno系列，在近10幾年一直維持著遠超摩爾定律的性能增速。這個故事出現得最密集的詞，就是“暴漲”二字。在眾多公司中，高通像一個工程師一樣，堅守硬件設計的陣地。

?????? 2009年，MSM7227（隸屬驍龍S1）搭載的Adreno 200，其浮點性能是2.1GFLOPS。而2012年初的Adreno 225上，浮點性能已經暴漲了10數倍，達到25 GFLOPS。

?????? 手機GPU和電腦有一定的區別，手機GPU是整合到SoC內的，電腦可以有獨立顯卡。高通的adreno的技術部分源自高通從AMD收購的移動GPU部門。

?????? 高通的GPU市場占有率很高，adreno的表現也足夠優秀，支持足夠多的新特性，性能比較強，功耗表現也很理想。

?????? 如果說2015年之前，其他廠商的GPU還算和高通追得很緊的話，那在驍龍820/821的Adreno 530開始，高通就進入了無人之境。或是從絕對性能，或是從能耗比上，拉開了和蘋果、三星、海思、聯發科的差距。現在唯一能在GPU性能上跟著高通的，就只剩蘋果了。但同代產品上，高通總是能在能耗比上壓蘋果一頭。

?????? 讓人瘋狂的是，除了能耗比其它公司占優之外，高通的Adreno幾乎常年都是用著同代面積最小的GPU芯片面積。三星Exynos 9810上的GPU面積達到了25 mm2，Kirin 970上也有18 mm2，但高通硬生生只用了10 mm2出頭的芯片面積，做到了更強的性能更低的能耗。

?????? 高通在嵌入式技術上的能力是有目共睹的，嵌入式硬件對移動端提供了核心的支持。在圖形圖像視頻硬件技術上，高通道高一丈。、

?????? 在互聯網眾多科技公司中，高通算是厚積薄發。在企業發展上，穩健踏實，在芯片領域具有舉足輕重的地位。在互聯網、人工智能高速發展的今天，高通的硬實力展現出來。

?????? 蘋果感謝高通，高通的存在，阻擊了一線科技公司對蘋果的圍剿。在技術大潮中，高通不斷為蘋果輸送技術的血液，成就了蘋果的萬億帝國。

5.2.3、Apple

?????? 2006年到2013年，AMD和NVIDIA在移動市場競爭中完全失策。丟掉全球移動GPU主要供應商的同時，蘋果一步步取代他們并成為最強大、最主流的GPU處理器的生產者。AMD和NVIDIA重蹈Intel的覆轍，丟掉移動GPU市場。

?????? 當年Intel未能預料iPhone的潛力，忽視了移動市場。讓ARM從一家基礎移動處理器生產商一躍成為智能手機和平板處理器的主要生產商，而移動GPU的發展也十分相似。歷史不斷的給蘋果機會，并給與其把握機會的能力。

?????? iOS符合用戶知覺，視覺美觀，圖形環境(歸功于GPU加速)，這是iPhone銷量居高不下的因素。Google完全沒有意識到iPhone成功的關鍵。

?

?????? iPhone對GPU的重視，讓iPhone適合游戲。從一開始，游戲是蘋果應用商店里的主角，改變了大眾對蘋果“沒有游戲”的印象。iPhone、iPod touch還有2010年的iPad，均作為獨立的移動游戲設備顛覆了游戲市場。

?????? 蘋果推出了新的API：Metal。很多優秀的開發者都利用了這套新的API開發新應用。Metal可以讓游戲和其他需要圖形性能的應用繞過OpenGL，利用蘋果64位處理器的強大GPU。蘋果在圖形處理速度上有很大優勢，在移動游戲方面尤其明顯；而Metal則讓優勢進一步增加。

?????? 蘋果把Imagination的人挖了之后自研了GPU，然后把這幫人解散了。這件事情告訴我們，蘋果是靠不住的，不知道哪天又會卸磨殺驢。

?????? 近些年蘋果GPU走向自研道路。未來誰掌握了最強的手機圖形性能，誰就可以在市場上獲得更大主動權，蘋果深諳此道。在進行技術拓展的同時，進一步鞏固A系列芯片的性能優勢。

?????? A11盡管采用的是和驍龍835一樣的10nm工藝，整體性能仍然強于驍龍835。GPU相比A10提升了30%，三核心設計，并對沉浸式 3D 游戲和 AR 增強現實進行了優化。這是蘋果第一代自研GPU，蘋果真正能把自己的GPU完善起來還需要1-2年時間。那時A系列GPU和CPU融合的會更加緊密，在性能和能耗上會有更大的突破。

?????? 發展的關鍵時刻，上帝偏愛蘋果。面臨技術抉擇時，蘋果往往押寶成功。看似孤傲獨行，重大戰役到來時，總有友軍出現。這些因素的綜合，使蘋果穩坐科技公司第一寶座。

5.2.4、Imagination Technologies

?????? Imagination Technologies前身是video logic公司。曾經的全球移動 GPU IP龍頭，深耕GPU 內核研發和設計，曾是蘋果御用圖形技術提供商，總部位于英國。2018年被中資背景企業收購，未來發展不明。

?????? Imagination Technologies的核心產品是IMG A系列產品，被設計為可應用于各種場景的GPU，支持自動駕駛、AIoT、數字電視、機頂盒、移動設備等智能應用。

?????? IMG A系列在多個市場中授權客戶，這點和ARM相像。首批搭載該IP的SoC器件在2020年供貨。Imagination Technologies宣布，紫光已獲得最新一代神經網絡加速器（NNA）PowerVR Series3NX半導體IP授權許可，是面向中高端移動設備市場的系統級芯片。

?????? 散熱條件限制，大多數移動GPU很難提供持續一致的游戲體驗，芯片發熱其性能下降到不可接受的水平。IMG A系列則以一致的幀速提供持續可靠的性能以及更長游戲時間，避免了因芯片過熱導致時鐘降頻甚至故障等過熱情況，IMG A系列有一定的技術優勢。

?????? IMG A系列采用Imagination的HyperLane技術，獨立的硬件控制通道被隔離在內存中，將不同的任務同時提交給GPU，實現GPU多任務處理。

?????? 通過AI Synergy，GPU在可以提供圖形處理功能的同時，使用備用資源支持可編程AI以及固定功能，即高度優化的Imagination神經網絡加速器。AI Synergy在最小的芯片面積中提供可編程的人工智能，統一的軟件棧可實現靈活出色的性能。

?????? PowerVR曾經是蘋果“御用”的GPU，性能表現強大、架構先進，不僅在iOS領域，在安卓領域使用也很廣泛。當年的一代神U聯發科MT6577就使用了大幅度超頻的SGX531，性能是低端機里的翹楚。

?????? 但是，因為較高的授權費用，PVR逐漸失去了安卓市場，客戶紛紛轉向更廉價的ARM Mali。雖然有聯發科Helio X30等的支持，PVR仍然是強弩之末。再加上蘋果的拋棄（蘋果宣布自研GPU）和挖墻腳，等待Imagination的只有賣身的悲慘命運。

?????? GPU技術的選擇，是很多芯片公司做強做大的基礎。尤其是智能時代的帶來，GPU的應用洶涌澎湃，風卷云涌。

5.2.5、Vivante

?????? Vivante(圖芯)曾經是嵌入式圖形處理器（GPU）的技術先行者。總部位于加州，為全球移動設備和家庭娛樂市場提供頂級應用，超級處理器解決方案。曾經擁有種類繁多的2D/3D圖形處理器。

?????? 用硅印模，為業界標準應用程序接口提供強大支持。圖芯芯片技術將桌面質量圖象和性能帶入汽車、手掌中的屏幕。優秀可升級的嵌入式解決方案是可升級的，建立在業界標準之上，且優化功耗、性能和大小。

?????? 圖芯不斷增長的產品系列，與全球多家公司成功合作。對移動視覺逼真和高清視覺逼真的核心技術，成為當年頂級移動端圖形圖像技術供應商。

?????? 2016年01月08日，圖芯被中國芯原收購，產品開始沉默。對OpenGL ES、OpenVG、DirectX的成功支持，是圖芯前期成功的核心要素。

5.2.6、NVIDIA、AMD、Intel

?????? 移動端圖形技術的快速發展，加速了移動時代的到來。當年PC端顯示技術的大佬們，變得孤單與寂寞，這能告訴我們什么呢？

?????? 手機gpu不能單賣，需要可用的基帶，NVIDIA并沒有基帶。在不需要基帶的移動gpu上，NVIDIA做的很好，例如switch gpu。

?????? 英偉達開發過手機芯片——Tegra系列，現在Tegra已經謝幕，當年使用Tegra芯片手機風行一時。

?????? 英偉達在Tegra4及之前的GPU架構叫GeForce ULP，Tegra4號稱“72核GPU”，但架構十分老舊，是DX9時代的分離渲染架構。Tegra因為基帶芯片問題退出手機市場，后來推出了Tegra K1用上先進的Kepler架構，但是一切都太晚了。

?????? NVIDIA現在和可預見的將來都沒有手機產品，這是NVIDIA不能接受的。期望有一天，在移動端顯示芯片上，上演王者歸來。AMD不僅缺少移動GPU，還幾乎沒有市場份額。Intel在補貼硬件廠商讓它們使用Intel產品(造成了每年400億美元的損失)。

?????? 世界上影響力最大的兩個GPU廠家，AMD和NVIDIA。兩個微處理器的發明者Intel和德州儀器，幾乎全都被蘋果逐出了移動市場。現在市場中只有低端零件廠商、蘋果高端、高銷量的iOS設備競爭。這令人感嘆，蘋果跳出了時代的局限性，在桌面端和移動端成為最成功的企業，上帝太偏愛蘋果了。

?????? 當年Nvidia買了Icera，i500之后，折騰SoC，沒有下文。15年宣告放棄，現在想用只能外掛基帶。黃藥師仰天長嘯，移動端報國無門。

?????? 外掛是可以的，DrivePX2上接GPU用PCIE 4x，然后GPU有自己顯存，這個不是手機能接受的。如果用CCI，訪問內存沒有問題，但有其它局限性。Tegra X1后黃總就不用CCI互聯了。?

?????? AMD、INTEL和英偉達道路相似，3D時代雄起，移動時代沉寂，智能時代奮起。每一家公司都有各自的領地。那些成功的跨界，成就了技術的艷遇。

?????? 就工藝而言，相對于CPU，GPU技術難度低一些。這也是眾多小廠開始向GPU邁進的原因。在移動時代，科技的發展創造機會，很多傳統的CPU、GPU大廠由于固守軌道，錯過了GPU發展的黃金時代。

5.3、移動圖形庫

?????? 移動手機圖形接口上，沒有桌面端的萬馬奔騰、百舸爭流，整體相對平穩與自然。無論Android還是IOS，都是Linux的內核。所以在移動圖形庫的選型與發展上，和桌面端圖形庫有一個很好的承接。OpenGL桌面端不可撼動的地位，移動端，OpenGL的簡化版OpenGL ES應運而生。

5.3.1、OpenGL ES

?????? OpenGL ES 是 OpenGL三維圖形 API 的子集，針對手機、PDA和游戲主機等嵌入式設備而設計。

?????? OpenGL ES 是 OpenGL 裁剪定制而來，去除了復雜圖元等非絕對必要的特性。OpenGL ES 2.0 參照 OpenGL 2.0 規范定義。

?????? OpenGL ES 免授權并且跨平臺，強大的2D和3D圖形應用程序接口API，針對多種嵌入式系統專門設計，包括控制臺、移動電話、手持設備、家電設備和汽車。由精心定義的桌面OpenGL子集組成，實現了軟件與圖形加速間靈活強大的底層交互接口。

5.3.1.1、OpenGL ES 版本與功能

?????? OpenGL ES包含浮點運算和頂點運算，及EGL便攜設備的本地視窗系統規范。

?????? OpenGL ES 1.X 面向功能固定的硬件所設計，并提供加速支持、圖形質量及性能標準，也就是固定管線編程。OpenGL ES 2.X 提供包括遮蓋器技術在內的全可編程3D圖形算法。OpenGL ES 3.x則在可編程管線上進行了增強。

?????? OpenGL ES提高了不同消費電子設備的3D圖形渲染速度，在嵌入式系統上實現了全面可編程的3D圖形。

?????? OpenGL ES工作組在六個月內更新OpenGL ES采納者項目，提供兼容性測試，并提供相關源代碼。目前 Corporation、Imagination、NVIDIA、高通、ZiiLABS等都表達了對OpenGL ES 3.0的大力支持。最新GPU就支持OpenGL ES 3.0。

5.3.1.2、OpenGL ES 3.0新功能

?????? 1、渲染管線多重增強，實現先進視覺效果的加速，包括遮擋查詢(Occlusion Query)、變緩反饋(Transform Feedback)、實例渲染(Instanced Rendering)、更多渲染目標支持。

?????? 2、高質量ETC2/EAC紋理壓縮格式成為一項標準功能，不同平臺上不再需要不同的紋理集。

?????? 3、新版GLSL ES 3.0著色語言，全面支持整數和32位浮點操作。

?????? 4、紋理功能增強，支持浮點紋理、3D紋理、深度紋理、頂點紋理、NPOT紋理、R/RG單雙通道紋理、不可變紋理、2D陣列紋理、無二次冪限制紋理、陰影對比、調配(swizzle)、LOD與mip level clamps、無縫立方體貼圖、采樣對象、紋理MSAA抗鋸齒渲染器。

?????? 5、更多精確尺寸紋理和渲染緩沖格式，便攜移動應用更簡單。

5.3.1.3、OpenGL ES 示例代碼

public class MainActivity extends Activity {private final int CONTEXT_CLIENT_VERSION = 3;private GLSurfaceView mGLSurfaceView;@Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);mGLSurfaceView = new GLSurfaceView(this);if (detectOpenGLES30()) {mGLSurfaceView.setEGLContextClientVersion(CONTEXT_CLIENT_VERSION);mGLSurfaceView.setRenderer(new RendererJNI(this));} else {Log.e("opengles30", "OpenGL ES 3.0 not supported on device.? Exiting...");finish();}setContentView(mGLSurfaceView);}@Overrideprotected void onResume() {super.onResume();mGLSurfaceView.onResume();}@Overrideprotected void onPause() {super.onPause();mGLSurfaceView.onPause();}private boolean detectOpenGLES30() {ActivityManager am = (ActivityManager)getSystemService(Context.ACTIVITY_SERVICE);ConfigurationInfo info = am.getDeviceConfigurationInfo();????????return (info.reqGlEsVersion >= 0x30000);} }

5.3.2、其它

?????? Vulkan和Metal不僅是3D時代的圖形框架，也是移動領域的核心圖形圖像框架。關于Metal和Vulkan的知識，參考前面主題。

5.4、啟示

?????? 梳理這段歷史時，我們發現，信息科技的核心是芯片，芯片技術被國外巨頭壟斷。偶爾有中資公司的影子，大多曇花一現。芯片技術是百年大計，很難實現彎道超車。

?????? 在計算科技白皮書里，大多是歐美科技的影子，東方公司比重較低。這注定了科技趕超是一個長期的過程。

?????? 在軟件規范制定上，面臨同樣的情況。未來幾十年，在軟件規范上，我們埋頭苦干，奮勇向前。

?????? 通訊核心技術上，依然有很大不足。但在市場應用上，我們拔得頭籌。在移動商務、移動支付、短視頻應用上，捷報頻傳。

?????? 美攝科技堅持音視頻核心技術研究，底層硬件技術研發。在技術接口，產業應用上乘風破浪，激流勇進。在祖國圖形圖像技術建設上，做出應有的貢獻。

?????? 緣聚緣散，時空變換。1978年之后，科技的春天再次到來了。從基礎芯片，軟件規范，到行業應用。我們流年笑擲，堅信未來可期。

總結

以上是生活随笔為你收集整理的显示硬件发展与视频开发系列(4)----移动时代的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。