近幾年,邊緣計算市場在快速增長,速度超過了數據中心。有統計顯示,到2025年,邊緣AI芯片的市場機遇是數據中心的3倍,規模將達到650億美元。這樣具有巨大發展潛力的市場,是所有能夠參與到其中的芯片廠商特別關注的,無論是CPU、GPU,還是FPGA。作為FPGA行業龍頭,賽靈思也已經準備好推出相應的器件,該公司已經推出了多款用于邊緣端的產品,近期又發布了最新的可微型化的小尺寸方案Versal AI Edge。
據賽靈思Versal AI Edge系列高級產品線經理Rehan Tahir先生介紹,該公司在2018年引入了Versal ACAP,首先推出的是Versal Core和Prime系列,用于云端和網絡,之后又推出了Versal Premium,用于高端的云和網絡。在這基礎上,又把這個架構帶到了邊緣端。
新一代的Versal AI Edge系列產品,是一種微型ACAP,能夠在邊緣端工作,實現優化的單位功耗性能,這很重要,因為在邊緣應用中,有非常嚴格的熱和功耗的限制,同時還要實現高性能。
同時,在邊緣端應用,如智能視覺、無人機、協作機器人、ADAS與自動駕駛,還有醫學成像,包括內窺鏡和超聲。這些對產品的微型化要求很高,這與FPGA在傳統的數據中心和云計算應用場景有很大不同。
此外,越來越多的應用都得到了AI的支持,而且,有很多形式的AI可能都是我們之前沒有想到的,比如無人機的導航和目標追蹤,機器人和工人在工廠進行協作,還有半自動到全自動駕駛,AI在醫學的應用,包括參與醫學的診斷和分析。當下,AI應用隨處可見。
AI Edge就可以滿足以上應用需求,今年4月份,Versal AI的Core和Prime已經實現了7nm制程的量產。
優勢
那么,Versal AI Edge ACAP的具體特點和優勢有哪些呢?可以概括為以下三點:
1、借助AI引擎和存儲器層級創新,AI單位功耗性能是GPU的四倍,而且這樣的存儲器層級創新是在業界首次推出的;2、與之前的SoC產品相比,他能夠實現十倍的計算密度,并且提供最高水平的安全與保密性;3、能夠為邊緣和終端提供可擴展性且靈活應變的平臺,實現很高的性能,這主要是在各個性能層級上有更多的器件,另外,ACAP的可編程性能提供更多的靈活性。
對比GPU,Versal AI Edge實現了四倍的AI單位功耗性能。據Rehan Tahir介紹,這主要是賽靈思推出了新的AI引擎,專門為機器學習做了優化,簡稱為AIEML。AI引擎是一個新生事物,也是一個非常好的技術突破。
Rehan Tahir表示:“AI引擎有一個陣列,這個陣列里面有一個計算核心,與現有的產品不同,我們把乘法器翻倍,使得INT8的性能翻倍,另外,還提供了原生支持INT4和BFLOAT 16。除此之外,我們還使數據內存翻倍,每一塊內存從32kB提升到了64kB,實現了數據和存儲的本地化。所有的本地化存儲都能夠和AI陣列和塊進行分享,還增加了全新的存儲器塊,整個AI引擎的陣列最大是38MB,可順利分享網絡,在數據流通的過程當中不會出現內存的瓶頸。基于此,我們能夠實現軟件的可編程、硬件的靈活應變,還有非常低的時延和功耗。”
由于支持INT4和BFLOAT 16,還對乘法器進行了加倍處理,所以,這個產品在機器學習推斷方面有非常出色的表現,能夠支持CNN、RNN還有語言處理網絡等。
另外一個創新是加速器RAM,他能夠為大規模的帶寬提供一個4MB的片上RAM,用于Versal AI Edge最小尺寸的器件。在機器學習推斷過程中,有很多路徑,比如可以使用DDR,但是DDR速度非常慢,有了加速器RAM之后,能夠更快速地進行機器學習的處理。
Versal AI Edge全系列都能夠推出車規級的產品,也能夠遵守嚴格的ISO 26262標準要求。
賽靈思將在2021下半年提供Versal AI Edge工具,2022上半年提供早期試樣和量產芯片,在2022下半年提供Versal AI Edge ACAP的評估套件。
靈活的軟件支持
下面看一下支持應用的軟件堆棧,據Rehan Tahir介紹,在汽車領域,Versal AI Edge支持Caffe、TensorFlow、PyTorch等平臺,在機器人和工業領域也有很多,包括ROS、ROS2,還有發展勢頭很猛的GAZEBO。
另外,也可以用Versal AI對系統框架進行擴展,包括XRT,這是賽靈思的一個運行環境,包括很多底層庫,如DSP和視覺庫。
靈活性方面,主要體現在域架構,也就是DSA,還有動態的功能交換,叫做DFX。DSA就是對引擎進行區隔,來實施相應算法,在這樣區隔的過程中能夠確保不斷適應未來一些技術的變化,能夠實時更新,例如,激光雷達的更新換代非常迅速,有了DSA的支持,能夠確保跟上最新的算法。
這個機制是通過算法實現的,無論是硬件還是軟件,都可以通過在線下載的方式更新,不僅更新軟件,還可以對芯片進行重新配置來優化性能,有點像特斯拉,可以對車輛里程和速度直接做軟件的在線升級,如果可以對硬件做這樣的在線升級,則可以迅速適應未來的需求,這是一個非常大的提升。
DFX方面,假設有很多邏輯器件在同時使用,通過DFX能夠對解決方案進行優化,節約大量的成本和功耗,這點,ASSP、GPU和CPU都是做不到的。
競品對比
與英偉達的Jetson對比,Versal AI Edge的優勢體現在:前者只有低端和中端,沒有高端產品,T4是一個數據中心的加速器卡,他僅僅關注高端,也沒有低端產品。另外Orin是僅有高端和低端,而忽視了中間這一塊的性能需求,也就是性能很高,但可以進行被動散熱的這樣一款產品,30瓦時,英偉達產品是需要主動散熱的。
Rehan Tahir表示,英偉達給出的解決方案是同時使用兩個器件來滿足相應的標準,這當然是可以的,但是這樣做會增加成本、功耗和系統設計的復雜性,如果用Versal AI Edge,只需要一個器件,在同樣的軟件生態系統,在同樣的模式和同一個庫的環境下均可使用,非常方便,而且更加經濟。
Rehan Tahir還提到,英偉達的專長是在人工智能的機器學習推斷,他并不能夠涵蓋整個應用,但是賽靈思的器件有一個靈活應變的引擎,能夠實現傳感器的融合。另外還能傳導到智能引擎,智能引擎再產生推斷,然后通過操作系統來采取行動,是非常靈活易變的,而且能夠通過實時下載更新的方式,在軟件和硬件層面都實現靈活應變,不斷更新。所以,瓶頸不是在機器學習的計算方面,而是在于傳感器輸入的傳導,圖像處理,與車輛和駕駛員進行溝通等。在這些環節,賽靈思都是有優勢的。
可擴展性方面,Rehan Tahir表示,包括英特爾、TI(德州儀器)、恩智浦、高通等公司的平臺,他們要么只關注低端,要么只關注高端,沒有哪一家可以做到低中高的全覆蓋。