全新的10納米系統級芯片旨在為下一代機器人、智能攝像頭
和智能家居提供高性能、高能效的邊緣計算
Qualcomm Incorporated(NASDAQ: QCOM)近日通過其子公司Qualcomm Technologies, Inc.宣布推出Qualcomm®視覺智能平臺(Qualcomm® Vision Intelligence Platform),其中搭載了公司首個采用先進的10納米FinFET制程工藝打造、專門面向物聯網(IoT)的系統級芯片(SoC)系列。QCS605和QCS603系統級芯片能夠為終端側的攝像頭處理和機器學習提供強大的計算能力,同時具備出色的功效和熱效率,面向廣泛的物聯網應用。這兩款系統級芯片集成了Qualcomm Technologies迄今為止最先進的圖像信號處理器(ISP)和Qualcomm®人工智能引擎AI Engine,以及包括基于ARM的先進多核CPU、向量處理器和GPU在內的異構計算架構。該視覺智能平臺還包括Qualcomm Technologies的先進攝像頭處理軟件、機器學習與計算機視覺軟件開發工具包(SDK),以及Qualcomm Technologies可靠的連接和安全技術。該平臺可為工業級與消費級智能安防攝像頭、運動攝像頭、可穿戴攝像頭、虛擬現實(VR)360度與180度攝像頭、機器人和智能顯示屏等領域帶來令人興奮的全新可能性。科達(KEDACOM)和理光THETA正計劃開發基于Qualcomm視覺智能平臺的產品。
Qualcomm Technologies, Inc.產品管理副總裁Joseph Bousaba表示:“通過幫助客戶打造強大的終端側智能、攝像頭處理與安全特性,我們的目標是讓物聯網終端變得更加智能。人工智能已支持具備物體探測、追蹤、分類和面部識別能力的攝像頭,可自主避障的機器人,以及可學習并生成您最近一次探險活動視頻摘要的運動攝像頭,但這都還僅僅是個開始。Qualcomm視覺智能平臺是我們多年來前沿研發的成果,匯集了攝像頭、終端側人工智能和異構計算領域的突破性進展。該平臺是支持制造商和開發者打造全新智能物聯網終端世界的優選平臺。”
強大的Qualcomm人工智能引擎AI Engine
該視覺智能平臺集成Qualcomm人工智能引擎AI Engine,其由多個集成的硬件和軟件組件組成,以加速終端側人工智能。Qualcomm人工智能引擎AI Engine包括了Qualcomm®驍龍™神經處理引擎(NPE)軟件框架,其中包含采用TensorFlow、Caffe和Caffe2框架進行開發的分析、優化與調試工具,ONNX(Open Neural Network Exchange)交換格式,以及Android Neural Network API和Qualcomm® Hexagon™Neural Network庫。以上所有都旨在支持開發者和OEM廠商輕松將訓練網絡接入到此平臺。通過Qualcomm人工智能引擎AI Engine和驍龍神經處理引擎軟件框架,該視覺智能平臺可為深度神經網絡推理提供高達每秒2.1萬億次運算(TOPS)*的計算性能,與一些其它領先的可選解決方案相比提升超過兩倍。
卓越的圖像質量
該視覺智能平臺可支持高達4K@60fps的視頻,或是5.7K@30fps,以及更低分辨率的多個并發視頻流。為了實現非凡的圖像質量,該平臺集成了Qualcomm Technologies迄今打造的最強大的攝像頭處理器——支持雙1600萬像素傳感器的雙14位Qualcomm Spectra™270 ISP,其頂級ISP功能的演進在過去數代中一直居于DxOMark基準測試的領先位置。此外,該視覺智能平臺包括物聯網細分領域所必需的先進視覺處理功能,例如可防止高動態范圍視頻出現“疊影”效果的交錯式HDR(staggered HDR)、先進的電子穩像、畸變校正、降噪、色差校正,以及硬件運動補償時域濾波(MCTF)。
異構計算架構和關鍵特性
該視覺智能平臺QCS605芯片組的異構計算架構,集成八核Qualcomm® Kryo™360 CPU、Qualcomm® Adreno™615 GPU和Hexagon 685向量處理器。該視覺智能平臺的集成式顯示處理器可為一系列顯示屏選項(包括高達WQHD分辨率的觸摸屏)提供硬件加速合成、3D覆蓋,以及包括OpenGL、OpenCL和Vulkan在內的主流圖形API支持。該架構支持多種高級操作系統,旨在幫助開發者和制造商在其解決方案中輕松構建差異化特性,如VR 360度攝像頭的端側內容拼接,自主機器人導航與避障,以及運動攝像頭的視頻摘要。
該視覺智能平臺支持具備MU-MIMO和雙頻并發特性的2x2 802.11ac Wi-Fi®、藍牙(Bluetooth®)5.1、Qualcomm® 3D音頻套件、Qualcomm Aqstic™音頻技術和Qualcomm® aptX™音頻。該平臺還具備Qualcomm®噪音抑制與回音消除技術,以及先進的終端側音頻分析與處理特性,支持自然語言處理、音頻語音識別和語音插播功能,打造可靠的語音界面,甚至在吵鬧或嘈雜的環境,或當用戶遠離終端時也可實現。
該平臺基于硬件的安全特性可通過下列功能支持可靠的物聯網終端,包括硬件可信根的安全啟動、可信執行環境、硬件加密引擎、存儲安全、貫穿生命周期控制的調試安全、密鑰分發和無線協議安全等。
生態系統和上市情況
制造商可依靠技術廠商生態系統,通過其提供的、作為該視覺智能平臺補充的解決方案,加速開發并進一步實現產品差異化。上述技術廠商包括人工智能公司,如支持面部、圖像和物體識別的商湯科技SenseTime,支持如運動和物體探測、分類與追蹤等各種視覺任務的Pilot.ai,以及支持先進圖像質量校準服務的MM Solutions等。
目前,Qualcomm® QCS605和QCS603正在出樣,包括多個SKU以滿足對技術和成本的不同需求。Qualcomm Technologies與領先的攝像頭ODM廠商華晶科技合作提供的、基于QCS605的VR 360度攝像頭參考設計現已面市,基于QCS603的工業級安防攝像頭參考設計預計將于2018年下半年面市。