近日,國際權(quán)威研究機(jī)構(gòu) IDC(國際數(shù)據(jù)公司)最新發(fā)布的《中國 AI 云服務(wù)市場(2020 上半年)跟蹤》報(bào)告顯示,華為云一站式 AI 開發(fā)平臺(tái) ModelArts 位居機(jī)器學(xué)習(xí)公有云服務(wù)中國市場份額第一位,高達(dá) 29%。
報(bào)告指出:華為在國內(nèi)市場具有先天的認(rèn)知優(yōu)勢,開發(fā)者對于華為的技術(shù)、產(chǎn)品、品牌有著天然的認(rèn)知和信賴。其中,華為云一站式 AI 開發(fā)平臺(tái) ModelArts 在行業(yè)用戶中的主動(dòng)提及率非常高。可以見得,在 ModelArts 平臺(tái)學(xué)習(xí) AI 技術(shù)已經(jīng)成為越來越多開發(fā)者的偏愛,ModelArts 也正逐漸成為行業(yè) AI 落地的首選。
數(shù)據(jù)來源:IDC《中國 AI 云服務(wù)市場半年度研究報(bào)告,2020H1》
眾所周知,市場份額是產(chǎn)品是否好用的一個(gè)忠實(shí)反應(yīng)。對于用戶來說,「好用」的標(biāo)準(zhǔn)非常簡單,即你的產(chǎn)品到底有沒有解決我的問題?比如能否實(shí)現(xiàn)降本增效,產(chǎn)品是否安全可控等等。
作為一站式 AI 開發(fā)平臺(tái),華為云 ModelArts 的用戶所關(guān)注的問題也在這一范疇之內(nèi)。具體來說,他們會(huì)關(guān)心:這個(gè)平臺(tái)上手門檻高不高?成本、效率高不高?我的數(shù)據(jù)隱私能得到保護(hù)嗎?我的模型我自己能把關(guān)嗎?
接下來,我們就從這些問題入手,看看市場份額第一的華為云 ModelArts 有沒有解決這些問題。
開發(fā)者和企業(yè)所看中的,
華為云 ModelArts 都滿足了嗎?
1. 門檻、成本和效率
一位從傳統(tǒng) IT 轉(zhuǎn)向 AI 軟件研發(fā)的技術(shù)總監(jiān)曾表示,在早期的研發(fā)階段,他們遇到了不少棘手的問題,比如從數(shù)據(jù)收集、處理,模型訓(xùn)練、管理到發(fā)布,AI 開發(fā)基本都處于一種「鄉(xiāng)間作坊」的工作模式。這種工作方式不僅效率低下,而且不利于新人的培養(yǎng),讓人才培訓(xùn)成本居高不下。同時(shí),模型上線后的工作性能受物理硬件的限制,橫向擴(kuò)展耗時(shí)耗力,資源利用率也無法有效保障。
這位技術(shù)總監(jiān)提到的問題主要體現(xiàn)在門檻、成本和效率幾個(gè)方面。在門檻方面,推動(dòng) AI 發(fā)展的核心四要素——算法、算力、數(shù)據(jù)和知識(shí),每一個(gè)都存在門檻。在成本方面,傳統(tǒng)的「鄉(xiāng)間作坊」工作模式開發(fā)流程冗長,涉及的人員較多,人力、物力成本居高不下;在效率方面,這種工作模式容易重復(fù)造輪子,資源復(fù)用率低。
在種種困境下,華為云 ModelArts 走進(jìn)了這些開發(fā)團(tuán)隊(duì)的視野。
為什么是 ModelArts?
在自然語言處理領(lǐng)域,BERT 的問世是一個(gè)里程碑事件。它讓整個(gè)社區(qū)嘗到了「預(yù)訓(xùn)練」的甜頭:只需要簡單的遷移策略,就能讓模型在下游任務(wù)中獲得良好的性能,使該領(lǐng)域由原來的手工調(diào)參、依靠機(jī)器學(xué)習(xí)專家的階段,進(jìn)入到大規(guī)模、可復(fù)制的大工業(yè)生產(chǎn)的階段。這一經(jīng)驗(yàn)同樣可以復(fù)制到其他領(lǐng)域,華為云 ModelArts 的通用預(yù)訓(xùn)練模型架構(gòu)——EI-Backbone 就是這一路徑的開拓者之一。
EI-Backbone 通過整合算法模型、算力、數(shù)據(jù)和知識(shí),可以進(jìn)行模型選擇自動(dòng)設(shè)計(jì)、參數(shù)配置自動(dòng)調(diào)優(yōu),在分鐘級內(nèi)完成模型訓(xùn)練,無需依仗專家經(jīng)驗(yàn)就能大幅提升模型精度,顯著降低 AI 使用門檻,縮短開發(fā)流程,提升開發(fā)性能。該架構(gòu)提供了一種「預(yù)訓(xùn)練模型 + 小樣本微調(diào)」的高效訓(xùn)練模式,能夠讓開發(fā)者基于行業(yè)小樣本數(shù)據(jù)訓(xùn)練高精度模型。這在醫(yī)療等優(yōu)質(zhì)數(shù)據(jù)稀缺的場景中尤其有用。以醫(yī)療影像分割為例,過去需要成百上千例標(biāo)注數(shù)據(jù)才能進(jìn)行的訓(xùn)練,在 EI-Backbone 的加持下,只需要幾十例甚至十幾例標(biāo)注數(shù)據(jù)即可完成,節(jié)省標(biāo)注成本高達(dá) 90% 以上。
效率的提升和成本的節(jié)約還體現(xiàn)在算力方面。華為全聯(lián)接大會(huì) 2020 發(fā)布的最新版華為云 ModelArts 3.0 在集群規(guī)模、任務(wù)數(shù)量以及分布式訓(xùn)練各個(gè)環(huán)節(jié)做了針對性優(yōu)化,并支持彈性訓(xùn)練。彈性訓(xùn)練指的是華為云 ModelArts 提供的兩種模式:一是 Turbo 模式,可以充分利用空閑資源加速已有訓(xùn)練作業(yè),訓(xùn)練速度可提升 10 倍以上,并且不影響模型的收斂精度;二是經(jīng)濟(jì)模式,可以通過最大化資源利用率給開發(fā)者提供極致的性價(jià)比,在大多數(shù)典型場景下可以提升性價(jià)比 30% 以上。這種降本增效的成果在實(shí)際的業(yè)務(wù)場景中是非常可觀的,無論是對 AI 開發(fā)者的低成本快速上手的需求,還是對行業(yè) AI 智能轉(zhuǎn)型升級來說,無疑都是最合適的選擇。
2. 對數(shù)據(jù)的掌控
AI 模型性能的提升離不開大量的多源數(shù)據(jù)。如果企業(yè)只用自己有限、單一來源的數(shù)據(jù)進(jìn)行訓(xùn)練,得到的模型可能不夠準(zhǔn)確,或泛化性較差。在此背景下,各個(gè)數(shù)據(jù)擁有方不可避免地要進(jìn)行合作。
但與之矛盾的是,很多行業(yè)的數(shù)據(jù)涉及用戶隱私、行業(yè)機(jī)密等問題,數(shù)據(jù)擁有者不愿或不能將數(shù)據(jù)上傳至一個(gè)數(shù)據(jù)中心進(jìn)行模型訓(xùn)練,從而形成了一個(gè)個(gè)的「煙囪」或「孤島」。
華為云 ModelArts 的用戶大多是這種類型,他們身處醫(yī)療、政務(wù)、金融等安全、隱私性要求極高的領(lǐng)域,因此必須對自己數(shù)據(jù)的流向進(jìn)行嚴(yán)格把控,做到數(shù)據(jù)不出庫。
數(shù)據(jù)不能出庫,但模型的參數(shù)可以,這就是華為云 ModelArts 提供的聯(lián)邦學(xué)習(xí)解決思路。在華為云 ModelArts 3.0 下,用戶可以各自利用本地?cái)?shù)據(jù)訓(xùn)練模型,不交換數(shù)據(jù)本身,只用加密方式交換更新的模型參數(shù),實(shí)現(xiàn)云邊協(xié)同訓(xùn)練。此外,華為云 ModelArts 3.0 不僅支持橫向聯(lián)邦學(xué)習(xí),處理對齊的數(shù)據(jù),還支持縱向聯(lián)邦學(xué)習(xí),可以輕松處理訓(xùn)練樣本 ID 重疊多的數(shù)據(jù)。
對于使用華為云 ModelArts 實(shí)現(xiàn)行業(yè) AI 落地的用戶來說,引入聯(lián)邦學(xué)習(xí)不僅解決了數(shù)據(jù)隱私問題,還節(jié)約了數(shù)據(jù)方面的成本。眾所周知,醫(yī)療、制藥等領(lǐng)域的數(shù)據(jù)標(biāo)注難度非常大,需要領(lǐng)域?qū)<业慕槿耄虼顺杀痉浅8摺Mㄟ^聯(lián)邦學(xué)習(xí),各個(gè)數(shù)據(jù)擁有方都可以在這一技術(shù)的保護(hù)下實(shí)現(xiàn)數(shù)據(jù)價(jià)值的交換,顯著降低成本。
3. 對模型的掌控
模型從實(shí)驗(yàn)室走向生產(chǎn)環(huán)境是一個(gè)令人揪心的過程。開發(fā)者和企業(yè)會(huì)擔(dān)心這個(gè)模型精度不夠高、性能不夠好、可解釋性差、可信度低等問題。在這些都沒弄清楚之前,沒有人敢大規(guī)模部署這款模型。
華為云 ModelArts 的成功之處在于,它在一定程度上緩解了這種「不透明」所帶來的顧慮,將自動(dòng)評估、診斷之后得到的模型精度、性能、可解釋性、可信度等信息展示在一塊「面板」上,讓用戶直觀地看到自己模型的基本情況。
而且,這種評估是非常精細(xì)的,僅精度方面就有準(zhǔn)確率、精確率、召回率、F1 值、混淆矩陣、ROC 曲線、數(shù)據(jù)敏感度分析等多項(xiàng)指標(biāo)。這些指標(biāo)可以幫助用戶進(jìn)行有針對性的調(diào)優(yōu),讓用戶做到「心中有數(shù)」,放心部署。
哪些行業(yè)已經(jīng)用上了華為云 ModelArts?
當(dāng)前,華為云 ModelArts 已經(jīng)在金融、醫(yī)療、藥物研發(fā)、自動(dòng)駕駛等多個(gè)領(lǐng)域得到了廣泛應(yīng)用。
在金融領(lǐng)域,華為云 ModelArts 已經(jīng)用于金融票據(jù) OCR 識(shí)別。由于金融票據(jù)格式多樣,差別細(xì)微,需要 AI 專家進(jìn)行長時(shí)間的票據(jù) AI 訓(xùn)練,因此業(yè)界識(shí)別準(zhǔn)確率普遍不夠精準(zhǔn)。針對票據(jù)模型開發(fā)訓(xùn)練數(shù)據(jù)標(biāo)注、模型訓(xùn)練、調(diào)優(yōu)和部署上的諸多難點(diǎn),華為云 ModelArts 通過數(shù)據(jù)集分類、自動(dòng)學(xué)習(xí)、遷移學(xué)習(xí)等方法,讓初級 AI 開發(fā)者無需調(diào)參等操作,輕松操作數(shù)據(jù)標(biāo)注工具,完成部署。
在醫(yī)療領(lǐng)域,去年 11 月份,放射學(xué)領(lǐng)域國際頂級期刊《Radiology》發(fā)表了華為云 EI 創(chuàng)新孵化 lab、華中科技大學(xué)電信學(xué)院、華中科技大學(xué)同濟(jì)醫(yī)學(xué)院附屬協(xié)和醫(yī)院放射科聯(lián)合團(tuán)隊(duì)的最新研究成果:運(yùn)用華為云 ModelArts 開發(fā)的一套基于 CTA 影像的腦動(dòng)脈瘤檢測算法。該算法靈敏度高達(dá) 97.5%,幫助醫(yī)生臨床診斷靈敏度提升約 10 個(gè)百分點(diǎn),漏診率降低了 5 個(gè)百分點(diǎn),同時(shí)有效縮短了醫(yī)生的診斷時(shí)間。
在藥物研發(fā)領(lǐng)域,2020 年,華為云 EI 與中國科學(xué)院上海藥物研究所簽署聯(lián)合創(chuàng)新合作協(xié)議,將華為自研的 FedAMP 算法和 AutoGenome 算法應(yīng)用到藥物研發(fā)的 AI 任務(wù)中,精準(zhǔn)預(yù)測藥物水溶解性、心臟毒性和激酶活性。中國科學(xué)院院士、中國科學(xué)院上海藥物研究所研究員蔣華良聯(lián)合華為云發(fā)布基于 ModelArts 平臺(tái)的藥物聯(lián)邦學(xué)習(xí)服務(wù),以解決研發(fā)數(shù)據(jù)高壁壘、高成本以及高機(jī)密的問題。實(shí)踐證明,通過華為云 EI 聯(lián)邦學(xué)習(xí)訓(xùn)練后的模型,準(zhǔn)確度遠(yuǎn)超傳統(tǒng)的聯(lián)邦學(xué)習(xí)和深度學(xué)習(xí)算法。
回顧過去的一年,華為云 ModelArts 在抗擊疫情方面也發(fā)揮了重要作用,其參與的聯(lián)合科研團(tuán)隊(duì)在 2020 年 2 月份就篩選出了五種可能有效的新冠抗病毒藥物。此外,華為云還依托 AI 昇騰集群服務(wù)和 ModelArts 推出了 AI+CT 醫(yī)學(xué)影像分析服務(wù),運(yùn)用計(jì)算機(jī)視覺與醫(yī)學(xué)影像分析技術(shù)對患者肺部 CT 多發(fā)磨玻璃密度影(GGO)以及肺實(shí)變進(jìn)行分割以及量化評價(jià),并結(jié)合臨床信息和實(shí)驗(yàn)室結(jié)果,輔助醫(yī)生更高效、精準(zhǔn)地區(qū)分早期、進(jìn)展期與重癥期,助力疫情防控工作。
技術(shù)賦能行業(yè)離不開一個(gè)低門檻、高效率同時(shí)又安全、可靠的工具。華為云 ModelArts 這類 AI 開發(fā)新工具的出現(xiàn)是實(shí)現(xiàn)技術(shù)普惠的重要條件,讓「學(xué) AI,用 ModelArts」成為開發(fā)者群體的新風(fēng)尚,亦將讓行業(yè) AI 落地開拓者們親手觸碰到未來。