0
7月15日，曠視舉辦了第二屆技術(shù)開放日活動，曠視聯(lián)合創(chuàng)始人、CEO印奇，曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨、算法量產(chǎn)負(fù)責(zé)人周而進(jìn)、計算攝影負(fù)責(zé)人范浩強(qiáng)等出席活動，介紹了曠視對于AIoT、AI基礎(chǔ)研究的理解和實(shí)踐。
曠視將AIoT定義為“AIoT=AI+IoT+空間”。其中，“AI”和“IoT”是兩個相輔相成的核心關(guān)鍵詞。AI是不斷演進(jìn)的算法能力，如今越來越多的AI算法正在各行各業(yè)發(fā)揮核心的價值；IoT是軟硬結(jié)合的設(shè)備載體，只有在特定的載體中，AI才能最大限度地釋放其價值。
在此基礎(chǔ)上，曠視還強(qiáng)調(diào)“空間”這一關(guān)鍵詞，提出空間是應(yīng)用場景的閉環(huán)。在過去二三十年，互聯(lián)網(wǎng)、5G、AR、VR等技術(shù)的不斷演進(jìn)，給虛擬世界帶來了翻天覆地的變化。但與此同時，技術(shù)對于物理世界的改造并沒有發(fā)生根本性的變化。曠視認(rèn)為，“Make the Physical World Better”將是未來AIoT從業(yè)者努力追求的方向。
為了支撐AIoT這一長期發(fā)展戰(zhàn)略，曠視構(gòu)建了“2+1”的AIoT核心技術(shù)科研體系，即以“基礎(chǔ)算法科研”和“規(guī)模算法量產(chǎn)”為兩大核心的AI技術(shù)體系，和以“計算攝影學(xué)”為核心的“算法定義硬件”IoT技術(shù)體系（包括AI傳感器和AI機(jī)器人）。
AI為“本”，是曠視的核心技術(shù)能力；IoT為“器”，是曠視實(shí)現(xiàn)AI規(guī)模化落地的硬件載體。這一整套科研體系，涵蓋了從基礎(chǔ)研究、算法生產(chǎn)到軟硬一體化產(chǎn)品的AI落地全鏈路。
基礎(chǔ)模型科研是AI創(chuàng)新突破的根基。
在2012年AlexNet被提出之后，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)成為AI視覺發(fā)展的主要原動力之一。神經(jīng)網(wǎng)絡(luò)根據(jù)用途、構(gòu)建方式的不同，大致可以分為CNN、Transformer、基于自動化神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的模型以及輕量化模型等。這些模型極大地推動了AI發(fā)展的歷史進(jìn)程。
到目前，曠視認(rèn)為，“大”和“統(tǒng)一”已經(jīng)成為視覺AI基礎(chǔ)研究的最新趨勢。
其中，“大”主要是指AI大模型，即利用大數(shù)據(jù)、大算力和大參數(shù)量，提高模型的表達(dá)能力，使得AI模型能夠適用于多種任務(wù)、多種數(shù)據(jù)和多種應(yīng)用場景。
曠視研究院基礎(chǔ)科研負(fù)責(zé)人張祥雨認(rèn)為，“大”是提高AI系統(tǒng)性能的重要捷徑之一。但是，大并不意味好，片面地追求大參數(shù)量、大計算量和大數(shù)據(jù)量，并不一定能夠?qū)崿F(xiàn)更強(qiáng)大的模型，反而會產(chǎn)生更大的計算開銷，令整體收益非常有限。
曠視基礎(chǔ)科研倡導(dǎo)的“大”，是要以創(chuàng)新的算法驅(qū)動，充分發(fā)揮大數(shù)據(jù)、大算力的威力，拓展AI認(rèn)知的邊界。曠視關(guān)于“大”的研究，從實(shí)用角度出發(fā)，集中體現(xiàn)在大模型、大算法和大應(yīng)用三個層面。
同時，AI視覺的研究領(lǐng)域眾多，包括CNNs、VL Models、 Transformers等基礎(chǔ)模型研發(fā)，物體檢測、分割等視覺基礎(chǔ)應(yīng)用，優(yōu)化、自監(jiān)督、半監(jiān)督等AI算法演化等。每個研究路徑，都會衍生出一系列算法。
曠視發(fā)現(xiàn)，這些算法在底層正在走向統(tǒng)一。通過統(tǒng)一的算法、模型來表示和建模各種數(shù)據(jù)、任務(wù)，將產(chǎn)生更加簡單、強(qiáng)大且通用的系統(tǒng)。圍繞“統(tǒng)一”的趨勢，曠視在“基礎(chǔ)模型架構(gòu)”、“算法”和“認(rèn)知”，進(jìn)行了全面布局。曠視基礎(chǔ)科研的“統(tǒng)一”，集中體現(xiàn)在統(tǒng)一各種基礎(chǔ)模型架構(gòu)，從紛繁的AI算法中提煉其本質(zhì)特性，使其能支持各種任務(wù)、數(shù)據(jù)和平臺，并最終構(gòu)建統(tǒng)一的、高性能的視覺AI系統(tǒng)。
在“大”和“統(tǒng)一”的理念下，曠視基礎(chǔ)模型科研聚焦于通用圖像大模型、視頻理解大模型、計算攝影大模型和自動駕駛感知大模型四個方向，并取得了多項(xiàng)突出的科研成果。張祥雨強(qiáng)調(diào)，基礎(chǔ)模型科研需要堅(jiān)持長期主義，解決人工智能最本質(zhì)的難題。
“落地實(shí)用是算法價值的最終檢驗(yàn)標(biāo)準(zhǔn)”。
曠視研究院算法量產(chǎn)負(fù)責(zé)人周而進(jìn)表示，算法落地的主要挑戰(zhàn)在于整個生產(chǎn)環(huán)節(jié)的復(fù)雜性上。具體來說，分為三個層面：第一，數(shù)據(jù)生產(chǎn)的復(fù)雜性。第二，算法模型本身的不確定性。第三，算法落地的AIoT硬件平臺的多樣性。
要解決這些問題，他認(rèn)為“算法生產(chǎn)過程的標(biāo)準(zhǔn)化，是解決復(fù)雜的、碎片化的算法生產(chǎn)的有效手段”。這個標(biāo)準(zhǔn)化過程，包括了數(shù)據(jù)生產(chǎn)的標(biāo)準(zhǔn)化、算法模型的標(biāo)準(zhǔn)化和推理框架的標(biāo)準(zhǔn)化。
為此，曠視發(fā)布了自研的算法生產(chǎn)平臺AIS（AI Service）。
AIS基于曠視Brain++體系，構(gòu)建了一套覆蓋數(shù)據(jù)處理、模型訓(xùn)練、性能分析調(diào)優(yōu)、推理部署測試等算法生產(chǎn)全鏈路的零代碼、自動化的生產(chǎn)力工具平臺。AIS標(biāo)志著曠視Brain++的又一次提升，讓算法量產(chǎn)真正成為可能。
曠視 AIS 算法生產(chǎn)平臺提供多種功能支持算法快速生產(chǎn)部署，可以大幅降低算法生產(chǎn)的門檻，提升算法生產(chǎn)效率。目前，AIS平臺已經(jīng)能夠支持100多種業(yè)務(wù)模型訓(xùn)練，最快2小時即可完成，而且模型產(chǎn)出精度指標(biāo)遠(yuǎn)高于業(yè)界平均水平。經(jīng)驗(yàn)證，算法研發(fā)人員使用Brain++和AIS平臺，可以實(shí)現(xiàn)智能標(biāo)注平均加速30倍，自動學(xué)習(xí)訓(xùn)練加速4至20倍。
周而進(jìn)認(rèn)為，算法量產(chǎn)不是單一的產(chǎn)品，而是對AI生產(chǎn)模式的理念革新和生產(chǎn)力進(jìn)化。曠視希望通過AI算法生產(chǎn)的標(biāo)準(zhǔn)化以及AI生產(chǎn)力平臺的構(gòu)建，極大地降低算法生產(chǎn)的成本和門檻，讓更多人可以參與進(jìn)來，促進(jìn)算法在更多行業(yè)的落地。
AIoT產(chǎn)生了豐富的應(yīng)用場景，其需求在不斷地改變與升級，這對于算法提出了越來越多的需求。同時，算法本身也對于硬件應(yīng)該提供怎樣的信息和輸入提出了要求，甚至從根本上改造了硬件的形態(tài)與樣式。
因此，“算法定義硬件”的全新理念應(yīng)運(yùn)而生。
以AI傳感器為例，曠視研究院計算攝影負(fù)責(zé)人范浩強(qiáng)認(rèn)為，隨著AI、視覺算法等領(lǐng)域的發(fā)展，傳感器將不再單獨(dú)的、直接地提供應(yīng)用價值，傳感器和應(yīng)用之間需要算法來作為承上啟下的橋梁。從技術(shù)角度講，這兩者最顯著的結(jié)合點(diǎn)就是計算攝影。
以手機(jī)拍照為例，搭載了曠視AI算法和傳感器的手機(jī)，在燈光、月光、星光等不同環(huán)境下成像能力的提升。此外，在非成像的屏下光學(xué)指紋方面，算法也在牽引傳感技術(shù)向前發(fā)展。目前，曠視助力某業(yè)內(nèi)公司實(shí)現(xiàn)了千萬顆級的指紋傳感器出貨。該產(chǎn)品具備業(yè)界最小的尺寸、最快的識別速度以及支付級的安全認(rèn)證。
范浩強(qiáng)認(rèn)為，“應(yīng)用-算法-傳感器”的全鏈路整合能力，是“算法定義硬件”的核心。而曠視是業(yè)界少數(shù)能將傳感器的光學(xué)、模組、電子學(xué)的設(shè)計能力，傳感器的物理建模和算法能力，以及傳感器的應(yīng)用能力融為一體的公司。
除此之外，在技術(shù)開放日上，20個有料有趣的技術(shù)Demo也集中亮相，系統(tǒng)性地展示了曠視在前沿技術(shù)探索、軟硬件協(xié)同設(shè)計、算法量產(chǎn)應(yīng)用，以及商業(yè)化產(chǎn)品落地方面的實(shí)踐。雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
