12月12日，谷歌宣布其第六代TPU（張量處理器），Trillium正式上市。

谷歌計(jì)算和人工智能基礎(chǔ)設(shè)施副總裁兼總經(jīng)理Mark Lohmeyer表示，谷歌旗下的大模型Gemini 2.0正是采用Trillium進(jìn)行訓(xùn)練， TPU是Google Cloud AI超級(jí)計(jì)算（AI Hypercomputer）的關(guān)鍵組件，集成了性能優(yōu)化后的硬件、開(kāi)放軟件、領(lǐng)先的機(jī)器學(xué)習(xí)框架以及靈活的消費(fèi)模型。

以色列人工智能公司AI21 Labs的CTO Barak Lenz表示，AI21 Labs是自TPU v4以來(lái)的長(zhǎng)期用戶，Trillium在規(guī)模、速度和成本效率方面都取得了顯著的進(jìn)步。

在GPU加速一切的人工智能時(shí)代，TPU像極外來(lái)物種。畢竟在各大搜索軟件里輸入關(guān)鍵詞“TPU”，前幾條結(jié)果顯示的都是材料學(xué)科里的聚氨酯。

TPU因谷歌而出現(xiàn)，TPU市場(chǎng)因谷歌而繁榮。為何研發(fā)TPU，以及TPU團(tuán)隊(duì)的工程師離開(kāi)谷歌后如何將行業(yè)推向繁榮，背后的故事值得講述。

谷歌「被迫」研發(fā)TPU

2009年，Geoffrey Hinton將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于語(yǔ)音建模，在TIMIT（聲學(xué)-音素連續(xù)語(yǔ)音語(yǔ)料庫(kù)）上獲得當(dāng)時(shí)的最佳成果，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)在語(yǔ)音識(shí)別領(lǐng)域開(kāi)始大放異彩。

如果說(shuō)ChatGPT是當(dāng)下人工智能浪潮的起點(diǎn)，那AlexNet神經(jīng)網(wǎng)絡(luò)架構(gòu)的出現(xiàn)就是上一個(gè)里程碑。

2012年，Alex Krizhesky、Ilya Sutskever和Hinton提出的AlexNet架構(gòu)，通過(guò)使用GPU構(gòu)建深度學(xué)習(xí)模型，刷新當(dāng)時(shí)的圖像識(shí)別世界紀(jì)錄，并且準(zhǔn)確率達(dá)到85%，在當(dāng)年的ImageNet大賽中一舉奪冠。

人工智能在語(yǔ)音和圖像識(shí)別領(lǐng)域的應(yīng)用引起了谷歌的關(guān)注，畢竟這兩個(gè)領(lǐng)域與谷歌的核心業(yè)務(wù)，如搜索、地圖、照片和翻譯等緊密相關(guān)。正值谷歌考慮推出面向全球的語(yǔ)音識(shí)別功能之際，研究團(tuán)隊(duì)發(fā)現(xiàn)需要處理的人工智能計(jì)算量將超過(guò)其現(xiàn)有的算力。

谷歌首席科學(xué)家Jeff Dean在采訪時(shí)稱(chēng)：“當(dāng)時(shí)，我們粗略地估算了數(shù)億人與谷歌的產(chǎn)品對(duì)話會(huì)產(chǎn)生多少計(jì)算量，結(jié)果顯示谷歌需要部署多一倍的算力才可以滿足這樣的需求?！?/p>

做為大廠，谷歌天生帶有傲性。當(dāng)時(shí)，谷歌團(tuán)隊(duì)研究了市面上提供的所有算力解決方案，全部都被高層否決掉。

互聯(lián)網(wǎng)大爆發(fā)使算力需求呈現(xiàn)指數(shù)級(jí)上升，兩個(gè)明顯的的趨勢(shì)開(kāi)始涌現(xiàn)，一是算力使用場(chǎng)景細(xì)分化，二是用戶對(duì)算力的需求不斷攀升，傳統(tǒng)的通用算力芯片很難再滿足一些特定場(chǎng)景的需求。

對(duì)專(zhuān)用芯片的投入日益受到關(guān)注，開(kāi)發(fā)公司內(nèi)部的深度學(xué)習(xí)專(zhuān)用處理器芯片成為谷歌的不二之選。

「出道即巔峰」，首代TPU推理速度為競(jìng)品30倍

決策后，是迅速的執(zhí)行。谷歌挖來(lái)惠普智能基礎(chǔ)設(shè)施實(shí)驗(yàn)室高級(jí)總監(jiān)Norm Jouppi、Pacmid的研發(fā)負(fù)責(zé)人Jonathan Ross、Arm架構(gòu)開(kāi)發(fā)商Calxeda的SoC工程總監(jiān)Richard Ho以及高通高級(jí)工程師Ravi Narayanaswami等一批芯片行業(yè)資深從業(yè)人員，而這一批人員也勾勒出當(dāng)下人工智能芯片領(lǐng)域巨頭博弈的核心人才畫(huà)像。

面對(duì)全世界最好的工程師，大廠光環(huán)和天價(jià)薪資略顯廉價(jià)，真正讓這幫人聚在一起的是開(kāi)發(fā)出滿足全球人工智能算力需求的解決方案這一愿景。

谷歌云TPU業(yè)務(wù)創(chuàng)始人Zak Stone稱(chēng)：“2012年，我創(chuàng)立了一家機(jī)器學(xué)習(xí)創(chuàng)業(yè)公司，為了以較低的成本獲得算力，我的聯(lián)合創(chuàng)始人會(huì)在網(wǎng)上購(gòu)買(mǎi)二手的游戲GPU，然后在咖啡桌上搭建服務(wù)器，一旦我們?cè)谶\(yùn)行GPU的時(shí)候打開(kāi)了微波爐，電源就會(huì)耗盡。加入谷歌后，我創(chuàng)建了云TPU項(xiàng)目，我知道我們必須把TPU打造成谷歌云的基礎(chǔ)設(shè)施?！?/p>

這也正是谷歌不直接出售TPU，而是通過(guò)谷歌云出售TPU算力的原因之一。另一方面，這種做法可以免于搭建供應(yīng)鏈和硬件銷(xiāo)售團(tuán)隊(duì)，節(jié)省對(duì)陌生業(yè)務(wù)的投入，同時(shí)反哺了谷歌云業(yè)務(wù)并且提高了硬件產(chǎn)品的保密程度。

從立項(xiàng)到落地，谷歌花了15個(gè)月。2015年，谷歌開(kāi)發(fā)出第一代TPU處理器，并開(kāi)始部署在谷歌的數(shù)據(jù)中心進(jìn)行深度學(xué)習(xí)模型訓(xùn)練。彼時(shí)，外界對(duì)于谷歌內(nèi)部的基礎(chǔ)設(shè)施建設(shè)鮮有認(rèn)知，而事實(shí)上，擊敗棋王李世石的AlphaGo正是由TPU驅(qū)動(dòng)的。

研發(fā)TPU的團(tuán)隊(duì)負(fù)責(zé)人Norm Jouppi稱(chēng)：“TPU的設(shè)計(jì)過(guò)程異常迅速，這本身就是一項(xiàng)非凡的成就。更出乎意料的是，首批交付的硅片無(wú)需進(jìn)行任何錯(cuò)誤修正以及掩膜的更改，而正在同步進(jìn)行的還有團(tuán)隊(duì)組建，RTL（寄存器傳輸級(jí)）設(shè)計(jì)專(zhuān)家、驗(yàn)證專(zhuān)家都急需補(bǔ)充，整個(gè)工作節(jié)奏非常緊張?！?/p>

機(jī)器學(xué)習(xí)硬件系統(tǒng)的首席工程師Andy Swing同樣表示：“我們?cè)詾門(mén)PU的產(chǎn)量不會(huì)超過(guò)1萬(wàn)顆，但最終生產(chǎn)了超過(guò)10萬(wàn)顆，在廣告、搜索、語(yǔ)音、AlphaGo甚至自動(dòng)駕駛等領(lǐng)域被廣泛采用?！?/p>

TPU跟GPU的核心差異在于，GPU更通用，而TPU則專(zhuān)用于加速機(jī)器學(xué)習(xí)工作負(fù)載，是一款A(yù)SIC（專(zhuān)用集成電路）芯片。TPU包含數(shù)千個(gè)乘法累加器，這些累加器直接連接，形成大型物理矩陣，即脈動(dòng)陣列架構(gòu)，這樣的處理使TPU可以在神經(jīng)網(wǎng)絡(luò)計(jì)算中實(shí)現(xiàn)高計(jì)算吞吐量。

Google杰出工程師David Patterson稱(chēng)：“TPU就像海倫（希臘神話中最美的女人），它的出現(xiàn)引起了成千芯片與之競(jìng)逐。”

首款TPU發(fā)布后，英特爾便耗資數(shù)十億美元收購(gòu)了多家芯片公司。阿里巴巴、亞馬遜等公司同樣開(kāi)始研發(fā)類(lèi)似產(chǎn)品。TPU重新喚起了人們對(duì)計(jì)算機(jī)架構(gòu)的關(guān)注，后來(lái)的幾年內(nèi)，出現(xiàn)了上百家相關(guān)初創(chuàng)企業(yè)，年均總?cè)谫Y額近20億美元，新想法層出不窮。

截至目前，谷歌TPU經(jīng)歷了多次迭代，TPU系列產(chǎn)品的性能也實(shí)現(xiàn)了指數(shù)級(jí)的上升。TPU v1的峰值性能為92 TOPS，1TOPS代表處理器每秒鐘可進(jìn)行1萬(wàn)億次浮點(diǎn)運(yùn)算，做為同期的競(jìng)品，TPU v1的推理速度比英偉達(dá)K80 GPU和英特爾Haswell CPU快15到30倍。TPU v4的峰值性能達(dá)到1.1PFLOPS，即每秒進(jìn)行1100萬(wàn)億次浮點(diǎn)運(yùn)算，首次突破每秒千萬(wàn)億次浮點(diǎn)運(yùn)算的大關(guān)，相較于TPU v1，性能提高了將近12倍。最新發(fā)布的Trillium性能為T(mén)PU v5e的4.7倍，官方稱(chēng)是迄今為止性能最高、最節(jié)能的TPU。

所有這些處理能力還只是開(kāi)始。

TPU的主要設(shè)計(jì)師Cliff Young認(rèn)為，跟上深度學(xué)習(xí)的發(fā)展不僅需要增加用于訓(xùn)練的芯片數(shù)量，現(xiàn)有的軟硬件架構(gòu)設(shè)計(jì)也必須改變，需要運(yùn)用全新的材料-應(yīng)用協(xié)同設(shè)計(jì)概念。未來(lái)深度學(xué)習(xí)架構(gòu)的設(shè)計(jì)需要包含從物理到應(yīng)用的各個(gè)層面的協(xié)同設(shè)計(jì)，這是打破摩爾定律瓶頸的一種方式，是深度學(xué)習(xí)發(fā)展的新出路。

團(tuán)隊(duì)表示：“當(dāng)時(shí)，我們的TPU和Pod設(shè)置對(duì)建設(shè)數(shù)據(jù)中心能力很有意義，但現(xiàn)在我們正在改變數(shù)據(jù)中心的設(shè)計(jì)，以更好地滿足需求，當(dāng)下的解決方案與未來(lái)的解決方案將非常不同。忘記單個(gè)芯片或單個(gè)TPU吧，我們正在構(gòu)建一個(gè)載滿TPU的全球數(shù)據(jù)中心網(wǎng)絡(luò)。未來(lái)是全棧定制，從硅到一切。”

TPU夢(mèng)之隊(duì)，從「隊(duì)友到對(duì)手」

當(dāng)下，所有人都在眼紅英偉達(dá)在人工智能芯片市場(chǎng)占據(jù)的市場(chǎng)份額，而TPU讓谷歌成為英偉達(dá)之外另一個(gè)重要的算力供應(yīng)商。全球超過(guò)60%獲得融資的生成式AI初創(chuàng)公司和近90%生成式AI獨(dú)角獸都在使用谷歌Cloud的AI基礎(chǔ)設(shè)施和Cloud TPU服務(wù)，包括Anthropic、Midjourney、Salesforce、Hugging Face和AssemblyAI等企業(yè)。

2024年7月，蘋(píng)果公布其使用了2048片TPUv5p芯片來(lái)訓(xùn)練擁有27.3億參數(shù)的設(shè)備端模型AFM-on-device，以及使用8192片TPUv4芯片來(lái)訓(xùn)練大型服務(wù)器端模型AFM-server。

這些數(shù)據(jù)回答了TPU在人工智能市場(chǎng)里的應(yīng)用情況，也昭示著這個(gè)市場(chǎng)會(huì)涌入更大量的競(jìng)爭(zhēng)者。而事實(shí)上，在TPU v1剛剛發(fā)布的時(shí)期，TPU團(tuán)隊(duì)成員另立門(mén)戶或加入競(jìng)對(duì)公司的現(xiàn)象就已初顯苗頭。畢竟在硅谷，當(dāng)你萌生出創(chuàng)業(yè)想法時(shí)，成事法則中的一條就是從谷歌挖人。

Social Capital的創(chuàng)始人Chamath Palihapitiya深諳其中的門(mén)道，他總是那么尖銳且冒進(jìn)，面對(duì)名流及精英他直言不諱，做為美國(guó)的SPAC（特殊目的收購(gòu)公司）之王，帶著散戶逼空華爾街精英也讓他賺足了吆喝。

Palihapitiya就像投資界的馬斯克，掌握資本和流量杠桿讓他成為創(chuàng)業(yè)者背后的攢局人。

2015年，在谷歌的季度財(cái)報(bào)會(huì)上，Palihapitiya不經(jīng)意間了解到谷歌正在自研AI芯片，為什么谷歌要跟英特爾競(jìng)爭(zhēng)？問(wèn)題在Palihapitiya心中浮現(xiàn)，他開(kāi)始尋找答案。

2016年，TPU v1發(fā)布，跟市場(chǎng)上其他人一樣，Palihapitiya的策略是“no miss”，他認(rèn)為這一次芯片創(chuàng)新可以讓Facebook、Amazon、Tesla等公司以及政府利用機(jī)器學(xué)習(xí)和計(jì)算機(jī)去做此前沒(méi)人能做的事情。

巨頭入局，Palihapitiya做局。他開(kāi)始對(duì)谷歌TPU領(lǐng)域的工程師進(jìn)行人才mapping，一年半的時(shí)間里，Palihapitiya挖走了谷歌芯片創(chuàng)始團(tuán)隊(duì)里10人中的8位，背后的兩個(gè)關(guān)鍵角色是Jonathan Ross和軟件工程師Doug Wightman，而成立的這家新公司正是當(dāng)下炙手可熱的AI芯片企業(yè)Groq。

今年的8月5日，Groq完成由Blackrock領(lǐng)投的新一輪6.4億美元融資，28億美元的估值讓Groq毫無(wú)疑問(wèn)地成為AI芯片新貴。另一方面，Meta首席人工智能科學(xué)家Yann LeCun宣布擔(dān)任Groq的技術(shù)顧問(wèn)，在Groq的官網(wǎng)上赫然掛著Yann LeCun對(duì)于Groq芯片的評(píng)價(jià)：“Groq芯片確實(shí)直擊要害?！?/strong>

而問(wèn)題在于Meta內(nèi)部也在研發(fā)AI芯片，競(jìng)對(duì)公司間的人事往來(lái)不經(jīng)讓外界感到意外。但可以推測(cè)出這背后離不開(kāi)Palihapitiya的周旋，畢竟他曾擔(dān)任了五年多的Facebook（Meta前身）副總裁，化敵為友，是攢局人的基本素養(yǎng)。

Groq之外，是OpenAI對(duì)谷歌近乎瘋狂的“挖墻腳”。

瘋狂的背后，是Sam Altman激進(jìn)的7萬(wàn)億自研芯片戰(zhàn)略。此前，臺(tái)積電CEO CC Wei在采訪中表示：“Altman的計(jì)劃太激進(jìn)了，讓人難以置信?！?/strong>

今年10月30日，外媒報(bào)道OpenAI與博通以及臺(tái)積電達(dá)成合作，計(jì)劃于2026年生產(chǎn)其首個(gè)定制芯片。

OpenAI造芯傳言靴子落地的背后，是Sam Altman網(wǎng)羅AI芯片人才計(jì)劃的收網(wǎng)。Sam Altman的用人法則只有一條，要么現(xiàn)在在谷歌，要么之前在谷歌。

近一年里，大量谷歌TPU團(tuán)隊(duì)的研發(fā)人員密集加入OpenAI，Sam Altman搭建了以前谷歌高級(jí)工程總監(jiān)Richard Ho為首的硬件研發(fā)團(tuán)隊(duì)，主要成員包括Tensor SoC負(fù)責(zé)人Ravi Narayanaswami、高級(jí)硬件工程師Thomas Norrie、技術(shù)經(jīng)理Sara Zebian、研究科學(xué)家Phitchaya以及設(shè)計(jì)驗(yàn)證經(jīng)理Jerry Huang等人。

而這一批人收獲的最多的評(píng)價(jià)正是：“他們是我合作過(guò)的最好的工程師之一?！?/strong>

吸引最好的工程師，Sam Altman開(kāi)出的條件是：參與構(gòu)建人類(lèi)有史以來(lái)最宏大的計(jì)算機(jī)系統(tǒng)、與大模型團(tuán)隊(duì)的高度協(xié)作且不會(huì)面臨大公司內(nèi)部的溝通阻礙，以及高薪。

TPU團(tuán)隊(duì)在市場(chǎng)頗受認(rèn)可的背后是任職于谷歌時(shí)研發(fā)TPU鍛煉的從0到1的工程能力，而專(zhuān)用于加速機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)正是當(dāng)下市場(chǎng)最需要的。

商業(yè)層面，身居不同公司或許針尖對(duì)麥芒，但個(gè)人層面，他們都是谷歌TPU的同行者，更是AI芯片未來(lái)的締造者。

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))參考材料：

https://cloud.google.com/blog/products/compute/trillium-tpu-is-ga

https://cloud.google.com/transform/ai-specialized-chips-tpu-history-gen-ai?e=48754805

https://www.censtry.com/blog/why-did-google-develop-its-own-tpu-chip-in-depth-disclosure-of-team-members.html

https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.

https://cloud.google.com/tpu/docs/system-architecture-tpu-vm?hl=zh-cn#targetText=Tensor%20Processing%20Units%20(TPUs)%20are,and%20leadership%20in%20machine%20learning.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。