2019年,為了打通數(shù)據(jù)安全交換路徑,一家頭部互聯(lián)網(wǎng)銀行打造的聯(lián)邦學(xué)習(xí)系統(tǒng)正在緊鑼密鼓地上線測(cè)試。然而,它們遇到了一個(gè)十分棘手的問題:使用加密數(shù)據(jù)進(jìn)行計(jì)算,計(jì)算量將增加百倍,使得系統(tǒng)運(yùn)行非常困難。
實(shí)驗(yàn)數(shù)據(jù)表明,如果AI在未加密模型中訓(xùn)練,需要10個(gè)小時(shí),但在加密環(huán)境中訓(xùn)練,至少需要100小時(shí),甚至1000小時(shí)。
AI訓(xùn)練的算力問題由來已久,而彼時(shí)陳凱教授領(lǐng)銜的香港科技大學(xué)智能網(wǎng)絡(luò)系統(tǒng)實(shí)驗(yàn)室(iSing Lab)在高性能數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域的學(xué)術(shù)成果近五年居亞洲第一(CSRankings排名)。于是,該機(jī)構(gòu)找到陳凱教授,嘗試通過高性能算力加速來解決聯(lián)邦學(xué)習(xí)因使用同態(tài)加密而產(chǎn)生的計(jì)算壓力與延時(shí)問題。
結(jié)果不負(fù)所望,陳凱教授與其創(chuàng)辦的星云Clustar研發(fā)的高性能算力加速方案,在該聯(lián)邦學(xué)習(xí)系統(tǒng)上實(shí)現(xiàn)了50-70倍的算力提升,保障了該系統(tǒng)的高效運(yùn)轉(zhuǎn)。
這是星云Clustar算力加速方案落地的一個(gè)典型案例。近兩年,基于隱私計(jì)算及其算力加速能力,星云Clustar已經(jīng)形成一套全棧技術(shù)服務(wù),專注數(shù)據(jù)安全及數(shù)據(jù)價(jià)值共享難題。
而星云Clustar所處的隱私計(jì)算行業(yè),今年正處于市場(chǎng)關(guān)注的焦點(diǎn)。數(shù)據(jù)顯示,2020年市場(chǎng)上從事隱私計(jì)算業(yè)務(wù)的企業(yè)超過了數(shù)百家。2021年間,僅僅四個(gè)月時(shí)間內(nèi),這個(gè)賽道已經(jīng)從VC基金手里融到了超10億元人民幣。
在隱私計(jì)算平臺(tái)還未大規(guī)模落地,絕大多數(shù)企業(yè)都在為技術(shù)研發(fā)、產(chǎn)品商業(yè)化而苦苦摸索時(shí),星云Clustar不僅構(gòu)建了以平臺(tái)為核心的全棧隱私計(jì)算技術(shù),同時(shí)也在探索如何“承包”隱私計(jì)算平臺(tái)落地之后的算力加速市場(chǎng)。
原因在于,隱私計(jì)算作為非常新興的行業(yè),在商業(yè)化模式方面充滿了“戰(zhàn)爭(zhēng)迷霧”,但目前業(yè)內(nèi)公認(rèn)也是技術(shù)壁壘最高的需求,就是加密帶來的對(duì)更高性能算力的訴求。能解決性能問題的隱私計(jì)算計(jì)算廠商,就是給所有數(shù)據(jù)淘金者賣鏟子的人。無(wú)論最后誰(shuí)勝出,有能力供應(yīng)基礎(chǔ)設(shè)施的人一定不會(huì)缺席。
而在當(dāng)前,靠著“賣鏟人”的角色,星云Clustar成為了行業(yè)內(nèi)唯一一家落地了國(guó)有大行商業(yè)項(xiàng)目的隱私計(jì)算公司,并受到紅杉中國(guó)、基石資本、招銀國(guó)際、華泰創(chuàng)新等頭部投資機(jī)構(gòu)青睞。
近期,甲子光年訪談了星云Clustar創(chuàng)始人陳凱教授,試圖了解:如何在隱私計(jì)算市場(chǎng)的不確定中找到確定性需求和趨勢(shì)?一家隱私計(jì)算廠商為何要“死磕”算力?
1
隱私計(jì)算,變革數(shù)據(jù)流通的硬科技
甲子光年:您是何時(shí)注意到隱私計(jì)算領(lǐng)域的,這和您之前做的數(shù)據(jù)中心網(wǎng)絡(luò)研究有何聯(lián)系?
陳凱:過去近15年時(shí)間,我一直專注于數(shù)據(jù)中心網(wǎng)絡(luò)相關(guān)研究,即通過高性能網(wǎng)絡(luò)技術(shù),來提高集群計(jì)算的算力。
研究隱私計(jì)算的契機(jī),也是由于近兩年全球?qū)?shù)據(jù)隱私關(guān)注度的提升。例如政策層面,歐、美、中各國(guó)都出臺(tái)了數(shù)據(jù)安全保護(hù)相關(guān)法案。這些都證明,數(shù)據(jù)安全、數(shù)據(jù)隱私正成為下一代人工智能落地的重要環(huán)節(jié)。
而隱私計(jì)算對(duì)算力的要求非常高,相關(guān)技術(shù)涉及大量密碼學(xué)、統(tǒng)計(jì)學(xué)運(yùn)算,對(duì)于系統(tǒng)計(jì)算和通信性能提出了很大挑戰(zhàn)。不解決這個(gè)問題,隱私計(jì)算大規(guī)模落地將受到極大制約。這一需求,正好與我之前的研究方向相契合,數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)能夠解決更大規(guī)模數(shù)據(jù)運(yùn)算性能問題,從而滿足隱私計(jì)算的需求。
所以,近兩年我們一直在隱私計(jì)算方面加大投入,其中包括行業(yè)獨(dú)有的硬件加速產(chǎn)品。
甲子光年:隱私計(jì)算產(chǎn)學(xué)研結(jié)合的十分緊密,高校孵化或具備高校背景的企業(yè)發(fā)展較為快速。您如何看待這種現(xiàn)象?創(chuàng)辦星云是否有“產(chǎn)學(xué)研”的考量?
陳凱:從實(shí)驗(yàn)室做研究到發(fā)表論文,再到把論文研究成果轉(zhuǎn)化為實(shí)際生產(chǎn)力,這是一個(gè)非常自然的過程,也是極重要的閉環(huán)。
在港科大,我們?cè)跀?shù)據(jù)中心網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)方面做了很多研究,論文在全球頂級(jí)期刊上多次發(fā)表。在成果轉(zhuǎn)化上,我們之前是與谷歌、華為、騰訊等企業(yè)密切合作,開發(fā)了圖靈平臺(tái)等人工智能計(jì)算平臺(tái)來落地。
創(chuàng)辦星云Clustar后,產(chǎn)學(xué)研落地的閉環(huán)會(huì)更直接。我們將客戶痛點(diǎn)抽象成研究問題,進(jìn)而形成研究理論、成果,最終通過星云Clustar直接將研究成果落地到實(shí)際,形成解決客戶問題的方案。
甲子光年:星云Clustar在您研究的領(lǐng)域提供了怎樣的助力?可否舉例說明?
陳凱:例如,我們有客戶提出了一個(gè)典型需求:如何驗(yàn)證隱私計(jì)算平臺(tái)本身的安全性,即確保平臺(tái)的每一步操作嚴(yán)格遵照要求,以保證數(shù)據(jù)不泄露、信息不出域?
帶著這個(gè)問題,團(tuán)隊(duì)重點(diǎn)研究如何設(shè)計(jì)一個(gè)安全認(rèn)證系統(tǒng),讓用戶能夠全流程監(jiān)控隱私計(jì)算平臺(tái)的運(yùn)行。同時(shí),為了確保認(rèn)證系統(tǒng)的客觀性、公正,這個(gè)認(rèn)證系統(tǒng)不僅能驗(yàn)證星云Clustar隱私計(jì)算平臺(tái)的安全性,也能作為第三方系統(tǒng)去檢驗(yàn)其他隱私計(jì)算平臺(tái)。目前,團(tuán)隊(duì)已經(jīng)將相關(guān)研究發(fā)表成論文,相關(guān)成果也正在落地探索中。
甲子光年:我們關(guān)注到您在第四屆世界頂尖科學(xué)家論壇上分享了高性能聯(lián)邦學(xué)習(xí)的研究,目前星云在這一方面有何成果?
陳凱:過去一年,我們?cè)诼?lián)邦學(xué)習(xí)底層算力方面有了更深厚的積累。據(jù)最新對(duì)比數(shù)據(jù),星云Clustar的方案在現(xiàn)有的開源隱私計(jì)算平臺(tái)上實(shí)現(xiàn)了50-70倍算力提升,性能功耗價(jià)格比提升了7倍。
在隱私計(jì)算平臺(tái)的研發(fā)和落地上,我們和市場(chǎng)上許多優(yōu)質(zhì)的同行公司齊頭并進(jìn),持續(xù)做創(chuàng)新突破。星云Clustar成為了全球最大的聯(lián)邦學(xué)習(xí)開源社區(qū)FATE的 TSC Board中唯一一家第三方創(chuàng)企,其余4家分別為微眾銀行、工商銀行、銀聯(lián)、VMware。
甲子光年:TSC Board是什么?星云Clustar在其中扮演什么樣的角色?
陳凱:FATE TSC Board可以簡(jiǎn)單理解成技術(shù)決策委員會(huì),深度影響著FATE社區(qū)以及聯(lián)邦學(xué)習(xí)技術(shù)的發(fā)展。星云Clustar在其中主要為社區(qū)提供底層算力等基礎(chǔ)設(shè)施,同時(shí)攜手其他單位參與制定重要策略,特別是一些重要的行業(yè)標(biāo)準(zhǔn),引導(dǎo)聯(lián)邦學(xué)習(xí)技術(shù)走向落地。
2
算力,隱私計(jì)算的競(jìng)爭(zhēng)高地
甲子光年:近兩年,您觀察隱私計(jì)算有哪些新趨勢(shì)、新變化?
陳凱:一個(gè)直觀感受是,隱私計(jì)算從今年開始逐步落地到了生產(chǎn)系統(tǒng)。
前兩年,我們和大廠或金融機(jī)構(gòu)聊隱私計(jì)算,客戶端多是聊技術(shù)、聊前景,是創(chuàng)新技術(shù)了解的階段。到了今年,客戶端開始聊場(chǎng)景,聊需求,隱私計(jì)算開始進(jìn)入客戶生產(chǎn)系統(tǒng),相關(guān)項(xiàng)目也開始起量。
甲子光年:您親身感受到的客戶端變化有哪些?
陳凱:比如一些在隱私計(jì)算方面應(yīng)用比較靠前的金融客戶,在搭建聯(lián)邦學(xué)習(xí)平臺(tái)的基礎(chǔ)上,提出了明確的算力需求。這一方面,星云Clustar已有項(xiàng)目完整交付。
另一方面,一些尚未布局隱私計(jì)算技術(shù)的企業(yè),正在從零到一地構(gòu)建隱私計(jì)算平臺(tái)。
總的來說,隱私計(jì)算相關(guān)應(yīng)用正在從無(wú)到有、從慢到快。
甲子光年:也就是說,隱私計(jì)算技術(shù)正處于爆發(fā)前夜?
陳凱:隱私計(jì)算目前還在商業(yè)化初期,但大家對(duì)此期待很高。要加速人工智能發(fā)展,同時(shí)不泄露數(shù)據(jù)隱私,隱私計(jì)算技術(shù)是目前市場(chǎng)可見的有效實(shí)現(xiàn)方式之一。
甲子光年:爆發(fā)前夜,隱私計(jì)算產(chǎn)業(yè)競(jìng)爭(zhēng)也十分激烈,您如何看待這種現(xiàn)象?
陳凱:隱私計(jì)算當(dāng)前競(jìng)爭(zhēng)已經(jīng)十分激烈,行業(yè)魚龍混雜,許多不是做隱私計(jì)算的企業(yè),也在這股熱潮中,搖身一變貼上“隱私計(jì)算”標(biāo)簽。不過,這也側(cè)面說明,隱私計(jì)算具備非常廣闊的前景。
目前,隱私計(jì)算被開拓的市場(chǎng)規(guī)模還不到1%,星云Clustar非常希望聯(lián)合市場(chǎng)上有真正技術(shù)積累的隱私計(jì)算公司,一起把行業(yè)生態(tài)做大。
甲子光年:您認(rèn)為隱私計(jì)算要實(shí)現(xiàn)大規(guī)模落地,還需要具備哪些條件?
陳凱:概括來說,這個(gè)行業(yè)還有幾個(gè)關(guān)鍵問題仍待解決:
一是缺乏標(biāo)準(zhǔn)化服務(wù)或商業(yè)模式。在需求端,企業(yè)數(shù)字化進(jìn)程各不相同,對(duì)隱私計(jì)算的認(rèn)知程度也不一樣,許多人還停留在感性認(rèn)知層面,這增加了隱私計(jì)算產(chǎn)品落地難度。在供給端,技術(shù)深入產(chǎn)業(yè)、場(chǎng)景的know-how還在沉淀過程中。如何抽取客戶的共性需求,轉(zhuǎn)化為標(biāo)準(zhǔn)化產(chǎn)品,隱私計(jì)算企業(yè)還在摸索。
二是技術(shù)效率。隱私計(jì)算在人工智能技術(shù)的基礎(chǔ)上,增加了大量密碼學(xué)、通信技術(shù)要求,對(duì)通信和算力要求非常高。
只有當(dāng)這些條件都得到滿足,供需方面都有了進(jìn)一步發(fā)展,隱私計(jì)算行業(yè)才會(huì)迎來大規(guī)模爆發(fā)。
甲子光年:算力將會(huì)成為制約隱私計(jì)算發(fā)展的主要原因嗎?隱私計(jì)算算力目前發(fā)展如何?
陳凱:隱私計(jì)算的不斷發(fā)展,算力將起到愈來愈關(guān)鍵的作用,它決定了我們能否將很多分散的、有隱私保護(hù)需求的數(shù)據(jù)真正使用起來。
正如在人工智能領(lǐng)域,如果沒有英偉達(dá)的GPU算力芯片,深度學(xué)習(xí)就無(wú)法快速迭代、快速發(fā)展。同樣,如果沒有專精型算力平臺(tái)支持,隱私計(jì)算也將面臨行業(yè)發(fā)展瓶頸。
3
做數(shù)據(jù)淘金行業(yè)的“賣鏟人”
甲子光年:為什么星云Clustar做隱私計(jì)算平臺(tái)的同時(shí)還要“死磕”算力?這背后有什么獨(dú)特的打法?
陳凱:就像英偉達(dá)既有自己的深度學(xué)習(xí)平臺(tái),又有高性能算力芯片,星云Clustar也同時(shí)打造隱私計(jì)算平臺(tái)與算力加速產(chǎn)品,這是星云Clustar最獨(dú)樹一幟的地方。
隱私計(jì)算與算力業(yè)務(wù)之間存在著協(xié)同作用。隱私計(jì)算技術(shù)目前離落地更近,星云Clustar中短期的目標(biāo)是實(shí)現(xiàn)該技術(shù)在多場(chǎng)景的專業(yè)化應(yīng)用。與此同時(shí),隱私計(jì)算平臺(tái)所構(gòu)建的客戶生態(tài),也將成為今后算力平臺(tái)重要的市場(chǎng)基礎(chǔ)??蛻舢?dāng)前使用CPU、GPU承載算力,未來將逐步遷移到專業(yè)算力加速平臺(tái)上。這是星云Clustar市場(chǎng)拓展的過程。
依托于隱私計(jì)算平臺(tái)去研發(fā)算力技術(shù),兩者耦合將更緊密,優(yōu)化會(huì)更徹底,這是很大的競(jìng)爭(zhēng)優(yōu)勢(shì)。
甲子光年:星云Clustar落地了行業(yè)唯一的國(guó)有大型銀行隱私計(jì)算平臺(tái)項(xiàng)目,您認(rèn)為背后的成因是什么?對(duì)后續(xù)市場(chǎng)的推動(dòng)意義又是什么?
陳凱:第一是產(chǎn)品及服務(wù)完備性。針對(duì)產(chǎn)業(yè)上數(shù)據(jù)“不敢用、不會(huì)用、不能用”難題,星云Clustar提供數(shù)據(jù)生態(tài)、隱私計(jì)算平臺(tái)、底層算力加速的全棧能力,實(shí)現(xiàn)從數(shù)據(jù)接入、隱私保護(hù)、加速計(jì)算需求的全覆蓋。
第二,技術(shù)層面的“人無(wú)我有,人有我優(yōu)”,真正的場(chǎng)景化服務(wù)經(jīng)驗(yàn)、規(guī)模優(yōu)勢(shì)是很重要的護(hù)城河:
一方面,星云Clustar的技術(shù),尤其是底層算力加速能力處于行業(yè)領(lǐng)先水平。
另一方面,產(chǎn)品和場(chǎng)景上做得足夠深入。聚焦金融領(lǐng)域,我們與金融科技企業(yè)深度合作,打通金融科技產(chǎn)業(yè)鏈,也會(huì)與頭部的國(guó)有銀行、股份制銀行、互聯(lián)網(wǎng)銀行等客戶直接合作。這對(duì)星云Clustar積累各類場(chǎng)景know-how,優(yōu)化產(chǎn)品和工程化能力來說,是很好的機(jī)遇與平臺(tái),同時(shí)也為業(yè)務(wù)拓展提供了很強(qiáng)的背書。
第三是生態(tài)優(yōu)勢(shì)。技術(shù)生態(tài)上,星云Clustar是全球最大聯(lián)邦學(xué)習(xí)開源社區(qū)FATE 的TSC Board單位,這個(gè)社區(qū)目前有700多家企業(yè),星云Clustar會(huì)與工行、微眾、銀聯(lián)、VMWare等“前行者”共同引領(lǐng)社區(qū)發(fā)展方向,探索技術(shù)應(yīng)用;行業(yè)生態(tài)上,星云Clustar作為秘書長(zhǎng)單位牽頭制定了IEEE首個(gè)國(guó)際聯(lián)邦學(xué)習(xí)技術(shù)標(biāo)準(zhǔn),并擔(dān)任央行北京金融科技產(chǎn)業(yè)聯(lián)盟、工信部中國(guó)信通院TC601、信安標(biāo)委等標(biāo)準(zhǔn)化組織成員,不斷共建隱私計(jì)算跨平臺(tái)互聯(lián)互通總體、通信、協(xié)議及金融應(yīng)用等系列技術(shù)標(biāo)準(zhǔn)。
總的來說,企業(yè)在生態(tài)、技術(shù)、場(chǎng)景、應(yīng)用、服務(wù)方面篤定前行,最終都會(huì)形成直接競(jìng)爭(zhēng)力。
甲子光年:在產(chǎn)品和場(chǎng)景做的更深,星云Clustar具體是如何做的?
陳凱:更貼近產(chǎn)業(yè),與客戶一起去洞察與解決場(chǎng)景最根本的需求和痛點(diǎn)。目前,星云Clustar已經(jīng)聯(lián)合多家國(guó)有大行和股份制銀行,共同探討技術(shù)落地方式,我們的產(chǎn)品也與多個(gè)部門深度合作,深入到業(yè)務(wù)環(huán)節(jié)。
在算力技術(shù)研發(fā)上,我們的實(shí)驗(yàn)室已經(jīng)開始投入低碳算力相關(guān)技術(shù),預(yù)計(jì)很快就會(huì)進(jìn)行產(chǎn)業(yè)POC。在碳中和背景下,低碳算力既可以賦能隱私計(jì)算發(fā)展,又能降低功耗、保護(hù)環(huán)境。
甲子光年:什么是算力“低碳”效果,星云如何實(shí)現(xiàn)低碳算力?
陳凱:相較于明文計(jì)算,隱私計(jì)算的計(jì)算效率會(huì)低兩個(gè)數(shù)量級(jí)。假設(shè)一個(gè)AI模型在明文中訓(xùn)練需要10小時(shí),在隱私計(jì)算環(huán)境中訓(xùn)練則需要100小時(shí),甚至1000小時(shí)。星云Clustar通過底層算力加速,將密碼學(xué)算子引入的開銷減少80%。未來,隨著隱私計(jì)算成為各行各業(yè)的基礎(chǔ)設(shè)施,按照2020年統(tǒng)計(jì)的數(shù)據(jù)中心2000億度耗電量來計(jì)算,星云Clustar底層算力加速方案每年預(yù)估可以節(jié)省上千億度電力。
甲子光年:星云Clustar接下來的發(fā)展計(jì)劃是什么?
陳凱:星云Clustar的定位是一家隱私計(jì)算全棧技術(shù)與基礎(chǔ)設(shè)施提供商。沿著這個(gè)定位,星云Clustar會(huì)有“一橫一縱”的發(fā)展規(guī)劃:
縱向生態(tài)上,繼續(xù)以全棧隱私計(jì)算技術(shù)在場(chǎng)景中做深、做厚。不僅要在場(chǎng)景、應(yīng)用層為客戶提供高效易用的隱私計(jì)算服務(wù),也要深入產(chǎn)業(yè)生態(tài),積極推進(jìn)技術(shù)、應(yīng)用等行業(yè)標(biāo)準(zhǔn)建設(shè),并借助廣泛合作伙伴的服務(wù)場(chǎng)景,實(shí)現(xiàn)產(chǎn)業(yè)的深度賦能。
橫向生態(tài)上,在算力加速方面加大投入,讓隱私計(jì)算變得更“快”,攜手市場(chǎng)頭部企業(yè)以及云廠商等合作伙伴和用戶,共同加速隱私計(jì)算落地進(jìn)程,做隱私計(jì)算領(lǐng)域的“算力擔(dān)當(dāng)”。據(jù)中心網(wǎng)絡(luò)研究有何聯(lián)系?