April 10, 2023|新聞報導

評比優於NVIDIA 創鑫智慧AI晶片主打推薦模型應用

分享

林佳楠/專訪 2023-04-10

創鑫智慧的人工智慧(AI)晶片在國際評比中表現亮眼,創辦人暨董事長林永隆此前受訪時表示,團隊開發的晶片可加速資料中心、社群平台的推薦模型(Recommendation model)效能,並採台積電7奈米製程生產,目前已完成工程驗證,陸續開發客戶中。

 

1998年時,林永隆與盧超群、石克強共同成立創意電子,借調期任滿後回清大任教。看好推薦模型帶動的ASIC商機,林永隆2019年再成立創鑫智慧,開發AI晶片,並於2022年下旬宣布採用台積電7奈米製程生產。

 圖片3.png (790 KB)

創鑫智慧開發的首款晶片RecAccel N3000是專為推薦模型設計的AI加速器,日前在開放工程聯盟(MLCommons)的MLPerf評比中,與NVIDIA晶片互別苗頭。

 

延伸閱讀:高通、NVIDIAAI晶片效率測試中領先群雄 台灣新創也入榜

 

創鑫智慧提供的資料顯示,在伺服器模式中,創鑫智慧的晶片效能高於NVIDIA A100兩倍,相較於NVIDIA H100則高出1.67倍。而在離線模式中,其晶片優於NVIDIA A100,但遜於NVIDIA H100。此外,NVIDIA曾表示另一款Grace Hopper才是最適合推薦推論的晶片,但目前尚未提出相關基準分數。

 

超微(AMD)策略事業發展副總裁Kumaran Siva指出,樂見創鑫智慧晶片用於AMD EPYC處理器上,在評比中取得超群表現,也期待雙方持續合作,開發出領先業界的AI解決方案。林永隆則表示,盼與雲端生態系合作,提供永續節能的方案。

 

此前,林永隆在DIGITIMES專訪中表示,以AI技術加速晶片和伺服器的效能是業界趨勢,只要某領域有大量計算和大量應用的需求,就會出現專用晶片(ASIC)。

 圖片1.jpg (29 KB)

創鑫智慧創辦人暨董事長林永隆3月底參與台灣人工智慧晶片聯盟活動。李建樑攝(資料照)

 

目前在AI業界中,NVIDIAGPU是主流,然其GPU屬於通用型,而目前專為推薦模型設計的晶片相當少。事實上,資料中心、社群媒體、電商、搜尋引擎等平台都會用到推薦模型,市場商機相當豐沛,也因此他看好這塊市場的全球商機。

 

針對自家晶片的定位,他表示晶片部署在雲端與邊緣之間的匯流節點(Aggregation point),既沒有做到手機、物聯網裝置端那麼遠的邊緣,但也不必都得經過雲端。

 

他解釋,如果所有計算都要經過最遠的雲端,資料傳輸來回時間可能都大於計算時間,無法達到「加速」目的。此外,以前要升級伺服器就得更換CPU或機台,現在有了AI晶片,就可用來加速、提升伺服器的效能。

 

這對伺服器用戶來說是好消息,因為可減少所需機台數量,而對伺服器代工廠來說,不一定會是壞消息,因為廠商可與AI晶片開發商合作,讓伺服器效能更好、更利於市場推廣。

 

談到台灣發展AI晶片的優勢,林永隆指出,台灣匯聚矽智財、EDA工具、IC設計、封裝測試、製造等業者,相關生態系非常完整。當製造業者產出一片晶圓,這些晶圓變成終端品牌產品,產值便可再倍數成長,因此IC設計產值應該遠大於晶圓代工業者。

 

他認為,美國在IC設計界位居龍頭,是因為美系品牌、系統商在定義產品規格方面相當厲害,例如NVIDIA之於繪圖晶片、英特爾(Intel)和超微之於處理器、高通(Qualcomm)之於無線通訊晶片等。

 

PC普及帶動半導體應用,隨後消費性電子產品、智慧型手機用到的半導體數量愈來愈多,接續便是AI和電動車帶來的商機。林永隆認為,台灣IC設計仍有許多可發揮的空間,且是應長期耕耘的事業。創鑫智慧成立4年多以來專注研發,2023年起有機會銷售晶片,開始創造營收。

 圖片2.png (281 KB)

通過電子郵件獲取最新的創鑫智慧消息。