更多

    商湯發表企業大型模型一體機 用華為昇騰晶片運算 AI

    Eric Chong
    Eric Chong
    商業・科技・創業・編輯

    商湯發表日日新 5.0 的同時,還發表企業級大型模型一體機,將生成式 AI 伺服器搬離雲端,放在企業的數據中心內。機內用上華為的 AI 晶片昇騰,最多 2PFLOPS 運算效能。商湯科技董事長和行政總裁徐立表示,一體機加快 AI 回應的速度,也加強企業數據安全。

    商湯企業級大型模型一體機機身高 2U,內配中國 AI 晶片,包括 4 張大型模型加速咭,以及 2 張 AI 輔助加速咭,運算能力可達 2PFLOPS,記憶體配置最多 256GB,內裡連線最高速 448Gbps。目前此機採用華為的 AI 晶片,專門用於金融、醫療、政務和程式碼行業。徐立稱,可以同時支援加速企業級千億模型和硬件加速知識檢索。相比行業同類產品,推理成本節省 80%,加速檢索減少 CPU 工作負載 50%,端到端時延降 1.5 秒。

    以程式碼的小浣熊為例,每部一體機售價 35 萬元人民幣,可支援最多 100 人研發團隊使用,每人每日成本低至 4.5 元人民幣。用於金融業建智能文檔檢索平台,包括合規知識庫,檢查客戶情況是否符合各項法規。用於醫療的一體機提供智能體驗報告追蹤,如上傳報告獲取健康建議、判斷異常指標。

    徐立指出,企業採用大型模型一體機,能夠加強數據安全。由於使用雲端大型語言模型推理,往往將數據上傳,不少企業考慮到內部數據安全問題而憂慮。大型模型一體機將推理任務留在企業的內部環境處理。

    西方國家談論的 AI 安全問題,徐立則認為,現階段毋須過於限制,應任由技術發展,以了解模型的能力,哪些能夠做,還有哪些未能夠做。正如研發飛機要在風洞做測試,找出極限所在。AI 模型的發展跟隨尺度定律(Scaling Law),現時還未見頂。至於數據安全,則由監管部門去做,一邊發展技術,一邊規範數據來源和安全較合適。

    最新影片

    您會感興趣的內容

    相關文章