商湯發表日日新 5.0 之後,股價連番上揚。新模型除了升級閱讀和推理能,還技持終端設備,可在智能電話上運行。商湯科技董事長和行政總裁徐立稱, 在終端上運行模型有助降低推理成本,有助引發更多採用生成式 AI 的應用程式。
徐立表示,日日新 5.0 可用於終端設備上,提供 18 億參數版本,測試結果反映其能力比同級的模型優勝。商湯推出的終端與雲端協同方案,通過智能判斷自動選擇合適的運算環境,如需要聯網搜尋或處理複雜情況會分流至雲端,實際上超過八成運算能在終端上完成。他又直言,雲端處理 AI 運算成本太高,利用用戶設備上的運算資源,有助企業減少使用雲端的推理運算,降低運算成本。
根據示範,在智能電話上運行「商量」並輸入問題,可快速生成回應。日日新 5.0 的 18 億參數模型支援 Qualcomm 的 Snapdragon 平台和聯發科的天機平台,為目前業內在終端上推理速度最快的模型。其中在 Snapdragon 8 Gen 3 上可做到每秒推理 78.3 字,比人類肉眼最快的閱讀速度每秒 20 字還要快。該公司甚至計畫進一步優化模型,目標每秒推理 109.5 字。即使在中階平台,如 Snapdragon 7,亦有每秒推理 18.3 字,徐立形容為還可以的速度。
處理圖像的擴散模型同樣可在終端上運行,LDM-AI 擴圖技術的推理速度快至 1.5 秒,比友商的雲端應用程式快 10 倍,支援輸出 1,200 萬像素以上的高清圖片,在智能電話上快速執行圖像編輯功能,包括擴充圖片、補充旋轉圖片的缺角等。
徐立指出,終端模型可在不同的設備運行,執行各類任務,包括智能電話、平板電腦、VR 裝置、車載系統等。他又舉例,現時可見的用途有日常對話、常識問答、生成文案、管理相冊、生成圖片、擴展圖片等。