人工智能( AI )技術發展白熱化,單是 LLM 大型語言模型已滿街都是,論技術當然有優劣之分, Forrester 對全球頂級的 LLM 做了審查、評分及排名,早前發布了《 The Forrester Wave™: AI Foundation Models For Language, Q2 2024 》報告,按排位有點出乎意料之外,香港人熟識又是帶起 AI 熱潮的 OpenAI ChatGPT-4 只能拿下第四位,榜首由 Google Gemini 取得。十大排名中有知名度不高的 Cohere Command 及 Databricks DBRX ,報告亦未有將中國開發的 LLM 納入評核範圍。
Forrester 評選全球最重要的十大 LLM ,以模型產品、 AI 發展策略及整體市場表現作比較及評分。模型產品根據核心功能、代碼生成、治理和安全、模型管理、彈性和可擴展性、上下文限制( Context Window )和總體範圍比分。公司的 AI 發展策略涉及願景、合作夥伴生態系統和定價等。至於市場表現就以收入和客戶數量計算分數。
Google Gemini 在三個項目中均表現突出,列入領導者( Leaders )之巔。 Forrester 的評價是 Google 擁有引領 AI 市場的一切條件——龐大的 AI 基礎設施、強勁的 AI 研究隊伍,以及愈來愈多 Google Cloud 企業客戶。
同樣打入領導者位置的還有 Databricks DBRX 和 Nvidia Nemotron ,按位置及分數計算,前者略高一籌。 Databricks DBRX 取得高分數要歸功於該平台提供預先訓練及可調節的模型,又允許企業使用自己數據訓練模型。 Forrester 對 Databricks 有高度評價,指其產品是企業客戶的理想選擇。 Nvidia Nemotron 讓企業開箱即用的特點成功令自己進佔三甲位置。
至於最先帶起 AI 及 LLM 熱潮的 OpenAI,在模型產品的分數其實不及 IBM Granite ,幸好有高知名度在市場表現一項中拿下最高的 5 分,總成績保住梗頸四之位。未知這名次會否令該公司及一眾支持者失望。報告認為,企業若想利用模型本身的原始能力建立更複雜的應用架構,並建立多模式生成式 AI 應用,OpenAI 會是一個不錯的選擇。
跟 OpenAI、IBM Granite 一樣列入強勁表現者( Strong performers )區間的 LLM ,還有第六位的 AWS Amazon Titan ,以總分 7.2 險勝 7.16 分排位第七位的 Microsoft Phi 。雖然 Forrester 將 AWS Amazon Titan 排在強勁表現者之內,報告卻提到,如果 AWS 希望其模型繼續成為該領域的重要參與者,需要專注改善 Titan 系列模型。報告同時透露,AWS 其實拒絕參與是次評估流程。至於 Microsoft Phi 就以小規模和嚴格管理的訓練數據集成功突圍。
整理 Forrester 的報告後,全球十大 LLM 排名如下:
- Google Gemini
- Databricks DBRX
- Nvidia Nemotron
- OpenAI GPT-4
- IBM Granite
- AWS Amazon Titan
- Microsoft Phi
- Anthropic Claude
- Cohere Command
- Mistral AI