商湯科技（ SenseTime ）發布新一代大型語言模型 InternLM2 （書生·浦語 2.0），並繼續開源提供免費商用授權。 InternLM2 沿用第一代 InternLM 的設定，在 2.6 萬億 Token 的語料上訓練，包含 7B 及 20B 兩種參數規格及基座、對話等版本，支援 20 萬 tokens 的上下文，能夠一次過接受及處理約 30 萬中文字（約五六百頁的文檔）的內容。
商湯指出， InternLM2 由該公司與上海 AI 實驗室聯合香港中文大學和復旦大學共同研發，提出新一代的數據清洗過濾技術，通過高質的語料及更高的訊息密度建成大模型能力基礎。其中，針對性補充語料重點加強現實世界知識、數理、代碼等能力。目前， InternLM 背後的數據清洗過濾技術已經歷三輪迭代升級。僅使用約 60% 的訓練數據便達到使用第二代數據訓練 1T tokens 的性能表現，模型訓練效率大幅提升。
商湯又指， InternLM2 的各項能力得到全面提升，相比於初代 InternLM，在推理、數學、代碼等方面的能力提升尤為顯著，其中 InternLM2 只用 20B 參數的中等規模，在整體表現上已達到與 ChatGPT 的水平。在 AGIEval 、 BigBench-Hard（BBH）、 GSM8K 、 MATH 等評測上， 表現甚至勝過 ChatGPT 。
InternLM2 在主觀體驗上也有明顯改善，可以為用戶提供優質的對話和交互體驗，準確地理解和遵循用戶意圖，具備較強的共情能力和豐富的結構化創作能力，原因是增強基礎語言能力及提升微調技術。 InternLM2 進行微調的過程使用經過第三代數據清洗過濾技術處理的指令微調語料及採用 Online RLHF 。據指，研究人員在微調 InternLM2 的過程中，對獎勵模型和對話模型進行三輪迭代更新，每一輪更新均針對前一輪模型的表現更新偏好數據與提示詞。在獎勵模型訓練（ RM ）和近端策略優化（ PPO ）階段，均衡採用各類提示詞，大助提高對話的安全性，也提升用戶體驗。
InternLM2 亦精於數學運算，在 100 以內的簡單數學運算上能夠做到接近 100% 的準確率，在 1,000 以內有 80% 左右的運算準確率。於 GSM8K 和 MATH 評測中， InternLM2-20B 的表現超過 ChatGPT （ GPT-3.5 ）。
開源鏈結：
Github：https://github.com/InternLM/InternLM
HuggingFace：https://huggingface.co/internlm
ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory