書生?浦語20B開源AI大模型發(fā)布，消費(fèi)級GPU單卡即可運(yùn)行

，今年 6 月，上海 AI 實驗室發(fā)布了“書生?浦語”大模型，為104B 參數(shù)，后續(xù)又推出了7B 和 13B 規(guī)格模型。

近日，上海 AI 實驗室、商湯科技、香港中文大學(xué)、復(fù)旦大學(xué)宣布推出書生?浦語 20B 版本，這是一款中量級大模型，號稱基于 2.3T Tokens 預(yù)訓(xùn)練語料從頭訓(xùn)練，相較于 InternLM-7B，其理解能力、推理能力、數(shù)學(xué)能力、編程能力等都有顯著提升。

據(jù)介紹，相比于此前國內(nèi)陸續(xù)開源的 7B 和 13B 規(guī)格模型，20B 量級模型具備更強(qiáng)大的綜合能力，復(fù)雜推理和反思能力尤為突出，能為實際應(yīng)用場景提供更有力的性能支持；同時，20B 量級模型可在單卡上進(jìn)行推理，經(jīng)過低比特量化后，可運(yùn)行在單塊消費(fèi)級 GPU 上，因而在實際應(yīng)用中更為便捷。

相比于此前的開源模型，InternLM-20B 擁有幾大亮點，IT之家匯總?cè)缦?

• 以不足 1/3 的參數(shù)量，測評成績達(dá)到了 Llama2-70B 的水平。

• 支持?jǐn)?shù)十類插件，上萬個 API 功能，還具備代碼解釋和反思修正能力。

• 實現(xiàn)了對長文理解、長文生成和超長對話的有效支持，同時支持 16K 語境長度。

• 研究團(tuán)隊進(jìn)行了基于 SFT 和 RLHF 兩階段價值對齊，并通過專家紅隊的對抗訓(xùn)練大幅提高其安全性。

此外，書生?浦語開源工具鏈也已全新升級，形成更完善的體系，包括預(yù)訓(xùn)練框架 InternLM-Train、低成本微調(diào)框架 XTuner、部署推理框架 LMDeploy、評測框架 OpenCompass 以及面向場景應(yīng)用的智能體框架 Lagent。

書生?浦語-20B:

書生?浦語-對話-20B: