新浪科技讯 5月18日下午消息，在北京智源研究院（智源研究院）大模型评测发布会上，智源评测体系发布并公布了140余个国内外开/闭源语言及多模态大模型能力评测结果。评测结果显示，在中文语境下，国内头部语言模型的综合表现已接近国际一流水平，但存在能力发展不均衡情况；在多模态理解图文问答任务上，开闭源模型平分秋色，国产模型表现突出；在中文语境下的文生图能力上，国产多模态模型与国际一流水平差距较小。
据评测结果，在中文语境下，字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二，国产大模型更懂中国用户。在语言模型客观评测中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。
多模态理解模型客观评测结果显示，图文问答方面，阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4，LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。
在海淀区教委支持下，智源研究院联合与海淀区教师进修学校对齐学生测验方式，考察大模型与人类学生的学科水平差异。评测发现，模型在综合学科能力上与海淀学生平均水平仍有差距，普遍存在文强理弱的情况，并且对图表的理解能力不足，大模型未来有很大的提升空间。
据介绍，2023年6月，智源研究院与多个高校团队共建FlagEval大模型评测平台上线，迄今为止已完成1000多次覆盖全球多个开源大模型的评测和报告发布。本次评测使用了20余个数据集、超8万道考题，包括与合作单位共建和智源自建的多个评测数据集。（文猛）
新浪科技訊 5月18日下午消息，在北京智源研究院（智源研究院）大模型評測發佈會上，智源評測體系發佈並公佈了140餘個國內外開/閉源語言及多模態大模型能力評測結果。評測結果顯示，在中文語境下，國內頭部語言模型的綜合表現已接近國際一流水平，但存在能力發展不均衡情況；在多模態理解圖文問答任務上，開閉源模型平分秋色，國產模型表現突出；在中文語境下的文生圖能力上，國產多模態模型與國際一流水平差距較小。
據評測結果，在中文語境下，字節跳動豆包Skylark2、OpenAI GPT-4位居第一、第二，國產大模型更懂中國用戶。在語言模型客觀評測中，OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智譜華章GLM-4和月之暗面Kimi均進入語言模型主客觀評測前五。
多模態理解模型客觀評測結果顯示，圖文問答方面，阿里巴巴通義Qwen-vl-max與上海人工智能實驗室InternVL-Chat-V1.5先後領先於OpenAI GPT-4，LLaVA-Next-Yi-34B和上海人工智能實驗室Intern-XComposer2-VL-7B緊隨其後。
在海淀區教委支持下，智源研究院聯合與海淀區教師進修學校對齊學生測驗方式，考察大模型與人類學生的學科水平差異。評測發現，模型在綜合學科能力上與海淀學生平均水平仍有差距，普遍存在文強理弱的情況，並且對圖表的理解能力不足，大模型未來有很大的提升空間。
據介紹，2023年6月，智源研究院與多個高校團隊共建FlagEval大模型評測平台上線，迄今爲止已完成1000多次覆蓋全球多個開源大模型的評測和報告發布。本次評測使用了20餘個數據集、超8萬道考題，包括與合作單位共建和智源自建的多個評測數據集。（文猛）
