商汤新模型12项评测成绩超GPT-4

2023-08-30 16:30:42
野马商业实验室
关注
2023-08-30

8月28日,商汤科技公布截至2023年6月30日止六个月中期业绩。

8月28日,商汤科技公布截至2023年6月30日止六个月中期业绩。财报显示,公司营业收入14.3亿元(人民币),同比增幅1.3%,整体收入表现稳健。据财报显示,大语言模型InternLM-123B在12项权威评测中超越GPT-4位列第一,综合性能全面超越GPT-3.5-turbo。

2023年上半年,商汤发布了“日日新”大模型体系,并发布国内第一个综合性能全面超越GPT-3.5-turbo的基模型书生·浦语(InternLM)。InternLM是商汤联合上海AI实验室等多家国内顶尖科研机构发布的预训练大语言模型,共投入上万块GPU在大语言模型的研发上,使其能力实现飞跃式发展。

InternLM-123B表现亮眼 12项权威评测成绩位列第一

2023年8月,新模型InternLM-123B完成训练,参数量提升至1,230亿。新模型的语言、知识、理解、推理和学科五大能力均显著提高,在全球51个知名评测集(包括MMLU, AGIEVAL, ARC, CEval, Race, GSM8K等)共计30万道问题集合上测试成绩整体排名全球第二,超过GPT-3.5-turbo以及Meta新发布的LLaMA2-70B等模型。

InternLM-123在主要评测中12项成绩排名第一。其中,在评测集综合考试中AGIEval分数57.8超越GPT-4位列第一;知识问答CommonSenseQA评测分数88.5排名第一,NaturalQuestions排名第二;InternLM-123B在阅读理解C3、CMRC、RACE (Middle)、RACE (High)、LAMBADA五项评测中成绩全部居榜首;此外,InternLM-123B在推理WinoGrande、StoryCloze、HellaSwag、StrategyQA、SIQA几项评测中成绩排名第一。

商汤大语言模型能力实现飞跃式发展

商汤于2023年4月推出商量 SenseChat1.0,是国内最早推出基于千亿参数大语言模型的聊天机器人产品之一。6月发布的首个综合能力超越GPT-3.5-turbo的基模型InternLM,参数量 1,040亿,使用1.6万亿token的多语言语料训练,支持语言达20多种,并在此基础上于7月初发布了商量SenseChat2.0。

8月,商汤发布的InternLM-123B不仅生成的内容更加准确、可靠,可在复杂场景中进行多步推理和计算,还具备了自主反思及修正错误的能力。InternLM-123B也重点升级了代码解释器及插件调用能力(function calling),可使用python解释器、API调用和搜索三类常用工具来解决复杂任务、灵活搭建AI智能体应用。在此基础上,商量SenseChat将在9月升级到3.0版本。

商汤与多家科研机构合作支持和推进AI开源平台建设,InternLM-7B(70亿参数)的部分训练数据、训练代码及基模型权重已经向学术界及工业界免费开源,并支持免费商用。此外,InternLM-7B在多个模型测试榜单高踞榜首,成为性能最好的轻量级基模型。商汤表示,期待看到AI社区对InternLM的改进和更多AI应用的共建。

事实上,大语言模型的突破带来了新机遇。商汤基于InternLM的轻量级模型,结合自研推理加速算法,与头部手机芯片厂商建立研发合作,成功实现了大语言模型的手机端实时计算能力。商汤表示正在积极与多家手机厂商客户合作,研发大语言模型与手机操作系统结合的新功能。

商汤集团董事会执行主席兼首席执行官徐立博士表示:“在这个半年度,大模型和生成式AI可以说是全球最受瞩目的科技突破。商汤迎来了极其关键的发展时期。我们希望给行业带来更强的大模型能力,助力我们的用户在生成式AI的时代做出颠覆性的产品,来获得成功。”

点赞
收藏
参与评论
全部评论

0条评论

    暂时没有人评论

野马商业实验室
853文章
·
0评论
·
2粉丝
个人主页