顶想云AI周报20240524——大模型评测专题

 近期国内大模型降价潮后，如何更加理性的选择大模型成了企业和应用开发者普遍关注的问题，本期周报我们整理了一期关于大模型评测的主题，希望对大家有所参考，<strong>针对不同需求场景来选择对应能力较强的模型</strong>。如果你不想看太多，建议直接收藏：[https://www.superclueai.com/](https://www.superclueai.com/) ## 一周热点 ### 中国大模型价格战背后的真相 DeepSeek v2 宣布其价格为 1 元/百万 token 后，随即引来了大模型价格战，智谱、面壁、字节、阿里、百度，以及今天跟进的科大讯飞、腾讯云相继宣布了模型推理价格降低。 模型技术的攀升，才是 API 调用商业模式能继续增长的前提。其实细看今天宣布降价的模型产品也是一样，真正大规模、高性能、支持高并发的模型推理还是要收费，降价幅度是有限的。[查看详情](https://mp.weixin.qq.com/s/HA4RtjXvUhOY-sdHXYvUpg) ### FP研究：大模型一定会降价，但绝对不是今天 不管对于大厂还是模型层创业公司而言，降低 token 成本都是未来大势所趋。便宜的模型价格、繁荣的开发者生态、第一方应用都是这场「百模大战」接下来的竞争关键。降价是大势所趋，未来 token 会便宜到忽略不计，会变成行业的基础设施，可以在这样的前提背景下去解决真实问题、关键问题。[查看详情](https://mp.weixin.qq.com/s/F0_WgWkYm3oWrpgWN2M6GQ) ### 百川智能发布Baichuan 4及首款AI智能助手百小应，模型能力国内第一 5月22日，百川智能发布最新一代基座大模型Baichuan 4，并推出成立之后的首款AI助手“百小应”。作为百川智能发布的最新一代基座大模型，Baichuan 4在国内权威大模型评测机构SuperCLUE的评测中，模型能力国内第一，相较上一代大模型Baichuan 3提升显著。[查看详情](https://mp.weixin.qq.com/s/iOl4T7UhfG6KlZDBTP3Fnw) \| [发布会问答整理](https://mp.weixin.qq.com/s/TK-Gu4yt7GhwCllsEFvdQg) ### 清华大学：superBench大模型综合能力评测报告 截止2024年3月，国家互联网信息办公室公布已经有117家“大模型”成功备案，包括文心一言、通义千问、kimi、智谱清言、云雀（已经改名为豆包）、abab、日日新、星火、盘古以及最新的滴滴出行大模型等。在这场“百模大战”中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题。[查看详情](https://mp.weixin.qq.com/s/gRNPO5FB30f4z-ycOgtmdg) ### 大模型盲测竞技场放榜！国产黑马冲进世界七强，中文并列第一 周二，知名大模型竞技场LMSYS Chatboat Arena盲测评测结果更新，国内大模型独角兽零一万物的千亿参数闭源大模型Yi-Large在最新总榜中排名世界第七，中国大模型中第一，超过Llama-3-70B、Claude 3 Sonnet；其中文分榜更是与GPT-4o并列第一。不过参与评测的国内模型并不多，还有阿里Qwen-Max和智谱GLM4。[查看详情](https://mp.weixin.qq.com/s/oF3yB1ox7jEw7vBvII8t9g) ### SuperCLUE总排行榜 \| 中文通用大模型综合测评榜 在国内模型降价的同时，我们不妨也关注下中文模型的综合评测，有用才是硬道理。SuperCLUE 是专注于中文通用大模型的综合性测评平台，提供了一系列的测试和评估工具，衡量大模型在不同任务和能力上的表现。[查看官网](https://www.superclueai.com/) ### OpenCompass司南 \| 综合测评国内外主流大模型 OpenCompass 是一个专注于大模型能力评测的平台，提供了一个全面的评测体系，包括权威的评测榜单、高质量的评测基准社区和大模型评测全栈工具链。 OpenCompass 榜单综合测评了主流前沿大模型，有国内也有国外，有开源也有闭源，还覆盖了多个细分领域。[评测榜单](https://rank.opencompass.org.cn/home) ### Artificial Analysis \| 一份更完备、更客观的 AI大模型购物指南 不仅基于数据进行了大量分析和可视化，还给出了 质量、价格、性能、速度、上下文窗口等关键指标的详细排名，帮你选择最合适的大模型和API提供商（主要是国外模型）。[查看官网](https://artificialanalysis.ai/) ### 国内外140+大模型、8万+考题测评结果出炉 2024年5月17日，智源研究院举办大模型评测发布会，正式推出科学、权威、公正、开放的智源评测体系，发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。 本次智源评测，分别从<strong>主观</strong>、<strong>客观</strong>两个维度考察了<strong>语言模型</strong>的简单理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观七大能力；针对<strong>多模态模型</strong>则主要评估了多模态理解和生成能力。[查看详情](https://www.jiqizhixin.com/articles/2024-05-18-5) ### 中文大模型基准测评2024年4月报告 SuperCLUE团队发布了《中文大模型基准测评2024年度4月报告》，在AI大模型发展的巨大浪潮中，通过多维度综合性测评，对国内外大模型发展现状进行观察与思考。[查看详情](https://mp.weixin.qq.com/s/M30WsBu5HXsaoYU27dQXXA) \| [报告下载](https://www.cluebenchmarks.com/superclue_2404) ### 智源与HuggingFace联合推出开放中文大语言模型榜单 - 旗鉴榜 近日，智源研究院与 Hugging Face 开发者社区合作，发布 Open Chinese LLM Leaderboard，旨在跟踪、排名和评估开放式中文大语言模型，通过开源社区共建、用户自主贡献的方式，持续推动和完善中文语言大模型的科学、客观排名榜。该评测从2月24日试上线至今，已经完成了78个模型的评测，当前正在评测的有7个，还有20个在队列中。 为了更好的评估中文大语言模型的能力，该Leaderboard 提供了更加完善的基准数据集，覆盖学科教育、专业知识、推理、幻觉和常识。最终得分为每个评估数据集的平均得分。[查看官网](https://huggingface.co/spaces/BAAI/open_cn_llm_leaderboard) ### 微软携生态级 Agent 杀入，并带来了 50+ 项重大更新 微软召开了其年度发布会，Microsoft Build 2024，发布了包括大杀器 Copilot Studio 在内的 50+ 项更新。[查看详情](https://mp.weixin.qq.com/s/UJs0EJHafeBubEHbX5Xtiw) ## 启智动态 ### `ThinkChat`新版上线——更智能更精彩  `ThinkChat2.0`升级版本现已上线，基于官方全新的`ThinkAI`底座重构，可以支持更多模型切换和功能体验，<strong>致力于打造私人定制AI助理 —— 更智能更精彩！</strong> [立刻体验](https://chat.topthink.com/) ## 应用案例  ### 腾讯入场，元器 Agent 平台究竟如何？第一手内测！ 继字节和阿里之后，在 5 月 17 日的“腾讯云生成式AI产业应用峰会”上，基于混元大模型的一站式 AI 智能体创作与分发平台——[腾讯元器](https://yuanqi.tencent.com/)首次亮相。不过鉴于腾讯混元目前的能力，智能体尚在初期阶段，相比扣子并没有特别优势。 元器主要面向的用户是<strong>企业和开发者</strong>，这些创作者可以在腾讯元器上通过提示词直接创建智能体，同时支持使用腾讯官方的插件和知识库；智能体创建完成后，创作者还可以将这些智能体一键分发到 QQ、微信客服、腾讯云等渠道上。[查看详情](https://mp.weixin.qq.com/s/dPTZ-M8Pu8nLpsAyHt6wkQ) ## 学习资源 ### 如何评估大语言模型（LLM）的质量——框架、方法、指标和基准。 LLM评估是指在人工智能系统中评估和改进语言和语言模型的过程。随着大模型的版本升级和应用的持续，对大模型的评估也绝非一次性，而是需要多次迭代的过程。建立一个有效的、可持续的评估过程非常重要。[查看详情](https://mp.weixin.qq.com/s/Bf2amPKyuN8VWCLv3eVaPw) ### 《大模型应用开发 动手做 AI Agent》  由《GPT图解》的作者黄佳老师创作，从0到1手把手教你做AI Agent，[查看详情](https://mp.weixin.qq.com/s/mIcOCHajAutduzqjfAVChw) ### 生成式人工智能 (Generative AI) 常识科普图：GenAI 最经常被讨论的 20 个话题 文章通过图片的方式对GenAI 最经常被讨论的 20 个话题，进行了详细的文字说明，帮助理解其在生态中的作用。[查看原文](https://cartography-of-generative-ai.net/) \| [下载PDF原图](https://cartography-of-generative-ai.net/genai_cartography.pdf) ### AI工具推荐 * [2024 年必备的 5 款 AI 音视频转录工具](https://mp.weixin.qq.com/s/sI1DjidD5PRX5W1cQURz1g) * [2024 年必备的 9 款 AI PPT 生成工具](https://mp.weixin.qq.com/s/2vSvFcz5pwtPimZqv36d-w)