FEATURED ARTICLE
LEWIN乐玩 - MiniMax M3.1 Flash性能突破,背后却隐藏93%幻觉率
在10月19日,国内的AI先锋MiniMax正式推出了其全新一代推理模型M3.1 Flash。根据官方数据,这款产品的速度相比前代提升了近三倍,成本更是降低至仅为之前的三分之一,智能体的表现已达到了行业前沿。然而,第三方评测机构Artificial Analysis(AA)所提供的实测报告却为这一盛况蒙上阴影——高达93%的幻觉率使人开始重新审视这一产品的实际表现。
一、性能与成本的较量
根据AA的智能指数评测,M3.1 Flash获得了令人瞩目的42分,这一成绩较前代M3的29分提升了足足13分。与GLM-5.3 Flash持平,略胜于Gemini 3.8 Flash,但仍距DeepSeek V4.1 Flash-1017的45分有一步之遥。值得注意的是,42分的评分来自于AA官方的最大推理档位,这一分数在不同的推理档位下可能会有1分上下的波动,但总体来看,这一比较结论是可靠的。 LEWIN乐玩
尤其在复杂推理方面,M3.1 Flash的提升尤为显著:在名为“人类最后的考试”的测试中,其得分从39%跃升至48%;而在物理推理基准CritPt测试中,从微不足道的4%飙升至22%。在成本方面,更显精打细算,AA测算显示M3.1 Flash的单任务成本约为0.22美元,低于GLM-5.3 Flash的0.28美元和DeepSeek的0.26美元,甚至远低于Gemini 3.8 Flash的1.24美元。这一成本的降低秘诀在于“少说废话”:实际测评中,M3.1 Flash所输出的约1.89亿token,明显低于GLM的3.24亿和Gemini的3.34亿。
然而,对于降本的说法存在一定的分歧。官方宣称成本下降70%,而AA评测的实际数值为57%,这一差异主要源于双方不同的计算方式。在企业级基准测试Automated-Bench中,M3.1 Flash获得了62.2分,微弱领先于DeepSeek的60.5分,但在编程能力的比拼中仍落于下风:在DeepSWE测试中,DeepSeek以77%的得分遥遥领先MiniMax的73.7%,而在Agents' Last Exam中表现差距则更为明显。从架构上讲,该模型基于总参数量为428B、激活参数量约23B的MoE架构,支持100万token的上下文长度以及图文多模态输入。
二、93%的幻觉现象 LEWIN乐玩
最引人瞩目的当属其在事实问答上的表现。根据AA-Omniscience测试,M3.1 Flash的正确回答率为56%,超越了DeepSeek(43%)和GLM(28%)。然而,其在面对题目时几乎无所不答,这导致了一个令人震惊的事实——在未能答对的问题中,高达93%都是错误答案,使得其综合得分仅为16分。需要强调的是,93%并非整体回答的错误率,而是指未能正确作答的问题所占比例。因此,模型在不知晓答案时,极少选择坦诚承认。
更进一步的对比显示,DeepSeek的幻觉率为67%,表现出更显著的拒绝回答的倾向。在事实检索、合规问答或财务分析等严肃的应用场景中,“敢于说不知道”往往比“冒然给出答案”要来得更为重要。因此,若企业计划将M3.1 Flash引入知识密集型工作流,则必须配置额外的验证机制、检索增强系统(RAG)、输出保护措施或人工复核环节,以确保信息的准确性。
三、成本与开源 LEWIN乐玩
在定价策略方面,M3.1 Flash的API定价同样引人关注。每百万输入token的价格设定为0.15美元,输出为0.60美元,而缓存输入更是低至0.015美元;在国内,这一价格分别转化为1元、4元和0.1元。然而,单从纸面价格来看,实际应用中的成本效益还存疑。有实测指出,由于DeepSeek的缓存命中价格是MiniMax的五分之一,在高缓存负载下,两者的实际支付差价会缩小至21%;而在闲时,DeepSeek的费用则反而便宜40%。
值得注意的是,在正式发布之前,该模型以代号“Space Bunny”在匿名状态下进行了测试,期间累计处理的数据量超过200万亿个token。目前,该模型已开放源代码,据悉在上线后的72小时内处理了超过100万亿token。