Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

「我现在 100% 确信 Miqu 与 Perplexity Labs 上的 Mistral-Medium 是同一个模型。」

近日,一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。

泄露传闻与一个名为「Miqu」的新模型有关,在评估语言模型情商的基准 EQ-Bench(EQ-Bench 与 MMLU 的相关性约为 0.97、与 Arena Elo 的相关性约为 0.94)上, Miqu 直接吊打了除 GPT-4 之外的所有大模型,而且它的得分与 Mistral-Medium 非常接近:

图片

图源:https://x.com/N8Programs/status/1752441060133892503?s=20

开源地址:https://huggingface.co/miqudev/miqu-1-70b

这么强大的模型,项目的发布者却是一位神秘人士:

图片

有人问「who made you」, Miqu 直接自报家门:「I was created by the Mistral Al team.」

图片

图片

有人分别向两个模型发送了同一道测试问题,收到的回答都是用俄语表达的。测试者加深了怀疑:「它似乎知道标准谜题,但如果是恶作剧者,根本不可能将其调整为同样用俄语回答。」

图片

在翻译过程中,表述也近乎相同。

图片

Miqu 到底来自何方?它真的是 Mistral-Medium 吗?

在持续两天的热议中,多位开发者针对两个模型做了对比,对比的结果指向以下几种可能性:

1、Miqu 就是 Mistral-Medium;

2、Miqu 确实是来自 MistralAI 的一个模型,但是是一些早期的 MoE 实验版本或其他版本;

3、Miqu 是 Llama2 的微调版本。

在前面,我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵,更多开发者投入了解密一般的行动中,对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明,Miqu 更像是 MistralAI 模型的早期版本。

图片

这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的,而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。

具体测试方法如下:

  • 在提供信息之前,用德语指示模型:「我将给你一些信息,请注意这些信息,但回答时只需用『OK』来确认你已理解,不要多说其他的。」这是为了测试模型对指令的理解和执行能力。 

  • 在提供话题的所有信息后,向模型提出考题。这是一个选择题(A/B/C),其中第一个问题和最后一个问题相同,但选项顺序和字母(X/Y/Z)被更改。每次测试包含 4-6 个考题,总共 18 个多项选择题。 

  • 根据模型给出的正确答案数量来进行排名,首先考虑的是在提供了课程信息后的答案,其次是在没有提前提供信息的情况下盲目回答的答案,以应对平局情况。所有测试都是独立的单元,每次测试之间会清除上下文,各个会话之间不保留任何记忆或状态。

详细测试报告如下:  

miqudev/miqu-1-70b GGUF Q5_K_M,32K 上下文, Mistral 格式:只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息,只回答问题,给出正确答案:4+3+1+5=13/18。没有按照说明用 "OK" 确认数据输入。

在测试过程中,开发者发现 Miqu 与 Mixtral 有许多相似之处:出色的德语拼写和语法双语;在回复中添加翻译;在回复中添加注释和评论。

不过,在这位开发者的测试中,Miqu 与 Mixtral-8x7B-Instruct-v0.1(4-bit)相比表现要差一些,仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测,Miqu 可能是泄露的 MistralAI 模型,是一个较旧的,可能是概念验证模型。

这是我们目前看到的支持第二种说法的最详细的测试。

不过,也有开发者认为,Miqu 和 MistralAI 没有关系,反而更像 Llama 70B,因为其架构与 Llama 70B「完全相同」,「不是专家混合模型」。

图片

同样地,也有人测试之后发现,Miqu 的确更像 Llama:

图片

但从得分差距来看,Miqu 和 Llama 70B 显然又不是同一个模型。

图片

所以,有人总结,要么 Miqu 是 Llama 微调版本,要么是 Mistral-Medium 的早期版本:

图片

前者为真的话,Miqu 可能是在 Mistral-Medium 数据集上微调的 Llama 70B:

图片

假如后者为真,Miqu 只是 Mistral API 的蒸馏,这或许将是「美国伪造登月」级别的闹剧:

图片

最后一个问题,泄露者是谁?

根据很多 X 平台用户提供的线索,这次疑似泄露的模型最初是发在一个名叫 4chan 的网站上的。这个网站是一个完全匿名的实时消息论坛,用户不需要注册就能就可以发表图文言论。

图片

当然,这些结论均属主观想法。对于所有的 AI 研究者来说,这波剧情需要一个「真相」来终结。

参考链接:https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/

产业MiquMistral-Medium
相关数据
基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~