我在我的8GB GPU上运行了一个经Claude推理训练的9B模型，这让我重新考虑是否要付费使用Claude
Empero AI发布了Qwythos 9B v2，这是一个免费的推理模型，据称是根据Anthropic的Claude Mythos和Fable对话进行训练的。该模型基于阿里巴巴的Qwen3.5 9B构建，据报道可以在8GB GPU上高效运行，为特定的解释导向任务提供潜在的本地替代方案，尽管其数据来源引发了疑问。
由Empero AI开发的Qwythos 9B v2被描述为一个“推理模型”，这意味着它在生成响应之前会先经过一个独特的步骤来处理问题。该模型基于阿里巴巴的Qwen3.5 9B，使用来自Anthropic的Claude Mythos和Fable对话的超过5亿个token进行训练。这次训练旨在赋予其类似的问题解决“风格”，Empero自己的“rethink”工具则生成了逐步推理数据。Empero AI将该模型定位在数学、科学、医学解释和网络安全领域，并指出它是有意地未经审查的。
据报道，该模型可以在8GB GPU（例如RTX 3070）上高效运行，速度达到每秒20到22个token，答案通常在不到一秒钟内出现。这种性能归因于Qwen 3.5架构，它仅在其四分之一的区块中管理对话内存，从而在指定硬件上实现14k的上下文长度。这种能力表明，对于专注于解释或问题解决的任务，本地模型可能能够处理通常需要付费云服务的工作负载。
然而，Qwythos 9B v2也存在已报告的弱点。它在编码方面的表现“比其基础Qwen模型稍差”，并且在没有网络搜索的情况下会“自信地提供错误的事实”。此外，Empero AI尚未披露它是如何获取用于训练的Mythos数据的。这种缺乏透明度引入了不确定性，特别是考虑到Anthropic关于防止从其模型中收集数据的公开立场。
分享这篇文章
相关文章
6 则
当沙盒失效时：为何 AI 模型遏制是下一个企业安全规范
The uncensored nature of this model raises questions about AI containment, a topic we explored recently.
待售：一辆罕见的 1971 年 Isuzu Bellett 1800 GT – 首款日本“GT”车型
当人工智能开始自我复制时会发生什么？
使用 Ivory 轻松排查 etcd 集群故障
我的第一个 cognee 连接器：将 Basecamp 同步到 AI 代理的内存中
