我在我的8GB GPU上運行了一個經Claude推理訓練的9B模型，這讓我重新考慮是否要付費使用Claude

由Empero AI開發的Qwythos 9B v2被描述為一個「推理模型」，這意味著它在生成回應之前會先經過一個獨特的步驟來處理問題。該模型基於阿里巴巴的Qwen3.5 9B，使用來自Anthropic的Claude Mythos和Fable對話的超過5億個token進行訓練。這次訓練旨在賦予其類似的問題解決「風格」，Empero自己的「rethink」工具則生成了逐步推理數據。Empero AI將該模型定位於數學、科學、醫學解釋和網絡安全領域，並指出它是有意地未經審查的。

據報導，該模型可以在8GB GPU（例如RTX 3070）上高效運行，速度達到每秒20到22個token，答案通常在不到一秒鐘內出現。這種性能歸因於Qwen 3.5架構，它僅在其四分之一的區塊中管理對話記憶體，從而在指定硬件上實現14k的上下文長度。這種能力表明，對於專注於解釋或問題解決的任務，本地模型可能能夠處理通常需要付費雲端服務的工作負載。

然而，Qwythos 9B v2也存在已報告的弱點。它在編碼方面的表現「比其基礎Qwen模型稍差」，並且在沒有網絡搜索的情況下會「自信地提供錯誤的事實」。此外，Empero AI尚未披露它是如何獲取用於訓練的Mythos數據的。這種缺乏透明度引入了不確定性，特別是考慮到Anthropic關於防止從其模型中收集數據的公開立場。