华为、DeepSeek 被指在 AI 训练中关联韩江盗版书籍
中国人工智能公司华为和 DeepSeek 被指控使用据报包含韩国作家(包括诺贝尔奖得主韩江)盗版书籍的数据集来训练其 AI 模型。这些关联是通过分析公司技术报告和独立研究结果而浮现的。
据报,华为的 Pangu Sigma AI 模型使用了“The Pile”这个大型数据集,其中包含“Books3”这个盗版电子书集合。对 GitHub 上“Books3”的分析显示,它包含至少 10 位韩国作家的 19 本书的英文译本,例如韩江的《The Vegetarian》。虽然这建立了从未经授权内容到华为使用的数据集的报告途径,但该公司的技术报告并未说明其模型是否训练了所有这些特定小说。
DeepSeek 的 DeepSeek-VL 模型据报从“Anna's Archive”获取了 86 万本英文电子书和 18 万本中文电子书,该网站以提供盗版书籍而闻名。“Anna's Archive”列出了著名韩国作家的作品。DeepSeek 表示,它选择了用于训练的材料,而不是下载所有可用的书籍,因此其训练数据中是否直接包含韩国作品仍未确认。
然而,来自哥伦比亚大学和卡内基梅隆大学等机构的研究人员提出了关于 DeepSeek 的间接证据。他们于 9 月更新的论文指出,DeepSeek 3.1 在经过微调后,重现了与韩江《The Vegetarian》相符的 19 个词序列。尽管这些发现尚未经过同行评审,但研究人员将此结果解释为 AI 模型已预训练该小说的间接证据,说明了模型输出如何暗示数据集内容。
分享这篇文章
相关文章
6 则
Axios:Anthropic 的 AI 模型访问美国选民数据
We reported on Anthropic's AI model accessing US voter data, another instance of AI training data controversy.

DualEntry基准测试发现:开源AI模型在会计工作上正追赶闭源模型
The debate over open-source versus closed AI models often includes discussions around training data ethics.

出售:罕见 1971 年 Isuzu Bellett 1800 GT – 首款日本“GT”

当人工智能开始自我复制时会发生什么?

使用 Ivory 轻松排查 etcd 集群故障

