🇰🇷韩国·AI 新闻·2026年11月18日·来源: 서울경제

    韩国人工智能公司精简模型,善用闲置 GPU

    据报道,随着生成式人工智能发展为自主代理和物理人工智能,推理成本不断上升,韩国人工智能公司正将重心从原始模型智能转向经济效益。他们正采用“轻量化”技术,如剪枝、量化和图优化,以减少内存和计算量,同时亦寻求提高 GPU 利用率,目前利用率徘徊在 30% 左右。

    据报道,韩国人工智能公司正将人工智能市场的竞争基础从模型有多智能转变为其经济效益有多高。这一转变是由于生成式人工智能(曾专注于文本和问题)扩展到自主执行任务的人工智能代理和在现实世界中运作的物理人工智能,导致推理成本不断上升。成本效益技术正成为企业盈利能力的关键因素。

    提高人工智能模型效率的一个主要方法是“轻量化”,它减少了模型占用的内存和所需的计算量,使其能够在更少的计算资源上运行。SqueezeBits 的首席执行官 Kim Hyung-jun 解释说,每次用户访问服务时都会发生推理,导致计算资源和成本随着用户数量增加。对于模型庞大或计算量大的服务,例如图像和视频生成,高效的模型操作直接影响服务成本和速度。

    这种对轻量化的关注也反映了人工智能计算领域不断变化的格局。根据全球会计和咨询公司 Deloitte 的数据,三年前推理占所有人工智能计算的三分之一,但预计今年将达到三分之二,超越训练。这表明对在实际工作中应用人工智能的需求不断增加,而不是主要用于开发。

    广泛使用的轻量化技术包括剪枝(剪除模型神经网络中较不重要的连接)和量化(将数据从 32 位压缩到 8 位或 4 位单元)。另一种技术是图优化,它减少了计算过程中数据移动到高带宽内存的频率,并重新安排操作以加快处理速度。首尔大学教授 Yoo Seung-joo 指出,图优化不会降低计算质量,而量化和剪枝在一定程度上会影响质量。他强调了保持在合理范围内的重要性,以使任何差异都不明显。

    缩小模型并不会自动使其更快或更便宜;运行模型的硬件,例如图形处理器(GPU),必须有效地处理改变后的计算。Kim Hyung-jun 表示,即使使用相同的 GPU,当产品或世代改变时,最佳设置也可能不同,因为硬件处理不同的操作和数据格式的方式独特。GPU 效率被认为对于降低人工智能推理成本很重要,特别是考虑到目前利用率据报停滞在 30% 左右。

    Nvidia 的工作负载分割工具 Multi-Instance GPU (MIG) 和 Multi-Process Service (MPS) 因其优化硬件性能的潜力而受到关注。然而,报告也指出,对于核心任务,当应用这些效率技术时,必须验证准确性。

    分享这篇文章

    原文报道: 서울경제我们不转载全文, 阅读原文 →

    相关文章

    6 则