KAIST 将 AI 微调时间从 10 小时缩短至 3 小时

微调是使大型语言模型（LLM）适应编码或医学等专业应用程序的关键过程，涉及对相关材料进行额外训练。此过程通常使用图形处理器（GPU）来分割和并行处理训练数据。然而，随机分发数据可能导致效率低下，因为 GPU 可能会重复处理具有相似训练效果的信息，类似于冗余学习。

KAIST 的 CluSTER 技术通过分析每条数据对训练的影响，然后将相似数据分组来解决这个问题。从这些精选组中，数据被选择性地选取并均匀分发到多个 GPU。这确保了每个 GPU 处理多样化但非冗余的训练信息集，从而优化学习过程。参数是 AI 模型在学习时调整的内部值，是其获得知识的关键。

使用具有 70 亿和 130 亿参数的 LLM，并利用编码和医疗数据集进行的实验，证明了显著的效率提升。即使仅使用约 31% 的总数据进行训练，模型性能也大致保持不变。这使得训练时间减少了多达 69.6%，有效地将 10 小时的过程缩短到约 3 小时。Lee Jae-gil 教授强调了在 AI 训练效率中“智能选择”数据的重要性。

KAIST 预计这项技术将帮助公司和研究机构减少与专业 AI 应用程序额外训练相关的时间和 GPU 成本。尽管报告的结果基于特定的模型大小、领域和四个 GPU 环境，但该技术指出了一种更有效利用现有计算资源的方法，而不只是扩展硬件。