HyperAccel 将在 SC26 展示基于 LPU 的 AI 推理系统,重点介绍功耗和成本效益
韩国无晶圆厂 AI 半导体公司 HyperAccel 计划在 SC26 展示其 LPU(LLM 处理单元)技术,包括一个八 LPU 服务器系统,并进行大型语言模型 (LLM) 推理的实时远程演示。该公司表示,其内部基准测试显示,对于特定的 LLM 工作负载,其每瓦和每美元的 token 吞吐量比 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 高出 3.5 倍以上。
HyperAccel 的 LPU 架构专为 LLM 推理而设计,旨在解决大规模运行大型模型时的能源效率和经济挑战。该公司将其声称的效率提升归因于节能的 LPDDR5X 内存和专有的 Streamlined Dataflow 架构。HyperAccel 报告称,该架构实现了约 90% 的内存带宽利用率,与其声称的 GPU 典型 50% 至 60% 利用率形成对比。
该公司的内部基准测试表明,HyperAccel LPU 卡(每张额定功率为 250W)在运行 Qwen3-32B 和 Llama3-70B 等特定 LLM 时,每瓦和每美元的 token 吞吐量可比 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU(每张卡 600W)高出 3.5 倍以上。这些数字适用于运行 Qwen3-32B 和 Llama3-70B 等特定 LLM。HyperAccel 还指出支持 Kimi 和 GLM 等更大的模型。
对于部署 LLM 的组织而言,此类报告的效率提升可以降低 AI 基础设施的功耗和运营成本。HyperAccel 正在寻求与服务器制造商、云服务提供商和 AI 基础设施解决方案提供商建立合作伙伴关系,以扩大其基于 LPU 的推理系统在数据中心市场的采用。
分享这篇文章
相关文章
6 则
Nvidia 亚洲合作伙伴与供应商为黄仁勋离职后作准备
Nvidia's Asian partners are also navigating the evolving landscape of AI hardware and competition.

越南旅客现可扫描NETS二维码在新加坡付款

微信支付海外电子钱包交易量增长84%

BPC 将 SmartVista 与华为结合,推动支付现代化

