高通杀入数据中心AI推理:AI200/AI250机架级加速卡发布,768GB内存+近存计算架构

事件:10月28日,高通技术公司宣布推出面向数据中心的下一代AI推理优化解决方案——基于 Qualcomm AI200 与 AI250 芯片的加速卡及机架系统。高通延续其在NPU领域的技术积累,主打「机架级性能 + 卓越内存容量 + 出色的每美元每瓦特」,为大语言模型(LLM)与多模态模型(LMM)推理提供低总体拥有成本(TCO)的部署路径。其中,AI200 每张加速卡支持 768GB LPDDR 内存,以更高容量与更低成本支撑推理扩展;AI250 则首发基于 近存计算(Near-Memory Computing) 的创新内存架构,实现超过 10 倍的有效内存带宽提升并显著降低功耗,带来能效与性能的跨越式改善。

这不是高通首次试水服务器,但与此前边缘/端侧NPU的定位明显不同:AI200/AI250 直接对标机架级数据中心推理负载,把手机、PC 上成熟的 NPU 与大内存设计思路,平移到云侧推理场景,与 GPU 在「单位Token成本、能效、部署灵活性」上展开差异化竞争。

为什么值得关注:其一,AI推理市场正从「GPU单极」走向「CPU/GPU/NPU/TPU/ASIC多架构并存」,高通以「大内存+近存计算」切入机架级推理,给了云厂商与企业在英伟达之外更具性价比的显性选项,有助于压低推理侧综合成本。其二,近存计算(把算力贴近内存)正是缓解「内存墙/带宽墙」的主流路线之一,与存算一体、HBM、高带宽内存控制器同源同构,标志着架构创新成为 AI 硬件竞争的新主战场。其三,对国内算力建设有参照意义:当推理需求随智能体(Agent)规模化爆发,以「每瓦特每美元」为导向的多元加速架构,比单纯堆砌训练GPU更能决定 AI 应用的落地成本与普及速度。

原创文章,作者:陈默,如若转载,请注明出处:https://www.chenmo.net/262.html

赞 (0)
陈默陈默
上一篇 2小时前
甲骨文将英伟达Vera Rubin扩至数吉瓦级,并首度对外提供谷歌TPU,AI算力供给走向多极
下一篇 1小时前

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注