从总体拥有成本危机到成本与性能优化:AI效率鸿沟

本报告基于IDC对1317位全球AI决策者调研,揭示生成式AI正在重塑基础设施逻辑,传统以资源供给为核心的云模式,正转向以系统效率为核心的新范式。

AI工作负载结构发生显著变化,其中推理占比高达47%,训练为28%,模型优化16%,创新实验仅9%;推理成为主导,意味着算力需求从“集中爆发”转向“持续高频”,对实时性与成本控制提出更高要求。

云成为AI部署主流,在内容生成场景中云部署占比67.1%,聊天机器人64.3%,销售预测59.4%;但在自动驾驶等低延迟场景,本地部署仍占33.4%,显示混合架构成为必然趋势。

AI投资已带来明确收益,28.9%的企业实现员工生产率提升,平均增幅14.4%;31.8%的企业运营效率提升10.1%;同时28.3%的企业客户体验提升14.1%,表明AI已从技术试验转向业务价值兑现阶段。

但成本压力迅速显现,61%的企业认为算力资源是TCO最大来源,60%指向数据存储与管理,其次为软件许可38%与数据管道35%;成本结构显示,AI支出已从硬件扩展至全栈复杂系统。

效率问题成为核心矛盾,54.3%的企业采用多框架或多硬件架构,其中92%认为对效率产生负面影响;具体表现为41.6%成本上升,40.4%复杂度增加,40.0%延迟上升,显示碎片化架构正在侵蚀ROI。

资源浪费进一步加剧成本失控,43%的预算浪费发生在训练阶段,推理与优化分别为29%和28%;GPU利用率低成为关键问题,25.7%的企业在训练中遭遇闲置算力,意味着大量资本沉淀未产生价值。

数据层瓶颈同样突出,47.7%的企业面临数据质量与治理问题,45.6%受制于存储成本,44.1%困于数据清洗复杂度;数据基础设施已成为影响AI效率的关键约束变量。

值得关注的是,企业难以衡量AI价值,53.9%无法评估“单位智能成本”,50.8%无法测算ROI,36.1%无法获取GPU利用率;指标体系缺失正在阻碍管理层决策与持续投入。

在应对策略上,30.4%的企业优先部署云优化工具,28.9%推进模型优化,26.3%选择引入外部服务商;优化路径正从单点技术升级转向系统性治理。

未来两年,企业面临三大挑战,32.6%关注成本控制,31.5%受制于人才短缺,29.8%难以证明ROI;这表明AI竞争已从技术能力转向综合运营能力。

整体来看,AI产业正从“算力竞赛”进入“效率竞争”阶段,单纯扩展硬件已难以支撑商业可持续性;未来赢家将是能够通过一体化架构、数据基础设施升级与精细化运营,实现单位算力产出最大化的企业,AI效率将成为下一轮产业分化的核心变量。

​文档链接将分享到199IT知识星球,扫描下面二维码即可查阅!

感谢支持199IT
我们致力为中国互联网研究和咨询及IT行业数据专业人员和决策者提供一个数据共享平台。

要继续访问我们的网站,只需关闭您的广告拦截器并刷新页面。
滚动到顶部