AT&T 利用模型路由技术将 AI 编程成本降低 56%

AT&T 通过 LiteLLM 实施模型路由技术，将员工的常规查询重定向至成本更低的开源 AI 模型，使 AI 编程成本降低 56%，而性能表现仅下降 2%。这家电信巨头每天通过其内部“Ask AT&T”平台处理约 450 亿个代币，目前开源模型处理的员工 AI 查询约占 40%。AT&T 副总裁 Mark Austin 表示，开源模型正在缩小与专有模型之间的性能差距，能力差距仅为 6—10 个月。这促使公司计划在近期将开源模型的使用率提升至 60%—70%。

AT&T 通过模型路由技术分发 AI 查询

模型路由系统充当 AI 查询的流量分发机制，将简单问题交给轻量且低成本的模型，同时将复杂任务路由至 OpenAI 和 Anthropic 的高级模型。用于处理这些工作负载的开源模型包括英伟达的 Nemotron、Meta 的 Llama 以及 Google 的 Gemma，AT&T 还在积极评估其他替代方案。公司计划在近期将开源模型处理的查询比例从目前的 40% 提高至 60%—70%。

AT&T 通过电信领域定制模型的实验节省 90% 成本

2026 年 2 月至 7 月期间，AT&T 试验了针对电信领域定制的模型。这些模型专为行业特定任务设计，在大规模应用中最多可将推理成本降低 90%。这些电信专用模型专门用于处理 AT&T 员工提出的查询，包括网络故障排查、客户服务脚本和内部文档查询。这些定制模型在通用模型路由之外，构成了进一步的成本优化层。

高盛将 AT&T 的方法视为企业 AI 模板

高盛认为，AT&T 针对具体任务的路由方法可能对大型科技公司有利，并可作为企业部署 AI 时进行成本管理的模板。每天 450 亿个代币这一数字代表 AT&T 约 150,000 名员工范围内的生产级部署，而非小规模试点项目。该实施方案展示了大型企业如何通过战略性模型选择，在保持性能表现的同时大幅降低成本。

常见问题

AT&T 通过模型路由技术实现了多少成本降低？
AT&T 通过 LiteLLM 实施模型路由技术，使 AI 编程成本降低了 56%，而性能表现仅下降 2%。公司每天通过其内部“Ask AT&T”平台处理约 450 亿个代币。

AT&T 使用哪些开源 AI 模型来节省成本？
AT&T 主要使用英伟达的 Nemotron、Meta 的 Llama 和 Google 的 Gemma 作为开源模型。目前，这些模型处理约 40% 的员工 AI 查询，AT&T 计划在近期将开源模型的使用率提升至 60%—70%。

AT&T 通过电信领域定制 AI 模型节省了多少成本？
AT&T 在 2026 年 2 月至 7 月期间对电信领域定制模型进行了实验，在大规模应用中最多节省了 90% 的推理成本。这些模型专为网络故障排查和客户服务脚本等行业特定任务打造。