小黑豆
小黑豆

暂无菜单项

首页/文章/热点资讯/
打开 MD 链接

一地排队、另一地 GPU 空闲:AWS 复盘 SageMaker 推理服务的调度难题

发布于 14小时前
1
轮播

11 月 19 日,AWS 发布 SageMaker 推理年度回顾第二篇,梳理模型上线以后会遇到的容量、路由和更新问题。文中汇总了 13 项进展,覆盖一段时间内陆续推出的功能。其中有一项很能说明推理服务与单机跑模型的区别:一个区域的用户可能正在排队,同时另一个区域还有已经付费却没用上的 GPU。

平均利用率正常,用户为什么还要等

设想一个在线客服服务,上午的请求大多很短,下午却有一批用户同时提交长文档。即便两小时的平均请求数量接近,每个任务占住设备的时间也可能差很多。如果只盯着全天平均利用率,就很难发现忙时究竟是哪个队列在积压。用户感知最明显的往往是提交问题以后等了多久才看到第一个字。

AWS 在回顾中把 HyperPod Inference Gateway、多区域路由和受管 NVIDIA Dynamo 放在了服务运行的语境下。路由的工作是帮请求找到合适的计算位置。在企业可以使用多个区域的场景里,空闲容量就有了接收其他地区任务的机会。但跨区要付出传输时间,还要符合数据驻留要求。设计规则时,应该先确定哪些请求可以离开原区域,再计算转移是否划算。

小模型和大模型面临两种容量问题

小模型可能用不满整块 GPU。如果不同服务各占一块卡,看起来设备都已分配出去,实际仍有可利用空间。AWS 在文章中把 GPU 分区列为一种选择。评估共享效果,可以选几组真实流量比例,让长、短请求同时运行,然后对比各自最慢的那批请求表现。总吞吐提高的同时,一个延迟敏感的服务也可能更容易错过响应目标。

大模型则可能连单台实例都放不下。此时影响等待时间的因素又多了一层:不同计算阶段之间怎样传递数据,能不能让已有设备同时保持忙碌。因此,针对小模型有效的紧凑部署经验,不能直接套用到所有模型。团队应先找出最昂贵的等待发生在哪个环节,再判断调整资源布局还是调整路由。

一份能看出问题的运行记录

给同一批请求留下到达、开始处理、输出第一个结果和结束四个时间点,还原排队、启动及生成分别花了多长时间。把输入长度、输出长度与处理位置放在同一行,通常比只保留总耗时更容易定位问题。对比调整前后,还要使用相近的任务组合,并记录失败和重试产生的成本。AWS 这篇回顾最适合已经有线上流量的团队阅读:拿自己最常出现的一种等待去找对应章节,比逐项开启新功能更容易验证投入是否值得。

来源:AWS 技术博客

支持作者
如果这篇内容对你有帮助,可以请作者喝杯咖啡
0 点赞
0 收藏
分享
0 讨论
反馈
0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结
嗨,下午好!
所有的成功,都源自一个勇敢的开始
创作
社区
购物
会员
近期热门

暂无数据

小黑豆
小黑豆
首页
产品中心优惠
扩展中心
模板中心
小店
AI导航
社区演示
文档中心
构建器夯
追踪 AI 新动态,找到顺手的工具。
从硬件调优到开源实战,跟着教程动手试。
关于帮助文档FAQ协议
小黑豆 © 2026蒙ICP备14001754号-10