11 月 19 日,AWS 发布 SageMaker 推理年度回顾第二篇,梳理模型上线以后会遇到的容量、路由和更新问题。文中汇总了 13 项进展,覆盖一段时间内陆续推出的功能。其中有一项很能说明推理服务与单机跑模型的区别:一个区域的用户可能正在排队,同时另一个区域还有已经付费却没用上的 GPU。
平均利用率正常,用户为什么还要等
设想一个在线客服服务,上午的请求大多很短,下午却有一批用户同时提交长文档。即便两小时的平均请求数量接近,每个任务占住设备的时间也可能差很多。如果只盯着全天平均利用率,就很难发现忙时究竟是哪个队列在积压。用户感知最明显的往往是提交问题以后等了多久才看到第一个字。
AWS 在回顾中把 HyperPod Inference Gateway、多区域路由和受管 NVIDIA Dynamo 放在了服务运行的语境下。路由的工作是帮请求找到合适的计算位置。在企业可以使用多个区域的场景里,空闲容量就有了接收其他地区任务的机会。但跨区要付出传输时间,还要符合数据驻留要求。设计规则时,应该先确定哪些请求可以离开原区域,再计算转移是否划算。
小模型和大模型面临两种容量问题
小模型可能用不满整块 GPU。如果不同服务各占一块卡,看起来设备都已分配出去,实际仍有可利用空间。AWS 在文章中把 GPU 分区列为一种选择。评估共享效果,可以选几组真实流量比例,让长、短请求同时运行,然后对比各自最慢的那批请求表现。总吞吐提高的同时,一个延迟敏感的服务也可能更容易错过响应目标。
大模型则可能连单台实例都放不下。此时影响等待时间的因素又多了一层:不同计算阶段之间怎样传递数据,能不能让已有设备同时保持忙碌。因此,针对小模型有效的紧凑部署经验,不能直接套用到所有模型。团队应先找出最昂贵的等待发生在哪个环节,再判断调整资源布局还是调整路由。
一份能看出问题的运行记录
给同一批请求留下到达、开始处理、输出第一个结果和结束四个时间点,还原排队、启动及生成分别花了多长时间。把输入长度、输出长度与处理位置放在同一行,通常比只保留总耗时更容易定位问题。对比调整前后,还要使用相近的任务组合,并记录失败和重试产生的成本。AWS 这篇回顾最适合已经有线上流量的团队阅读:拿自己最常出现的一种等待去找对应章节,比逐项开启新功能更容易验证投入是否值得。
来源:AWS 技术博客

