模型会挂,然后呢?
定义
多模型降级链用于保证生图服务在个别模型超时、限流或出错时仍能出图。系统按预设优先级自动切换备选模型,对用户隐藏失败过程,并在全部模型不可用时给出友好提示。
说明
降级链需要预先排定模型优先级,并在不同场景使用不同模型组合,例如角色出镜优先效果最好的模型,纯背景则可用更便宜快速的模型。某个模型失败后,系统会按顺序调用下一个。
为减少无效等待,系统可以通过探活机制定时检查每个模型的健康状态,已确认不可用的模型直接跳过,恢复后再自动进入候选列表。如果备选模型不支持垫图,可退化为纯文生图,牺牲部分能力但保住出图结果。
用户看到的状态主要包括等待提示、模型返回错误时提示正在切换备选,以及全部失败时的友好说明。全部模型都失败时,最好告知服务繁忙并说明后续处理方式,而不是暴露具体模型错误。
边界与误区
降级链和重试有什么区别: 重试通常是在同一个模型或服务上再次尝试,而降级链会在当前模型失败后切换到另一个备选模型。两者可以配合使用,但降级链解决的是单点不可用问题。
为什么需要对用户隐藏模型切换过程: 用户关心的是结果而非底层实现。暴露模型名称和失败信息会增加认知负担,也可能让用户怀疑产品不稳定。隐藏切换过程可以让体验更连贯。
全部模型都失败时应该怎么处理: 应提供友好、明确的失败说明,避免展示技术错误。可以告知服务暂时繁忙,或说明已经记录请求并会在稍后处理,以降低用户流失。