逐项对比
什么时候选模型网关
以下情况通常用模型网关就够了:- 应用主要用于生成或分析内容。
- 外部事实已经由应用提供。
- 团队已有独立的工具和数据集成。
- 工作流不需要跨工具的可复用 Skills。
什么时候选更完整的能力层
以下情况适合使用更完整的能力层:- agent 必须先获取实时信息才能作答。
- 否则就需要分别接入多个数据提供商。
- 多个 agent 客户端需要共享同一套任务指令。
- agent 需要以机器可读的方式发现可用能力。
- 工作流可能包含受控写入或计费的运行时采购。
两者并不互斥
模型网关本身就是能力层中的一项能力。应用可以先从模型推理起步,等到真实工作流有需要时,再加入 API 或 Skills。 这种增量方式可以避免不必要的编排:- 用模型完成推理或生成。
- 需要实时外部数据时,加入直接 API。
- 把重复出现的编排打包成 Skill。
- 只有必须产生副作用时,才加入带认证的写操作。
- 只有存在运行时采购需求时,才加入程序化支付控制。
评估问题
在选定架构之前,先问:- 应用需要的是一个模型提供商、多个模型,还是模型加外部数据?
- endpoint 的调用顺序和任务状态应由谁掌控:应用还是可复用的 Skill?
- 其中是否有写操作而非读操作?
- agent 是否需要动态发现能力?
- 适用哪些预算、重试和审计规则?