本地模型、API 还是 Agent：部署 AI 工作流前的六个判断

先从任务开始

“部署一个 AI”并不是明确目标。先把任务写成输入、输出和判断标准：是总结文档、编写代码、检索本地资料，还是要读取文件、调用接口并执行命令？

只生成内容时，模型调用通常已经足够；需要观察环境、选择工具并持续执行时，才进入 Agent 范围。Agent 增加的不只是能力，也包括权限、状态、日志与失败恢复。

一：数据能否离开本地

先给输入数据分类：公开、内部、敏感或受监管。API 方案需要明确数据会发送到哪里、保留多久、由谁管理密钥；本地模型减少外发，但主机日志、缓存、向量库和备份仍可能保存内容。

“本地”不是自动安全。运行账户、目录权限、远程访问和模型下载来源同样需要管理。

二：真实任务需要什么能力

不要只比较参数规模。准备一小组真实输入，评估：

• 指令遵循与输出格式；
• 中英文与专业词汇表现；
• 上下文长度是否够用；
• 工具调用是否稳定；
• 错误时能否被检测，而不是自信地继续。

同一个模型在聊天演示中表现良好，不代表它适合结构化输出或自动执行。

三：硬件、延迟与并发

本地模型需要同时考虑显存或统一内存、量化方式、上下文占用、首字延迟和并发。不要先下载最大的模型；先用一个能运行的候选完成最小实验，再判断瓶颈是模型能力还是硬件。

API 省去本地推理维护，但要接受网络依赖、配额、费用与供应方变化。混合架构可以让普通任务走本地，把需要更强能力的任务交给 API。

四：Agent 能获得哪些权限

权限必须比“能做什么”更早设计。建议默认：

• 读取和写入使用不同工具；
• 文件访问限制在明确目录；
• 命令使用允许列表或隔离环境；
• 删除、发布、付款和外发信息需要人工确认；
• 密钥由运行环境注入，不写进提示词或日志；
• 每个工具调用记录参数、结果与操作者。

把 Agent 直接放进拥有完整 SSH 与文件权限的生产服务器，会把一次错误判断放大成系统风险。

五：失败时怎么办

为每一步定义超时、重试上限、幂等性和回退方式。模型不可用时，是切换备用模型、退回人工流程，还是停止任务？工具执行一半时，能否判断已经发生了什么？

可恢复的工作流需要持久化明确状态，而不是只保存一段聊天记录。

六：谁来维护

记录模型与量化版本、系统提示、工具协议、依赖和测试样例。升级任何一层前，先重跑同一组真实任务。模型变得更新，并不保证现有流程变得更稳定。

三种起点

本地优先：适合数据不能外发、任务稳定、硬件可控的环境；需要承担模型与驱动维护。

API 优先：适合快速验证、能力要求较高或负载不稳定的任务；重点管理密钥、费用、限流与降级。

混合 Agent：适合需要连接多个工具的流程；应从只读、低风险、人工确认的最小权限版本开始。

最终选择不应来自流行名称，而应来自一个可测量的小实验：在真实数据、真实硬件和真实权限边界里完成一次任务，再决定下一步扩展。