Agent 时代的基础设施建设
博客列表 主页

Agent 时代的基础设施建设

引言:新的抽象层

纵观计算机科学的发展史,技术革命的本质往往是抽象层级的不断上升(Ascending Layers of Abstraction)。从汇编到高级语言,从自建机房到云计算的 IaaS/PaaS,每一次飞跃都在将底层的复杂性封装为“基础设施”,从而解放开发者的创造力。

今天,在大语言模型(LLM)的浪潮下,我们正在见证又一次范式转移:从“模型即服务(Model-as-a-Service)”走向“智能体即服务(Agent-as-a-Service)”。 未来的开发者在构建 AI 应用时,或许不再需要手动处理繁琐的 Prompt 工程、向量化文本或死磕上下文截断。因为诸如检索、记忆、甚至基础推理等 Agent 核心能力,正以肉眼可见的速度沉淀为新时代的基础设施。关注业务逻辑本身,将复杂的业务逻辑整理为合适的 Agent Architecture,才是 Agent Dev 的正确打开方式。

为什么 Agent 基础设施化是必然趋势?

目前,开发一个鲁棒的 AI Agent 面临着极高的认知负荷。开发者既要了解业务逻辑,又要了解底层模型的脾气,还要自己搭建各类脚手架,处理提示词工程,上下文管理,外部检索等等。将 Agent 能力基础设施化的必然性体现在:

  • 剥离重复造轮子: 诸如 RAG(检索增强生成)的基础流程已经高度同质化。将其标准化、基建化,能大幅降低应用的开发门槛。
  • 算力与成本的规模效应: 一旦底层组件(如向量检索)标准化,云服务商就可以通过软硬件协同(如专用算力芯片)来极大降低延迟和推理成本。
  • 聚焦于涌现而非组装: 只有当单体智能体的构建成本足够低,开发者才能将精力集中在多智能体(Multi-Agent)协作的复杂业务逻辑设计上。
  • Agent Coding: 目前的 Coding Agent 已经具备了极强的能力,但对于大量重复开发的轮子缺少训练,使用公共基础设施能够为 Claude Code 等代码智能体提供更好的训练基础。

Agent 基础设施的支柱

如果我们将未来的 Agent 开发视作搭乐高,那么以下几个方向无疑是这套系统中最重要的基础模块:

Agent 框架(Framework):搭建应用的基础

在 Agent Coding 的时代,框架的作用已经不止是降低人类的认知负载,构建一个对人和智能体都更友好的 Agent Framework,比构建一个多层高度抽象的框架更重要。由于现有的 Agent 基础设施本身没有形成确定模式,一个具备高度可扩展性的 Agent 框架是比一个 All-in-one 的框架更重要的,一篇单独的 blog 将会用于讨论我心中的 Agent Framework。

检索(Search / Retrieval):AI 的感知与外部知识库

未来的检索基建不再仅仅是丢一个 Query 给向量数据库然后返回 Top-K 那么简单。它将演变为一种混合检索(Hybrid Search)乃至主动检索的基建。它需要自动处理多模态数据,动态决定何时搜索互联网,何时查询本地图数据库(GraphDB),并将海量噪声转化为结构化的上下文信息。检索就是记忆,它讨论的是记忆的暴露。

记忆(Memory):从无状态到持久化的状态机

LLM 本质上是无状态的函数。记忆基础设施的核心任务,是提供低延迟、高召回的短期/长期状态管理。它不仅需要记录发生了什么(对话历史),更需要具备自我反思(Reflection)能力,通过不断总结和压缩,形成对用户的画像和对任务的经验沉淀。

推理与规划(Reasoning & Planning):AI 的大脑与路由引擎

作为基础设施的推理模块,将屏蔽底层不同大模型的差异。路由技术和底层推理框架的协同发展可能就是这个问题的全部。

其他:没有真理的时代

Agent 是一个全新的体系,除了认知神经科学以外,之前没有任何学科在讨论这个问题,它缺乏绝对真理。因此这个系列将会包含任何我觉得可能有用的内容,可以是一些扩展库的介绍,一些 API 服务,只要我认为它们有成为新时代 Agent 基础设施的可能性。

后面我们介绍的很多框架和 Package 的功能高度重叠。有人从数据库切入做 Agent,有人从工作流切入,有人从多模型编排切入。由于行业标准(Protocol)尚未确立,我们在后续探讨时,不仅会关注它们能做什么,更会剖析它们底层的架构哲学,帮助大家在面对业务时做出最合适的选型。

漏洞抽象与结语

当然,作为一名严谨的科研工作者,我们必须直面这种基础设施化思路的致命缺陷。

将 Agent 基础设施化,存在着经典的漏洞抽象(Leaky Abstractions)风险。传统的基础设施(如数据库、网络协议)是确定性的(Deterministic),输入 A 必然得到 B。然而,基于大模型的检索和推理基建本质上是概率性的(Probabilistic)

当底层的检索发生“幻觉”,或者推理引擎出现逻辑短路时,上层的业务开发者如果将这些基建视作“黑盒”,将面临灾难性的 Debug(调试)困境。如何在高度封装的基础设施中保留足够的可观测性(Observability)和干预接口,将是 Agent 时代软件工程学需要解决的终极难题。

Agent 基础设施的演进,正在重塑软件工程的边界。这是一个变革的时代,是最好且最坏的时代。