Replit 站在 AI 创新的前沿，其平台让超过 3000 万开发者更轻松地编写、运行和协作代码。他们最近发布了 Replit Agent，由于人们可以用它轻松创建令人惊叹的应用，该工具迅速走红。在幕后，Replit Agent 拥有一个复杂的工作流，能够以高度可控和并行执行的方式实现高度自定义的智能体工作流。通过使用 LangSmith，Replit 获得了对智能体交互的深入可见性，从而调试棘手问题。Replit Agent 所需的复杂程度也把 LangSmith 推向了边界。LangChain 和 Replit 团队紧密合作，为 LangSmith 增加功能，以满足其对 LLM 可观测性的需求。具体来说，我们在三个主要领域进行了创新：大型 trace 的性能和规模提升；trace 内搜索和筛选；支持 human-in-the-loop 工作流的线程视图。
大型 trace 的性能和规模提升
大多数其他 LLMOps 解决方案只监控对 LLM 提供商的单个 API 请求，只提供单个 LLM 调用的有限视图。相比之下，LangSmith 从第一天起就专注于追踪 LLM 应用的完整执行流程，以提供更全面的上下文。由于智能体的复杂性，追踪对智能体尤为重要。它捕获多个 LLM 调用以及其他步骤（检索、运行代码等）。这让你能细粒度地看到正在发生的事情，包括每一步的输入和输出，从而理解智能体的决策过程。
Replit Agent 是高级追踪需求的典型例子。他们的智能体工具不仅限于审查和编写代码，还执行更广泛的功能——包括规划、创建开发环境、安装依赖项以及为用户部署应用。因此，Replit 的 trace 非常大，涉及数百个步骤。这给数据摄取和以可视化方式展示数据带来了巨大挑战。为了解决这个问题，LangChain 团队改进了摄取能力，以高效处理并存储大量 trace 数据。他们还改进了 LangSmith 的前端渲染，以无缝显示长时间运行的智能体 trace。
在 trace 内搜索和筛选以定位问题
LangSmith 一直支持在 trace 之间进行搜索，允许用户根据事件或全文搜索在数十万个 trace 中找到单个 trace。但随着 Replit Agent 的 trace 越来越长，Replit 团队需要在一个 trace 内部搜索特定事件（通常是 alpha 测试者报告的问题）。这要求增强现有搜索能力。为此，LangSmith 新增了一种搜索模式——在 trace 内搜索。用户不再需要在一个大型 trace 中逐个调用地翻找和滚动，而是可以直接根据自己关心的条件进行筛选（例如，某次运行的输入或输出中的关键词）。这大大缩短了 Replit 调试 trace 内智能体步骤所需的时间。
线程视图，支持 human-in-the-loop 工作流
Replit Agent 的一个关键差异点在于它对 human-in-the-loop 工作流的重视。Replit Agent 的目标是成为一个让 AI 智能体与人类开发者有效协作的工具，人类开发者可以在需要时介入并编辑、纠正智能体的运行轨迹。Replit 的智能体通过独立的智能体分别执行管理、编辑和验证生成代码等角色，与用户持续交互——通常会进行多轮对话，持续很长时间。然而，监控这些对话流往往很困难，因为每个用户会话都会生成不连续的 trace。为了解决这个问题，LangSmith 的线程视图将来自多个线程的相关 trace（例如来自同一对话）汇总在一起。这为多轮对话中的所有智能体-用户交互提供了一个逻辑视图，帮助 Replit 更好地：1) 发现用户卡住时的瓶颈；2) 定位人工介入可能有益的环节。
结论
Replit 正在利用 LangSmith 强大的可观测性功能，推动 AI 智能体监控的前沿。通过减少加载长而重的 trace 的工作量，Replit 团队大大加快了构建和扩展复杂智能体的过程。借助更快的调试、更好的 trace 可见性以及更强的并行任务处理能力，Replit 正在为 AI 驱动的开发树立标准。