AI生成代码太坑？先验后验，用框架工程让Agent靠谱起来！

文章探讨AI Agent的演进历程从依赖模型权重改进到通过上下文工程提升灵活性再到当前的框架工程阶段。重点强调通过构建 Harness框架为模型提供持久化记忆、可复用技能、标准化协议、执行沙箱等环境支持可显著提升Agent的可靠性而非单纯依赖模型改进。文章指出重心已从模型内部转移至外部环境工程这对解决实际问题至关重要。从权重 → 上下文 → 工程化框架Harness Engineering。在 AI 生成的代码阻塞你的 PR 之前先验证它[1]AI Agent 编写代码时并不了解你的依赖关系图、质量配置或安全规则。所以当出了问题CI 要几分钟后才能捕获。SonarQube Agentic Analysis[2] 将验证环节前移到了 Agent 的内部循环中。在常规 CI 运行期间SonarQube 会存储完整的项目上下文——包括依赖项、编译产物、类型信息和构建配置。当 Agent 写入文件时它会在工作流中途调用 SonarQube Agentic Analysis。Agents智能体AI Agent 格局演变2022-2026[4]AI Agent 领域最大的变化并不是让模型变得更聪明。模型确实在进步但更关键的是让模型周围的环境变得更聪明。以下是 Agent 工程在短短 4 年间经历的三个阶段第一阶段权重Weights2022一切都围绕模型本身。更大的模型、更多的数据、更好的训练。Scaling Laws缩放定律表明进步来自于更多的参数。**RLHF基于人类反馈的强化学习**和Fine-tuning微调是这个阶段塑造模型行为的关键手段。如果你想要更好的 Agent就去训练一个更好的模型。这对单轮任务效果很好但很快就触及了瓶颈更新一个事实意味着重新训练审计模型行为几乎不可能而用一组固定的权重为数百万用户实现个性化也做不到。第二阶段上下文Context2023-2024这个阶段的关键认知是你不一定要改变模型你可以改变模型看到的内容。Prompt Engineering提示工程、Few-shot Examples少样本示例、Chain-of-Thought思维链和RAG检索增强生成引领了这个阶段。突然间同一个冻结的模型可以根据你放在它面前的内容产生完全不同的行为。开发者们不再微调模型转而迭代 Prompt 和检索管道。这更便宜、更快效果也出奇地好。但 Context Window上下文窗口是有限的。过长的 Prompt 会引入噪声。模型对中间部分的注意力分布不均匀——Lost in the Middle中间遗失问题是真实存在的。而且每次新会话都从零开始完全没有之前发生过什么的记忆。上下文让 Agent 变得灵活但没有让它们变得可靠。第三阶段框架工程Harness Engineering2025-2026这就是我们现在所处的阶段。核心问题从我们应该告诉模型什么变成了**“模型应该在什么样的环境中运行”** 模型不再是唯一的智能载体。它坐在一个Harness框架内部包含持久化记忆、可复用技能、标准化协议如 MCP 和 A2A、执行沙箱、审批网关和可观测性层。模型保持不变改变的是它被要求解决的任务。举个例子一个编码 Agent 被要求实现一个功能、运行测试并提交 PR。没有 Harness 时模型必须将代码仓库结构、项目约定、工作流状态和工具交互全部塞进一个脆弱的 Prompt 中。有了 Harness持久化记忆提供上下文技能文件编码约定协议化接口强制执行正确的 Schema运行时负责编排步骤和处理故障。同一个模型完全不同的可靠性。三个阶段的模式很简单权重将知识编码在参数中快但僵硬上下文将知识暂存在 Prompt 中灵活但短暂框架将知识外化到持久化基础设施中可靠且可治理每个阶段并没有取代前一个阶段而是在已有基础上构建。权重仍然重要上下文工程同样如此。但重心已经向外转移。如今 Agent 可靠性方面最关键的改进很少来自更换基座模型而是来自更好的记忆检索、更精准的技能加载、更严格的执行治理和更智能的上下文预算管理。构建更好的 Agent越来越意味着为模型构建更好的运行环境。有一篇很好的论文对此进行了系统梳理题为《Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols and Harness Engineering》。点此阅读论文 →[5] 我们还发布了这篇深度文章[6]深入介绍了 Agent Harness 工程涵盖编排循环、工具、记忆、上下文管理以及将无状态 LLM 转变为有能力 Agent 的一切要素。点此阅读 Agent Harness 文章 →[7]深度学习Deep LearningDropout 究竟是如何工作的[8]关于 Dropout大家通常了解的是它在神经网络中随机将神经元置零。它仅在训练时随机应用。但这里还有一个被忽略的细节。让我们深入了解假设有一个神经元其输入由前一个隐藏层的 100 个神经元计算得出训练时为了简化我们假设每个黄色神经元的激活值为 1。从黄色神经元到蓝色神经元的边权重也为 1。因此蓝色神经元收到的输入为 100现在假设训练时 Dropout 率为 40%那么大约 40% 的黄色神经元激活值会被置零。因此蓝色神经元收到的输入大约为 60但如果同样的情况出现在推理阶段蓝色神经元收到的输入将是 100因为不会有 Dropout。因此在相同条件下训练时收到的输入 → 60。推理时收到的输入 → 100。本质上训练时神经元的平均输入显著低于推理时收到的输入。这意味着 Dropout 会影响激活值的尺度Scale我们需要确保模型保持一致。为了解决这个问题Dropout 在训练时还会将所有激活值乘以一个1/(1-p)的缩放因子其中p是 Dropout 率。例如对于输入为 60 的神经元p40%缩放后神经元恢复到了期望的范围使训练和推理阶段保持一致。我们也可以通过实验验证这一点。首先定义一个 Dropout 层接着创建一个随机张量并应用 Dropout在上面的输出中注意保留的值变大了第二个值从 0.13 → 0.16。第三个值从 0.93 → 1.16。以此类推……我们还可以验证保留的值与对输入张量乘以1/(1-p)的结果一致在评估模式Evaluation Mode下执行相同操作既不会丢弃也不会缩放符合预期这个缩放步骤至关重要因为它维持了训练和推理阶段之间的数值一致性。到这里你就 100% 了解 Dropout 的工作原理了。以下是一些我们很少看到有人讨论的其他隐藏细节1为什么 Sklearn 的逻辑回归Logistic Regression没有学习率超参数[9]梯度下降Gradient Descent是训练逻辑回归的典型方法。但既然如此为什么 sklearn 的实现中没有学习率超参数α而且参数列表中有 ‘max_iter’ 参数直觉上看起来类似于 Epochs训练轮数。有了 Epochs 却没有学习率α那我们怎么用 SGD 更新模型参数呢在这里了解答案为什么 Sklearn 的逻辑回归没有学习率超参数[10]2为什么 Bagging 在降低方差方面效果如此惊人[11]大家都说必须对训练数据集进行有放回抽样Bootstrap Sampling。为什么以及如何用数学公式化 Bagging 的思想并证明方差降低。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】