本文基于真实工程实践，结合 Harness Engineering 领域的学术论文，分享 AI 辅助编程的架构思考、工程落地与 Token 成本优化。
本文将拆解大模型中几个核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与 Infra 优化逻辑。看完你会发现，Infra 优化，本质上就是在用数学上的等价变换，或者对精度的适度妥协，去换取更高的硬件利用率和极致的推理速度。PS: 当然最核心的操作肯定是矩阵乘法，这个放到下一篇吧 《AI Infra入门：从矩阵乘法到FlashAttentionV4》～其他的还有RoPE和残差连接没有提及～
当 AI Agent 从"Demo 可用"走向"生产可靠"，测评就是那道必须跨过的门槛。本文介绍了 TEG云架构平台部 网关测试团队 在 AI Agent 测评领域的体系化实践，面对 Agent 非确定性、黑盒化、错误级联放大三大难题，建立了一套"确定性评分器 + Rubric 评分器 + 人工评分器"三类组合的完整测评框架，覆盖功能正确性、过程质量、效率成本、鲁棒性安全、体验对齐五大维度，并已在 TPerf 性能平台智能分析 Agent 项目中落地验证。无论你是刚开始构建 Agent 测评体系，还是已有初步实践希望系统化升级，都可以从中找到可直接复用的方法论、评分模板与工程实现方案。
适用：CodeBuddy、Cursor、Codex、Gemini CLI 等这类 AI Coding Agent。读完你会得到三样东西：一个正确的心智模型、一份今天就能做的行动清单、几套继续往下压成本的工程方法。
HPC-Ops 是腾讯混元 AI Infra 团队开源并长期维护的一套工业级、高性能的大模型推理底层算子库。在首轮开源中，HPC-Ops 提供了 Attention、GroupGEMM 等在内多个高性能算子，原生支持 BF16 与多种 FP8 量化方案，针对常见的主流推理硬件进行了深度优化。近日，为了进一步满足推理系统对动态业务负载的适应性、核心模块对复杂精度和高性能融合算子的需求，HPC-Ops 推出全新更新升级，包含五大关键算子。本次升级在主流推理平台上，有效缓解了Attention长尾延迟、显存搬运开销、跨卡通信等实际工程瓶颈，多项性能指标显著优于现有的开源基线。
软件开发进入 AI 时代以后，自动生成、自动补全、自动重构成了一种新潮。年轻程序员们开始学习如何拆分任务，审查 AI 输出，管理上下文，多 Agent 并行；面试也从古法编程的刷题，变成了“如何让 AI 稳定生成可维护代码？” 于是有老师傅哀叹，设计模式已死。可新人们却无动于衷，因为他们现在关心的是 Harness。可真当你去深入研究多 Agent 系统时，你会发现，AI 自发地演化出了一套类似设计模式的结构，就连 Harness 本身也跟设计模式有莫大的关联性。 当AI系统拥有足够复杂的任务和自治能力时，它最终会收敛到与人类工程设计相同的底层抽象，某些组织方式，会不可避免地再次出现。这或许对当下的 AI FOMO 焦虑有一种神奇的治愈作用，不管编程范式如何变化，经典始终是经典。 所以，咱们今天试着沉下心来，抛开 AI 的浮躁，重新去回顾一下，设计模式的经典吧！
