Writing & notes

Technical research notes and engineering experiments

All collections

30 connected reading paths. Start with any collection, then follow it in order.

机器学习基础系列

45 articles
Start here 学习资源
View all articles
  1. 学习资源
  2. 核心概念
  3. 线性代数基础
  4. 概率统计基础
  5. 微积分基础
  6. 损失函数与优化
  7. 线性回归
  8. 多项式回归与正则化
  9. 逻辑回归
  10. 决策树
  11. 随机森林
  12. 支持向量机
  13. K近邻算法
  14. 朴素贝叶斯
  15. 聚类算法
  16. 降维技术
  17. 模型评估指标
  18. 交叉验证
  19. 过拟合与欠拟合
  20. 超参数调优
  21. 神经网络基础
  22. 前馈神经网络
  23. 激活函数
  24. 反向传播
  25. 优化算法详解
  26. 批归一化
  27. Dropout详解
  28. 卷积神经网络
  29. 循环神经网络
  30. 注意力机制
  31. Transformer
  32. 迁移学习
  33. 实战项目
  34. 集成学习
  35. XGBoost与LightGBM
  36. 自编码器
  37. 生成对抗网络
  38. 图神经网络
  39. 混合专家模型
  40. 强化学习基础
  41. 自监督学习
  42. 知识蒸馏
  43. LoRA与参数高效微调
  44. 模型量化与剪枝
  45. 机器学习基础系列——梯度提升

LLM 应用开发系列

39 articles
Start here Embedding 嵌入向量
View all articles
  1. Embedding 嵌入向量
  2. 向量数据库
  3. RAG 检索增强生成
  4. Prompt Engineering
  5. LangChain 框架
  6. Agent 智能体
  7. Function Calling
  8. 部署与优化
  9. 安全防护
  10. 对话记忆管理
  11. Streaming 流式输出
  12. LlamaIndex 框架
  13. 结构化输出
  14. 多模态 LLM 应用
  15. LLM 评估与测试
  16. 多模型路由
  17. 缓存策略
  18. 成本优化
  19. 监控与可观测性
  20. 高级 RAG 技术
  21. GraphRAG 知识图谱
  22. 长上下文处理
  23. LLM 微调实战
  24. 本地模型部署
  25. MCP 协议开发
  26. AI 搜索引擎
  27. 代码生成与执行
  28. 文档智能处理
  29. 语音交互系统
  30. 多租户架构
  31. Prompt 版本管理
  32. 混合检索策略
  33. 对话系统设计
  34. 内容审核与过滤
  35. 个性化推荐
  36. 知识库构建
  37. AI 写作助手
  38. 实时协作
  39. 边缘部署

前端开发者的 AI 进阶之路

15 articles
Start here 01. AI 入门：前端开发者的第一课
View all articles
  1. 01. AI 入门：前端开发者的第一课
  2. 02. 调用大模型 API：从 fetch 到流式响应
  3. 03. Prompt 工程：让 AI 听懂你的话
  4. 04. Embedding 与向量：把文字变成数字
  5. 05. RAG：让 AI 回答你的专属数据
  6. 06. Function Calling：让 AI 调用你的 API
  7. 07. Agent 入门：从对话到自主行动
  8. 08. MCP 协议：Agent 的通用接口
  9. 09. 构建你的第一个 AI 聊天应用
  10. 10. 进阶方向：多模态、本地部署与成本优化
  11. 番外 1. LLM 简史：从 Transformer 到今天
  12. 番外 2. API 参数全解：temperature 到 logprobs
  13. 番外 3. Token 的秘密：BPE、中文更贵、怎么省
  14. 番外 4. 上下文窗口进化史：KV Cache 与长上下文
  15. 番外 5. 幻觉与开源崛起：LLM 的两个关键议题

Python 新手的 AI 进阶之路

28 articles
Start here 01. AI 入门：Python 新手的第一课
View all articles
  1. 01. AI 入门：Python 新手的第一课
  2. 02. 调用大模型 API：从 requests 到流式响应
  3. 03. Prompt 工程：让模型稳定输出你要的结果
  4. 04. 结构化输出：用 Pydantic 把 LLM 变成稳定的函数
  5. 05. Embedding 与向量：把文字变成数字
  6. 06. RAG 实战：搭建一个能回答你文档的本地知识库
  7. 07. Function Calling：让 LLM 调用你的 Python 函数
  8. 08. Agent 入门：从工具调用到自主循环
  9. 09. MCP 协议：Agent 的通用接口
  10. 10. 本地模型：用 Ollama 跑开源 LLM
  11. 11. 用 Streamlit 构建 AI 聊天应用
  12. 12. 进阶方向：评测、监控、成本与微调
  13. 番外 1. LLM 简史：从 Transformer 到 2026
  14. 番外 2. API 参数全解：temperature 到 logprobs
  15. 番外 3. Token 的秘密：BPE、中文为什么更贵
  16. 番外 4. 上下文窗口进化史与 KV Cache
  17. 番外 5. 幻觉与开源崛起
  18. 番外 6. 异步与并发：批量调用 LLM 的工程模式
  19. 番外 7. 提示词注入与防御
  20. 番外 8. 多模态入门：图像、语音与视频
  21. 番外 9. Embedding 的来龙去脉：从 one-hot 到向量空间
  22. 番外 10. Embedding 演化实战：从 TF-IDF 到 LLM 的 token 表
  23. 番外 11. 从 One-Hot 到 LLM：NLP 三十年的完整演化
  24. 番外 12. Embedding 模型选型实战
  25. 番外 13. 文本切分策略与 chunk_size 选择
  26. 番外 14. 向量数据库 Qdrant、混合检索与 Reranker
  27. 番外 15. RAG 评估方法：把感觉变成数字
  28. 番外 16. uvicorn --reload 与本地大模型的相处难题

Agent 模式手册：从最小循环到生产可用

23 articles
Start here 01. Agent 是什么：从一次性 Function Call 到自主循环
View all articles
  1. 01. Agent 是什么：从一次性 Function Call 到自主循环
  2. 02. ReAct：把 Agent 的思考显式化
  3. 03. 工具设计的艺术：粒度、命名、错误反馈与工具爆炸
  4. 04. Plan-and-Execute：先规划，再执行，失败时重规划
  5. 05. Reflection：让 Agent 自己挑毛病、自己改
  6. 06. Tree of Thoughts：从线性循环到搜索式推理
  7. 07. 记忆系统：短期对话、长期事实、过程记忆
  8. 08. 上下文工程：Agent 最难的不是推理，是喂什么进去
  9. 09. 工具调用协议的分裂：OpenAI、Anthropic、Hermes
  10. 10. Hermes 3 实战：在 Ollama 上跑一个本地工具调用 Agent
  11. 11. 开源 Agent 全家桶：Hermes 3 + 向量库的离线 RAG-Agent
  12. 12. 多 Agent 协作：Orchestrator、Debate、Handoff 与它们的陷阱
  13. 13. Code Execution Agent：让 Agent 真的能写代码、跑代码
  14. 14. Browser & Computer Use：让 Agent 看屏幕、点鼠标
  15. 15. Human-in-the-Loop：什么时候让 Agent 停下来问人
  16. 16. 可观测性与评测：Agent 的 trace、replay 与回归测试
  17. 17. 生产化：上下文压缩、成本、延迟、失败恢复、安全边界
  18. 18. 框架世界观对比：Claude Agent SDK、LangGraph、CrewAI、Pydantic AI
  19. 19. LangGraph 状态机编排：让 Agent 的流程真正可控
  20. 20. LlamaIndex 数据侧深度：索引、检索、合成的分工
  21. 21. Benchmark 全景：SWE-bench、AgentBench、τ-bench 怎么读
  22. 22. Agent 安全边界：Prompt Injection、权限最小化、沙箱逃逸
  23. 23. Agent 失败模式分类学：为什么它总在你不期待的地方崩

Code as Agent Harness：代码是 Agent 的脊梁

20 articles
Start here 01. 代码是推理的外包地：Program of Thoughts 与 Chain of Code
View all articles
  1. 01. 代码是推理的外包地：Program of Thoughts 与 Chain of Code
  2. 02. 代码还是文字？CodeSteer 与推理模式的动态选择
  3. 03. 从执行反馈中学习：CodeRL 与迭代自修正
  4. 04. Voyager：用代码探索开放世界的终身学习 Agent
  5. 05. CodeAct：把代码执行变成通用 Agent 的动作空间
  6. 06. Self-Debugging：让模型自己读报错、自己改代码
  7. 07. SWE-agent：把真实 GitHub Issue 变成 Agent 的考场
  8. 08. Reflexion：用语言反思替代梯度更新
  9. 09. LATS：把树搜索和语言反思结合起来
  10. 10. AlphaCodium：用测试驱动的迭代流程生成代码
  11. 11. AgentCoder：拆分角色，让代码生成和测试设计分开
  12. 12. MapCoder：用类比和检索辅助代码生成
  13. 13. InterCode：把交互式编程环境变成强化学习的训练场
  14. 14. 代码 Agent 的设计模式：前 13 篇的横向梳理
  15. 15. 代码 Agent 的安全边界：沙箱、权限与提示注入
  16. 16. 大代码库的上下文管理：Agent 如何在百万行代码里找路
  17. 17. 代码 Agent 评测方法的设计反思
  18. 18. 多模态代码 Agent：视觉输入加入代码生成的工作流
  19. 19. Agent 框架横向对比：LangGraph、AutoGen、CrewAI、OpenHands
  20. 20. 模型自身能力对 Agent 表现的影响

Claude Code 实战手册（从 WSL 到进阶）

10 articles
Start here 01. 从 Copilot 到 Claude Code：为什么值得换
View all articles
  1. 01. 从 Copilot 到 Claude Code：为什么值得换
  2. 02. 安装 WSL2：Windows 下的 Linux 开发环境
  3. 03. WSL 开发环境搭建：Node、Git、zsh、VS Code
  4. 04. 安装 Claude Code 并完成首次登录
  5. 05. 初次见面：项目初始化与 CLAUDE.md
  6. 06. 核心心智模型：上下文、权限与计划模式
  7. 07. 高效沟通：跳出 Copilot 式补全思维
  8. 08. 日常工作流：Bug 修复、新功能、重构、测试
  9. 09. 进阶武器：Slash Commands、Hooks、Subagents、MCP
  10. 10. 避坑与省钱：上下文管理与常见问题

AI 寓言集：用故事讲透五个核心概念

20 articles
Start here 01. 图书馆里的低语（Self-Attention）
View all articles
  1. 01. 图书馆里的低语（Self-Attention）
  2. 02. 雪夜下山的瞎子（Gradient Descent）
  3. 03. 完美的临摹学徒（Overfitting 与正则化）
  4. 04. 把世界搬上书架的图书管理员（Embedding）
  5. 05. 学了三年突然顿悟的少年（Grokking 与涌现）
  6. 06. 在雾中看潮水的渔夫（Bayes 推断）
  7. 07. 十口井的旅人（Multi-armed Bandit）
  8. 08. 同一双眼睛走遍全村（Convolution / CNN）
  9. 09. 学新手艺就忘旧的画师（Catastrophic Forgetting）
  10. 10. 画赝品的人和他的宿敌（GAN）
  11. 11. 一张照片骗过所有人的眼睛（Adversarial Examples）
  12. 12. 翻山送信的邮差（Residual Connection）
  13. 13. 把老匠人装进一个孩子的梦里（知识蒸馏）
  14. 14. 山神的三个承诺（Reward Hacking / Goodhart）
  15. 15. 守门人和十个专家（Mixture of Experts）
  16. 16. 天生注定的那张彩票（Lottery Ticket Hypothesis）
  17. 17. 能把尘土还原成瓷瓶的人（Diffusion）
  18. 18. 够大的雨终会灌满湖（Scaling Laws / Emergence）
  19. 19. 会大声自言自语的棋手（Chain of Thought）
  20. 20. 一支笔里藏着五种颜色（Superposition / 机械可解释性）

LLM 工程路线图

41 articles
Start here LLM 工程路线图：从概念理解到可运行系统
View all articles
  1. LLM 工程路线图：从概念理解到可运行系统
  2. 项目 1-2：Tokenizer、词表与 Embedding
  3. 项目 3-8：位置、注意力与 Transformer Block
  4. 项目 9-16：Decoding、KV Cache、长上下文与推理系统
  5. 项目 17-33：MoE、数据、后训练、评测、RAG、Agent 与安全
  6. 项目 34：十二周执行计划与 Capstone
  7. 34 个 LLM 工程项目验收清单
  8. 从零实现 tokenizer
  9. embedding 与语义几何
  10. 位置编码（learned / sinusoidal / RoPE / ALiBi）
  11. 手写 scaled dot-product attention
  12. 扩展到多头注意力机制（Multi-Head Attention）
  13. 构建完整的 Transformer Decoder Block
  14. Mini-former 训练实战：从随机扰动到文本预测
  15. 训练目标对比：Causal、Masked 与 Prefix LM
  16. 概率的剪裁：解码策略与采样 Dashboard
  17. 打破串行咒语：投机解码（Speculative Decoding）
  18. 显存的吞噬者：KV Cache 机制与显存预算
  19. 架构的进化：MQA、GQA 与 MLA 深度解析
  20. 跨越万词鸿沟：长上下文（Long Context）的系统性挑战与解法
  21. 频率的炼金术：RoPE Scaling 与长度外推（Extrapolation）
  22. IO 感知的艺术：FlashAttention 的硬件级优化
  23. 硬件精算：显存带宽、算力与硬件预算（Hardware Budget）
  24. 稀疏性的调度艺术：实现双专家 MoE 路由（MoE Router）
  25. 计算的权衡：稠密（Dense）与稀疏（MoE）模型的全方位对比
  26. 线性序列的回归：状态空间模型（SSM）与线性注意力
  27. 文本的扩散：扩散语言模型（Diffusion LM）初探
  28. 文明的数字工业化：构建大规模预训练数据管线
  29. 自我进化的循环：合成数据（Synthetic Data）的生成、过滤与证明
  30. 预测未来的算力账本：缩放法则（Scaling Laws）与曲线拟合
  31. 灵魂的对齐：SFT、指令微调与偏好优化（DPO）
  32. 理性的驯化：从 RLHF、PPO 到 GRPO 的进化史
  33. 数字的炼金术：模型量化（Quantization）深度解密
  34. 吞吐量之王：Serving Stack 与推理引擎横评
  35. 拒绝虚假繁荣：构建严谨的模型评测（Evaluation Harness）
  36. 检索增强生成的艺术：工业级 RAG 架构拆解
  37. 构建 Tool Use 与 Agent Loop
  38. 多模态视觉语言桥接器（Vision-Language Adapter）
  39. 打开黑盒：机械可解释性（Mechanistic Interpretability）
  40. 防线与红队：构建 LLM 安全评估体系
  41. 终极试炼：构建你的私有化大模型系统（Capstone Project）

Agent 运行时实验室：从抓包到可重放系统

18 articles
Start here 00. 导读：从一次抓包进入 Agent 运行时
View all articles
  1. 00. 导读：从一次抓包进入 Agent 运行时
  2. 01. 系统提示词是怎样被组装出来的
  3. 02. Prompt 长度、上下文增长与缓存成本
  4. 03. Prompt 注入发生在哪一层
  5. 04. 工具 Schema 怎样改变 Agent 的行为
  6. 05. 模型调用工具之后，运行时发生了什么
  7. 06. 工具结果应该怎样回填给模型
  8. 07. 并行工具调用真的更快吗
  9. 08. Agent 为什么需要状态机
  10. 09. Agent 权限不是 allow 和 deny 两个值
  11. 10. 如何防止有副作用的操作重复执行
  12. 11. Agent 的错误应该在哪一层处理
  13. 12. 上下文、摘要和长期记忆不是一回事
  14. 13. 多 Agent 的价值不是同时运行多个模型
  15. 14. 怎样记录一条可以重放的 Agent 轨迹
  16. 15. 怎样评测一个 Agent，而不是评价最终回答
  17. 16. Agent 上线前怎样设计回归测试集
  18. 17. 怎样给 Agent 做一次故障演练

Agent Runtime Lab: From Packet Capture to Replay

18 articles
Start here 00. Reading the Agent Runtime from Its Traces
View all articles
  1. 00. Reading the Agent Runtime from Its Traces
  2. 01. How System Prompts Are Assembled
  3. 02. Prompt Length, Context Growth, and Cache Cost
  4. 03. Where Prompt Injection Enters an Agent
  5. 04. How Tool Schemas Change Agent Behavior
  6. 05. What Happens After the Model Calls a Tool
  7. 06. How Tool Results Should Return to the Model
  8. 07. Are Parallel Tool Calls Actually Faster?
  9. 08. Why an Agent Needs a State Machine
  10. 09. Agent Permission Is More Than Allow or Deny
  11. 10. Preventing Duplicate Side Effects
  12. 11. Which Layer Should Handle an Agent Error?
  13. 12. Context, Summaries, and Long-Term Memory Are Different
  14. 13. Multi-Agent Value Is Not Multiple Models Running
  15. 14. Recording a Replayable Agent Trace
  16. 15. Evaluating an Agent Beyond Its Final Answer
  17. 16. Building an Agent Regression Suite Before Release
  18. 17. Running a Fault-Injection Exercise for an Agent

Recent writing

Back to collections ↑
系列 Agent Runtime Lab: From Packet Capture to Replay

17. Running a Fault-Injection Exercise for an Agent

A successful happy path proves that the system can run. A controlled failure shows whether it knows where to stop and how to recover.

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

16. Building an Agent Regression Suite Before Release

A regression suite is not a rerun of a few demos. It is an executable record of failures the system must not repeat.

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

09. Agent Permission Is More Than Allow or Deny

Authorization decides whether one principal may perform one action on one resource under specific conditions

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

07. Are Parallel Tool Calls Actually Faster?

Concurrency shortens only independent waiting time and adds result joining, cancellation, and resource pressure

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

12. Context, Summaries, and Long-Term Memory Are Different

Longer retention does not create stronger knowledge; unverified memory carries old errors into new tasks

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

15. Evaluating an Agent Beyond Its Final Answer

A plausible answer does not prove that evidence is real, execution was authorized, or interruption recovery is correct

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

01. How System Prompts Are Assembled

The model does not receive one prompt. It receives context blocks assembled from different sources for different purposes.

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

06. How Tool Results Should Return to the Model

The model does not observe local execution; the runtime must carry evidence into the next turn

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

04. How Tool Schemas Change Agent Behavior

The model does not operate the system directly; it selects from the actions exposed by the runtime

ai
系列 Agent Runtime Lab: From Packet Capture to Replay

10. Preventing Duplicate Side Effects

Retrying a model call spends computation; retrying a send, payment, or create operation can change the external world twice

ai
为了提升本站的使用体验和必要功能的正常使用，本站会使用本地 Cookie。详细请查看« 本站使用条款 »了解更多。