本文由 AI 自动摘录整理，原始链接：Kimi新架构让马斯克叹服！17岁高中生作者一战成名
推荐指数：8/10（推荐读原文）
背景
月之暗面（Kimi）团队提出了一种新的 Transformer 架构改进方案——Attention Residuals（注意力残差）。核心思路是：把注意力机制"旋转90度"，用 attention 替代传统的残差连接。这篇论文让马斯克、Karpathy 等人为之一震，更令人惊讶的是，共同一作之一是一名年仅17岁的高中生。
核心观点
残差连接的本质问题：传统 Transformer 的残差连接是固定模式（加法），而 attention 是动态的信息聚合。团队提出：既然时间维度上 attention 替代了 RNN 的固定递归，那深度维度上是否也该用 attention 替代固定的残差连接？
时间-深度对偶性：深度神经网络的"层"和循环神经网络的"时间步"本质上都是对信息的迭代处理。Transformer 在时间维度上用 attention 替代了 RNN，现在在深度维度上也该如此。
即插即用：Attention Residuals 不需要修改网络其他部分，可以直接替换残差连接，兼容现有架构。
补充要点
17岁高中生陈广宇（Nathan）：一年前还不知道 Transformer 是什么，通过黑客松结识了奇绩创坛创始成员董科含，后者成为他的创业导师。在 DeepSeek 研究员指导下，利用 Gemini 作为辅助工具研读经典论文、追踪 GitHub 开源项目逐步建立认知。
从兴趣到能力：他在推特上分享对一篇博客的反思后获得作者回复，引起硅谷 AI 初创公司 CEO 关注，通过通宵实验测试后获得实习机会。在硅谷七周实习期间负责涉及 144 张 H100 显卡的项目，参与招聘系统搭建、技术内容输出及融资策略讨论。
加入 Kimi 的契机：正是 GitHub 上的 Flash Linear Attention（FLA）项目吸引了他对机器学习的兴趣。实习结束后回国，于去年 11 月加入月之暗面，做的正是最底层、最核心的 attention 工作。
成长路径启示：相比"少年天才一路开挂"的故事，陈广宇的经历更像另一种路径——先被时代最前沿的技术击中，再一步步把兴趣磨成能力，把能力带到真正的大模型研发现场。
我们能学到什么
1. 快速入门新领域的方法论
陈广宇用一年时间从零到共同一作顶会论文，他的方法值得借鉴：
- 用 AI 辅助学习 AI：用 Gemini 帮助研读经典论文、理解概念
- 追踪开源项目：从 GitHub 的 FLA 项目入手，看实现、读代码
- 社交学习：在推特分享思考，获得大牛反馈
- 实战验证：通过黑客松、限时实验测试证明自己
2. 底层技术才是护城河
陈广宇没有停留在应用层，而是"一路往更底层钻"——研究 Triton kernel、理解 attention 为什么能被这样重写和加速。这提醒我们：表层技术迭代快，底层原理相对稳定。
3. 连接比天赋更重要
他不是闭门造车，而是：
- 参加黑客松结识导师
- 在社交媒体主动输出
- 通过实习进入核心圈子
主动连接能让你进入正反馈循环。
如何快速入门新领域
结合陈广宇的经历，总结一套可复制的方法：
- 找到入口：一个让你"被击中"的开源项目或论文
- AI 辅助深读：用 AI 帮你啃懂经典论文，不懂就问
- 动手实践：跑代码、改参数、看效果
- 公开输出：在社交媒体分享学习笔记和思考
- 寻找社区：参加黑客松、加入开源项目、找导师
- 向下扎根：不要停留在 API 调用层，往底层原理钻
论文地址：Attention-Residuals