Karpathy谈AI未来：大模型将越来越小，教育将越来越重要
OpenAI创始成员Karpathy颠覆AI趋势：大模型将“减负”变小，教育成核心竞争力，看懂AI未来的关键解读。核心内容：1. 大模型现状：99.9%参数存储无用信息，是“暴力拟合”非智能2. 破局方向：蒸馏技术让大模型“瘦身”，聚焦0.01%认知核心3. 未来趋势：教育成核心，AI赋能个性化学习（如Eureka Labs课程）
他是OpenAI创始成员、特斯拉前AI总监，也是斯坦福CS231n创始人
最近，他在播客No Priors中谈了整整16分钟。每一个关注AI未来的人，都值得认真听完这期对话。
原因在于，他表达的观点与当下整个行业的方向截然相反。
大模型99.9%的容量，只是在存储垃圾
关于大模型架构，Karpathy首先抛出了一个重磅观点。
他给出了一组数据：如今的互联网训练数据里，认知相关内容仅占0.01%，其余99.9%都是无用信息。
没有看错，就是0.01%。
换句话说，那些拥有几千亿参数的大模型，其绝大多数参数容量都被用来记忆互联网废话：重复帖子、低质营销文、互相抄袭的洗稿和毫无意义的水贴，全被模型吞了进去。
这称不上智能，只是暴力拟合。
该怎么解决？Karpathy认为，蒸馏技术的实际效果远远超出预期。通过大模型监督小模型，可以提取那0.01%的认知核心，再把它压缩到极小的参数规模。他表示，认知核心甚至能够控制在10亿参数以下。
10亿参数意味着什么？它可以运行在手机和边缘设备上，成本还能降低几个数量级。
他还提出了另一个更有意思的判断：未来并非由单一大模型统治一切，而会出现类似企业的分层架构。
能力极强的云端大模型处于最高层，相当于CEO；大量成本极低的领域专用小模型位于下层，甚至能采用开源模型，扮演各部门执行者。不同领域、具备不同能力的多个模型并行协作，整体更像一个分工专业的生态集群。
并非一个人无所不能，而是一个团队各自履职。
仔细观察当前趋势便会发现，MoE架构、Agent编排框架和垂直领域模型都在沿着这条道路前进。只不过Karpathy比多数人更早看清了终局。
“我不希望未来的人类被自动化推向边缘”
技术话题结束后，主持人直接问道：你为何离开OpenAI，转而投身教育？
Karpathy同样给出了直截了当的回答：
“我始终属于赋能人类的一方。如今多数AI研发都以替代人类为方向，我想研发能够赋能人类的AI，不希望未来的人类被自动化边缘化。”
这并不是一句空泛的理念宣言，他有非常具体的内容作为支撑。
他的核心逻辑在于：假如每个人都能拥有一位定制化的完美导师，接受一对一教学，并适配自身语言、水平和学习风格，那么人类能够达到的成就上限将显著提高。
现有研究已经证明，一对一辅导可以让学生成绩提高一个标准差。
问题在于，过去只有富人承担得起这种一对一的完美导师。硅谷精英家庭每年花几万美元聘请私教，而普通家庭甚至无力支付课外班费用。
借助AI，这件事的成本可以降至接近零。
这正是Eureka Labs准备做的事情。它的第一门课程名为LLM101n，达到本科技术方向水平，服务全球80亿人并支持多语言。课程不是入门科普，而是认真教授如何从零开始训练自己的大模型。
他也坦率承认，当前AI尚不具备独立生成优质课程的能力。因此，他们采取人机分工：人类教师在后台规划课程与教学材料，AI则在前端连接学生，并适配不同的语言和水平。
既不吹牛，也不画饼，只是一步一步推进。
学习这件事的性质将发生变化
这或许是整期播客中最值得深入思考的观点。
在Karpathy看来，学习可以划分为两个时代：
前AGI时代，人们为了实用而学习：认真读书、考入好大学、找到好工作，再实现阶层晋升。学习是一种工具和手段，也是不得不完成的事。
到了后AGI时代，学习将转变为一种娱乐。
“学习如同给大脑健身，虽然需要付出努力，但这个过程本身也有一种独特乐趣。”
今天去健身房，并非为了活命，也不是因为不去就会挨饿，而是享受逐渐变强的过程，学习同样如此。等AI接管多数重复性劳动，人类反而能拿出更多时间与精力，追求纯粹的智识乐趣。
与此同时，现有的“上学-毕业-工作”线性路径也将被打破。随着技术迭代不断加速，人们会更加频繁地重返学习状态，更新个人知识体系。教育不再局限于人生前二十年，而会贯穿一生。
这个判断其实已有迹象。如今有许多30多岁的人主动学习AI、编程和新技能，并不是老板提出了要求，而是他们自己愿意学。学习正由“被迫”转向“主动”。
Karpathy还提出了一个尖锐观点：现行学术传承谱系，本质上属于圈层gatekeeping。导师-学生关系、学术血统和推荐信网络所做的并不是传播知识，而是分配稀缺资源。
他期待AI教育能够拆除这种结构。如果一名非洲学生与一名斯坦福学生可以获得同等质量的教育，学术圈壁垒也就不复存在。
他还说过一句让我思考很久的话：“文化带给人的影响，比知识教育更大。”
他曾就读于多伦多大学，那里的校园文化更倾向稳定就业，学生普遍希望进入大公司工作，很少有人重视创业。这种环境会潜移默化地塑造一个人。斯坦福则截然不同，身边的人都在创业、折腾和试错，自己也会被这种氛围带动。
如果AI教育可以建立一种全新的社群文化，使全球学习者形成追求创新与探索的网络，那么它产生的价值将远远超过课程本身。
所以呢
最后，Karpathy给有孩子的人提出建议：应让孩子优先学习数学、物理与计算机科学。
原因并非这些科目“有用”，而是它们能塑造最好的核心思考能力。应把80%的时间投入需要大量训练的内容，而非记忆型内容。这类思维训练开始得越早越好，等成年后再去塑造，难度会大得多。
这番话出自斯坦福CS231n创始人，分量自然不同。他本人正是沿着这条路走来：在多伦多大学学习计算机与物理，到斯坦福攻读博士并研究神经网络，之后又在特斯拉和OpenAI把技术转化为产品。
当所有人都在比拼模型参数、融资规模和估值时，Karpathy却走上了一条看似最慢、最不性感的道路。但认真听完他的表达后，你会意识到，他可能比多数人看得更加长远。
因为等AI足够强大时，真正稀缺的将不是技术，而是能够驾驭技术的人。
真正最有价值的事情，正是培养这样的人。
—文章精选—
AI自纠错循环：以一个三角色架构，让模型主动发现错误吴恩达打造了一款桌面应用OpenWorker，目标是让AI从「聊天工具」转变为「真正的同事」
Google工程负责人发布长文：AI正夺走程序员培养判断力的机会
北京将Harness Engineering纳入政策：智能体经济迎来制度地基
登录后查看剩余70%内容
