本文由 AI 自动摘录整理，原始链接：GPT之父：只用上世纪数据训AI，它居然也会写Python？！

推荐指数：7/10（推荐读原文）

背景

GPT 系列奠基人 Alec Radford 联合多伦多大学团队，训练了一个 130 亿参数的模型 talkie-1930，只用 1931 年 1 月 1 日之前的英文文本（2600 亿 tokens），包括书籍、报纸、期刊、科学杂志等。来源：量子位（公众号 QbitAI）。

核心观点

• 没见过计算机却会写 Python：模型在 HumanEval 编程测试中，仅靠 prompt 中的示范例子现学现卖，竟然解出了编程题。且模型规模越大，解题能力越强——Scaling Law 在复古模型上同样成立。
• 核心语言能力与现代模型几乎一样：当剔除超出知识范围的题目后，talkie-1930 与同架构现代模型在语言理解和数学计算上表现接近。说明「理解语言」和「算数」能力可能并不依赖现代互联网数据。
• 用礼仪手册做指令微调：团队从 1930 年前的礼仪手册和书信指南中构建训练数据，避免注入现代风格。但 RLHF 训练中，Claude Sonnet 4.6 作为「老师」仍不可避免地让模型沾上了现代的列表体风格。

补充要点

• 惊讶值曲线：模型对 1930 年前事件处变不惊，对 1950-60 年代晶体管、电视普及等事件惊讶值飙升，之后逐渐「佛系」接受
• 知识截止点选择：1930 年是美国版权法中作品进入公有领域的边界
• 差距来源：OCR 转录质量差、语料题材分布不同（老报纸科技含量低、烹饪礼仪含量高）是主因
• Alec Radford 背景：GPT-1/2 一作，GPT-3/4 核心贡献者，CLIP 主导者之一，2024 年底离开 OpenAI 做独立研究
• 未来计划：今年夏天发布 GPT-3 级别复古模型，语料扩展到万亿 tokens 及非英语世界
• 深层问题：LLM 的泛化能力到底能延伸到训练数据之外多远？这是团队想回答的根本问题