流程思维导图
根据比赛概览、数据页和规则、票数最高的 12 个公开 notebook 的代码,以及我们自己对公开 ARC-AGI-2 评估集的检查(均读取于 2026 年 10 月 20 日)为这场比赛定制。它按测试时训练的流程来分,而不是表格数据流程。
- 0110 月 26 日前先报上名
- 1.110 月 26 日 23:59(UTC)前接受规则
- 1.2在同一天前组队或合并队伍
- 1.3每天 1 次提交,最后选 2 个
- 1.4最后提交日 11 月 2 日
- 02从 NVARC 开始
- 2.1fork L4×4 的 notebook,不要 fork T4×2 的
- 2.2挂载 qwen3_4b_grids15_sft139 和 unsloth 工具包
- 2.3断网,12 小时上限
- 2.4commit 运行时看不到隐藏任务
- 03每次只改一处
- 3.1调参前先固定随机种子
- 3.2离线给全部 120 个评估任务打分
- 3.3同样的代码两次运行可能差 5 分
- 3.4把时间花在一个候选都没有的任务上
- 04冲奖路线
- 4.1开源代码和权重
- 4.211 月 2 日后 7 天内交方法说明
- 4.3论文赛道:arcprize.org 写的是 11 月 8 日
- 4.4到论坛确认许可证的具体措辞
关键信息
- 主办方
- ARC Prize Foundation(赞助方),在 Kaggle 上以代码比赛形式举办。这是 ARC Prize 2025 的 2026 年重启版 ↗
- 奖金
- 700,000 美元:275,000 美元的进步奖发给私榜前 8 名(从 75,000 美元到 15,000 美元),275,000 美元发给按六项标准打分的最佳方法说明,另有 150,000 美元的额外奖,只有在某支队伍达到 85% 时才会解锁 ↗
- 截止时间
- 报名和合并队伍截止 2026 年 10 月 26 日;最终提交 2026 年 11 月 2 日,都是 UTC 23:59;2026 年 12 月 4 日公布获奖者 ↗
- 任务
- 240 道隐藏谜题。每个测试输入可以给出 2 次尝试,要求输出网格完全正确(1×1 到 30×30,颜色 0–9)。只有完全一致的网格才算对 ↗
- 算力
- 只能用 Kaggle notebook,CPU 或 GPU 最多运行 12 小时,断网。允许使用公开的外部数据和预训练模型。4×L4 机器(96 GB 显存)消耗 GPU 配额的速度是正常的两倍 ↗
- 队伍和提交
- 每队最多 5 人。每天 1 次提交,最后选 2 个最终提交 ↗
- 开源要求
- 获奖者必须开源代码、模型和权重。Kaggle 规则写的是 CC BY 4.0;arcprize.org 要求使用 CC0 或 MIT-0 这类接近公有领域的许可证 ↗
- 参赛资格
- 需要 Kaggle 账号;年满 18 岁或达到法定成年年龄,以较大者为准;不能居住在受制裁地区 ↗
- 参与情况(2026 年 10 月 20 日)
- 11,413 名报名者 · 3,296 名参与者 · 3,075 支队伍 · 28,342 次提交 ↗
题目拆解
一个会写出 submission.json 的 notebook。测试文件里的每个任务 id 都要有,每个测试输入都要有 attempt_1 和 attempt_2,哪怕其中一个只是 [[0]] 这样的占位。提交后,Kaggle 会把占位的测试文件换成 240 个没见过的任务,重新运行你的 notebook。大多数隐藏任务只有一个测试输入,少数有两个。
10 月 20 日票数最高的 12 个 notebook 都挂载了同一个模型 sorokin/qwen3_4b_grids15_sft139,以及同一个 unsloth 安装工具。这就是 2025 年以私榜 24.03% 夺冠的 NVARC 方案。它在测试时用每道谜题的示例微调一个 LoRA 适配器,用深度优先搜索解码出很多候选答案,再在旋转、翻转和颜色替换下重新打分,选出两个。除了一个 T4 notebook 还挂载了 NVARC 的 2B 版本,只有一个 notebook 加了不同的模型(gpt-oss-120b)。公开 notebook 之间的差别在于加速补丁、随机种子和时间分配,而不是方法。
测试时训练和候选搜索都带随机性。有位作者把一模一样的 NVARC notebook 重跑了五次,公开榜分数分别是 29.7、31.8、26.9、32.2 和 31.4。版本历史也说明了同样的问题:一个 notebook 第 1 版得了 32.22,当前版本只有 16.39。每天只能提交一次,单次运行多出 2 分说明不了任何问题。先固定随机种子,再在 120 个评估任务上离线比较改动。
在 4×L4 机器上,NVARC 的各个 fork 得分 26.94 到 33.89。同一个模型在两块 T4 上只有 10.42 和 19.17,很可能是因为在较慢的显卡上,12 小时内能跑完的谜题更少。如果你负担不起 L4 双倍消耗的 GPU 配额,就按较低的分数区间来预期。
我们从公开的 ARC-AGI-2 仓库统计:评估集 120 个任务、167 个测试输出;训练集 1,000 个任务、1,076 个测试输出。120 个评估任务里有 45 个不止一个测试输入,远多于隐藏集(Kaggle 说隐藏集大多数任务只有一个)。评估集的输出更大:中位数 364 个格子,训练集是 100 个;167 个输出里有 107 个至少有一边长度达到 20。120 个任务中有 81 个(68%)输出和输入大小相同。没有一个测试输出和它的输入完全相同。遍历全部 8 种旋转翻转,加或不加固定的颜色替换,能解出训练集 1,076 个输出中的 7 个,评估集 167 个中的 0 个。简单的对称规则在这里拿不到分。
10 月 20 日公开榜第一是 Tufa Labs,88.06;第二名 84.72;而去年私榜冠军是 24.03%。不过 85% 额外奖要到比赛结束才确定,而且公开榜只用了大约一半的测试任务。奖项由私榜那一半决定,所以公开榜名次可能会变。
275,000 美元的方法说明奖,在概览页叫 Grand Prize,在规则里叫 Innovation Prize。两边的评分标准一样:准确性、通用性、进步、理论、完整性和新颖性,每项 0–5 分。许可证要求不同:规则说获奖者以 CC BY 4.0 授权,而 arcprize.org 要求你自己的代码用 CC0 或 MIT-0。如果你冲奖,发布之前先到比赛论坛问清楚以哪个为准。
你会拿到什么(数据页)
接受规则后才能下载。文件是 6.91 MB 的 JSON,采用 Apache 2.0 许可。数据页上的测试文件只是从评估集复制来的占位;真正的 240 个任务只在重新运行时出现。
- arc-agi_training_challenges.json · _solutions.json
- 训练谜题及答案。每个任务有几组示范(通常 3 组)和一个或多个测试输入
- arc-agi_evaluation_challenges.json · _solutions.json
- 带答案的验证谜题。在公开的 ARC-AGI-2 仓库里这部分有 120 个任务;用它离线给你的改动打分
- arc-agi_test_challenges.json
- 开发期间是占位文件;重新运行你的 notebook 时会换成 240 个没见过的任务
- sample_submission.json
- 要求的格式:任务 id → 按测试输入顺序排列的 {attempt_1, attempt_2} 网格列表
来自比赛的数据页或概览页 ↗
评测指标:完全匹配准确率,每个测试输出取 2 次尝试中的最好结果
公开基线
2026 年 10 月 20 日票数最高的公开 notebook(票数取自 UTC 3:53 的 Kaggle 列表)。分数是当天各 notebook 页面上显示的公开榜分数;方法说明来自我们通过 Kaggle 公开 API 阅读的代码。我们没有运行它们。它们并不独立:每一个都加载了同一个 NVARC 模型。
| Notebook | ▲ | LB | 为什么值得看 |
|---|---|---|---|
| Failed in AIMO | 927 | 33.89 | 被 fork 最多的基础版本。NVARC 的模型和求解器,4×L4,12 小时预算。下面好几个 notebook 都是从它开始的。 |
| ARC2 NVARC+ v1 | 109 | 30.14 | 先读它的说明。它记录了同一份代码重跑五次的结果(26.9 到 32.2),并把两次用不同种子、各花一半成本的运行合并成两次尝试。 |
| ARC Baseline Rebuild | 98 | 26.94 | 最适合学习怎么测量。它固定了随机种子,训练后给每个任务分配推理预算,对没有产出候选的任务重试,并在本地给全部 120 个评估任务打分。 |
| ARC AGI2 LB33.89 Minimal Perfpatch | 178 | 32.22 | 只做加速的补丁:计算一样,但减少了 CPU 和 GPU 之间的数据传输,所以时间限制内能跑完更多任务。说明是中文的。 |
| Reproduce NVARC 2025 Results | 189 | 30.97 | 对 2025 年冠军方案的直接复现,改动很少。适合从头到尾读一遍原始流程。 |
| ARC-AGI 31.11 | 147 | 31.11 | 同一分数段的另一个 NVARC fork,可以看出公开的 fork 彼此有多接近。 |
| [Baseline] NVARC ARC'25 Winning Solution (for T4x2) | 226 | 10.42 | 同一个模型跑在两块 T4 上。如果用不起 L4 配额就用它,分数大约是 L4 的三分之一。 |
| NVARC winning 2025 – for 2xT4s (best score 19.17) | 83 | 19.17 | T4 版本,附有 LoRA rank、训练轮数和学习率试验的完整更新日志。它在 NVARC 的 2B 和 4B 模型之间切换。 |
时间线
- 开始日期
- 报名和合并队伍截止,UTC 23:59
- 最终提交截止,UTC 23:59
- 论文截止(arcprize.org);275,000 美元奖的方法说明要在 11 月 2 日后 7 天内提交
- 公布获奖者
分步计划
- 今天:接受规则
在 10 月 26 日 23:59(UTC)前在 Kaggle 上报名并接受规则。之后就不能报名,也不能合并队伍。如果想组队,也要在这个截止时间前合并。
- fork 一个 L4 notebook
fork Failed in AIMO 或 ARC Baseline Rebuild。检查挂载的内容:比赛数据、qwen3_4b_grids15_sft139 模型和 unsloth 安装工具,并且断网、选 4×L4 加速器。Failed in AIMO 的 commit 运行只解 4 个评估任务,用了 26 分钟;ARC Baseline Rebuild 默认给全部 120 个任务打分,用了 6 个多小时。
- 先原样提交一次
把第一天的提交机会用在没改过的 fork 上。你会在隐藏任务上拿到一个真实分数,也能知道重新运行要多久。预期分数在 27–34 左右,不一定和作者的完全一样。
- 让分数可以复现
调任何参数之前,先固定随机种子,并像 ARC Baseline Rebuild 那样把 Python 带随机盐的 hash 换成稳定的版本。然后离线给全部 120 个评估任务打分,保存你解出了哪些。
- 每天只改一处
选一个调整点,比如 12 小时在各任务间怎么分配、对没有候选的任务重试,或者合并两次不同种子的运行。先离线比较解出的任务列表,再提交。每天一次,到 11 月 2 日你只剩不到 15 次机会。
- 选 2 个最终提交,写方法说明
在 11 月 2 日前选好两个最终提交:一个是离线验证最好的,一个是更稳妥的。如果冲奖,要开源代码和权重,并在截止后 7 天内发布方法说明。单独的论文赛道(arcprize.org 上写 11 月 8 日截止)让你即使没拿到高分也能记录自己的方法。