HK//HACKERSHACKATHONS · KAGGLE · FOR BEGINNERSEN
HACKERS / Kaggle

ARC Prize 2026 – ARC-AGI-2(Kaggle):公开 notebook 和 10 月 26 日报名截止的新手攻略

报名在 10 月 26 日 23:59(UTC)截止。如果到时还没接受规则,就完全不能提交,尽管最终提交要到 11 月 2 日。10 月 20 日我们读了票数最高的 12 个公开 notebook。这 12 个都挂载了同一个模型:NVARC 的 Qwen3-4B checkpoint(qwen3_4b_grids15_sft139),它赢得了 ARC Prize 2025。在四块 L4 上,它们的公开榜分数是 26.9 到 33.9;同样的代码在两块 T4 上只有 10 到 19。榜首是 88.06,前 49 名的队伍都在 41 以上,所以 fork 一个 notebook 只能让你有一个有效提交,拿不到奖。我们还自己检查了 120 个公开评估任务:遍历 8 种旋转翻转再加一个固定的颜色替换,167 个测试输出一个都解不出来。

这场比赛已经结束,攻略保留作参考。下一届的规则、评审和日期可能会变,请先看官方页面。

截止已截止
奖金—
官方页面 ↗

流程思维导图

根据比赛概览、数据页和规则、票数最高的 12 个公开 notebook 的代码,以及我们自己对公开 ARC-AGI-2 评估集的检查(均读取于 2026 年 10 月 20 日)为这场比赛定制。它按测试时训练的流程来分,而不是表格数据流程。

  1. 0110 月 26 日前先报上名
    1. 1.110 月 26 日 23:59(UTC)前接受规则
    2. 1.2在同一天前组队或合并队伍
    3. 1.3每天 1 次提交,最后选 2 个
    4. 1.4最后提交日 11 月 2 日
  2. 02从 NVARC 开始
    1. 2.1fork L4×4 的 notebook,不要 fork T4×2 的
    2. 2.2挂载 qwen3_4b_grids15_sft139 和 unsloth 工具包
    3. 2.3断网,12 小时上限
    4. 2.4commit 运行时看不到隐藏任务
  3. 03每次只改一处
    1. 3.1调参前先固定随机种子
    2. 3.2离线给全部 120 个评估任务打分
    3. 3.3同样的代码两次运行可能差 5 分
    4. 3.4把时间花在一个候选都没有的任务上
  4. 04冲奖路线
    1. 4.1开源代码和权重
    2. 4.211 月 2 日后 7 天内交方法说明
    3. 4.3论文赛道:arcprize.org 写的是 11 月 8 日
    4. 4.4到论坛确认许可证的具体措辞

关键信息

主办方
ARC Prize Foundation(赞助方),在 Kaggle 上以代码比赛形式举办。这是 ARC Prize 2025 的 2026 年重启版 ↗
奖金
700,000 美元:275,000 美元的进步奖发给私榜前 8 名(从 75,000 美元到 15,000 美元),275,000 美元发给按六项标准打分的最佳方法说明,另有 150,000 美元的额外奖,只有在某支队伍达到 85% 时才会解锁 ↗
截止时间
报名和合并队伍截止 2026 年 10 月 26 日;最终提交 2026 年 11 月 2 日,都是 UTC 23:59;2026 年 12 月 4 日公布获奖者 ↗
任务
240 道隐藏谜题。每个测试输入可以给出 2 次尝试,要求输出网格完全正确(1×1 到 30×30,颜色 0–9)。只有完全一致的网格才算对 ↗
算力
只能用 Kaggle notebook,CPU 或 GPU 最多运行 12 小时,断网。允许使用公开的外部数据和预训练模型。4×L4 机器(96 GB 显存)消耗 GPU 配额的速度是正常的两倍 ↗
队伍和提交
每队最多 5 人。每天 1 次提交,最后选 2 个最终提交 ↗
开源要求
获奖者必须开源代码、模型和权重。Kaggle 规则写的是 CC BY 4.0;arcprize.org 要求使用 CC0 或 MIT-0 这类接近公有领域的许可证 ↗
参赛资格
需要 Kaggle 账号;年满 18 岁或达到法定成年年龄,以较大者为准;不能居住在受制裁地区 ↗
参与情况(2026 年 10 月 20 日)
11,413 名报名者 · 3,296 名参与者 · 3,075 支队伍 · 28,342 次提交 ↗

题目拆解

要提交什么

一个会写出 submission.json 的 notebook。测试文件里的每个任务 id 都要有,每个测试输入都要有 attempt_1 和 attempt_2,哪怕其中一个只是 [[0]] 这样的占位。提交后,Kaggle 会把占位的测试文件换成 240 个没见过的任务,重新运行你的 notebook。大多数隐藏任务只有一个测试输入,少数有两个。

为什么所有公开代码看起来都一样

10 月 20 日票数最高的 12 个 notebook 都挂载了同一个模型 sorokin/qwen3_4b_grids15_sft139,以及同一个 unsloth 安装工具。这就是 2025 年以私榜 24.03% 夺冠的 NVARC 方案。它在测试时用每道谜题的示例微调一个 LoRA 适配器,用深度优先搜索解码出很多候选答案,再在旋转、翻转和颜色替换下重新打分,选出两个。除了一个 T4 notebook 还挂载了 NVARC 的 2B 版本,只有一个 notebook 加了不同的模型(gpt-oss-120b)。公开 notebook 之间的差别在于加速补丁、随机种子和时间分配,而不是方法。

同样的代码,不同的分数

测试时训练和候选搜索都带随机性。有位作者把一模一样的 NVARC notebook 重跑了五次,公开榜分数分别是 29.7、31.8、26.9、32.2 和 31.4。版本历史也说明了同样的问题:一个 notebook 第 1 版得了 32.22,当前版本只有 16.39。每天只能提交一次,单次运行多出 2 分说明不了任何问题。先固定随机种子,再在 120 个评估任务上离线比较改动。

硬件差距

在 4×L4 机器上,NVARC 的各个 fork 得分 26.94 到 33.89。同一个模型在两块 T4 上只有 10.42 和 19.17,很可能是因为在较慢的显卡上,12 小时内能跑完的谜题更少。如果你负担不起 L4 双倍消耗的 GPU 配额,就按较低的分数区间来预期。

公开评估集长什么样

我们从公开的 ARC-AGI-2 仓库统计:评估集 120 个任务、167 个测试输出;训练集 1,000 个任务、1,076 个测试输出。120 个评估任务里有 45 个不止一个测试输入,远多于隐藏集(Kaggle 说隐藏集大多数任务只有一个)。评估集的输出更大:中位数 364 个格子,训练集是 100 个;167 个输出里有 107 个至少有一边长度达到 20。120 个任务中有 81 个(68%)输出和输入大小相同。没有一个测试输出和它的输入完全相同。遍历全部 8 种旋转翻转,加或不加固定的颜色替换,能解出训练集 1,076 个输出中的 7 个,评估集 167 个中的 0 个。简单的对称规则在这里拿不到分。

领先者在哪里

10 月 20 日公开榜第一是 Tufa Labs,88.06;第二名 84.72;而去年私榜冠军是 24.03%。不过 85% 额外奖要到比赛结束才确定,而且公开榜只用了大约一半的测试任务。奖项由私榜那一半决定,所以公开榜名次可能会变。

两处说法冲突

275,000 美元的方法说明奖,在概览页叫 Grand Prize,在规则里叫 Innovation Prize。两边的评分标准一样:准确性、通用性、进步、理论、完整性和新颖性,每项 0–5 分。许可证要求不同:规则说获奖者以 CC BY 4.0 授权,而 arcprize.org 要求你自己的代码用 CC0 或 MIT-0。如果你冲奖,发布之前先到比赛论坛问清楚以哪个为准。

你会拿到什么(数据页)

接受规则后才能下载。文件是 6.91 MB 的 JSON,采用 Apache 2.0 许可。数据页上的测试文件只是从评估集复制来的占位;真正的 240 个任务只在重新运行时出现。

arc-agi_training_challenges.json · _solutions.json
训练谜题及答案。每个任务有几组示范(通常 3 组)和一个或多个测试输入
arc-agi_evaluation_challenges.json · _solutions.json
带答案的验证谜题。在公开的 ARC-AGI-2 仓库里这部分有 120 个任务;用它离线给你的改动打分
arc-agi_test_challenges.json
开发期间是占位文件;重新运行你的 notebook 时会换成 240 个没见过的任务
sample_submission.json
要求的格式:任务 id → 按测试输入顺序排列的 {attempt_1, attempt_2} 网格列表

来自比赛的数据页或概览页 ↗

评测指标:完全匹配准确率,每个测试输出取 2 次尝试中的最好结果

每个测试输入你要提交两个网格。只要有一个和答案逐格一致,这个输出就得 1 分,否则 0 分。分数是你答对的测试输出占全部测试输出的比例。差一点对、或者尺寸对了都不给部分分。

公开榜用了大约 50% 的隐藏测试任务。最终排名和奖项按另外 50% 决定,所以名次可能会变。 ↗

2026 年 10 月 20 日公开榜最高分(Tufa Labs): 88.06 ↗

公开基线

2026 年 10 月 20 日票数最高的公开 notebook(票数取自 UTC 3:53 的 Kaggle 列表)。分数是当天各 notebook 页面上显示的公开榜分数;方法说明来自我们通过 Kaggle 公开 API 阅读的代码。我们没有运行它们。它们并不独立:每一个都加载了同一个 NVARC 模型。

Notebook▲LB为什么值得看
Failed in AIMO92733.89被 fork 最多的基础版本。NVARC 的模型和求解器,4×L4,12 小时预算。下面好几个 notebook 都是从它开始的。
ARC2 NVARC+ v110930.14先读它的说明。它记录了同一份代码重跑五次的结果(26.9 到 32.2),并把两次用不同种子、各花一半成本的运行合并成两次尝试。
ARC Baseline Rebuild9826.94最适合学习怎么测量。它固定了随机种子,训练后给每个任务分配推理预算,对没有产出候选的任务重试,并在本地给全部 120 个评估任务打分。
ARC AGI2 LB33.89 Minimal Perfpatch17832.22只做加速的补丁:计算一样,但减少了 CPU 和 GPU 之间的数据传输,所以时间限制内能跑完更多任务。说明是中文的。
Reproduce NVARC 2025 Results18930.97对 2025 年冠军方案的直接复现,改动很少。适合从头到尾读一遍原始流程。
ARC-AGI 31.1114731.11同一分数段的另一个 NVARC fork,可以看出公开的 fork 彼此有多接近。
[Baseline] NVARC ARC'25 Winning Solution (for T4x2)22610.42同一个模型跑在两块 T4 上。如果用不起 L4 配额就用它,分数大约是 L4 的三分之一。
NVARC winning 2025 – for 2xT4s (best score 19.17)8319.17T4 版本,附有 LoRA rank、训练轮数和学习率试验的完整更新日志。它在 NVARC 的 2B 和 4B 模型之间切换。

时间线

  1. 开始日期
  2. 报名和合并队伍截止,UTC 23:59
  3. 最终提交截止,UTC 23:59
  4. 论文截止(arcprize.org);275,000 美元奖的方法说明要在 11 月 2 日后 7 天内提交
  5. 公布获奖者

分步计划

  1. 今天:接受规则

    在 10 月 26 日 23:59(UTC)前在 Kaggle 上报名并接受规则。之后就不能报名,也不能合并队伍。如果想组队,也要在这个截止时间前合并。

  2. fork 一个 L4 notebook

    fork Failed in AIMO 或 ARC Baseline Rebuild。检查挂载的内容:比赛数据、qwen3_4b_grids15_sft139 模型和 unsloth 安装工具,并且断网、选 4×L4 加速器。Failed in AIMO 的 commit 运行只解 4 个评估任务,用了 26 分钟;ARC Baseline Rebuild 默认给全部 120 个任务打分,用了 6 个多小时。

  3. 先原样提交一次

    把第一天的提交机会用在没改过的 fork 上。你会在隐藏任务上拿到一个真实分数,也能知道重新运行要多久。预期分数在 27–34 左右,不一定和作者的完全一样。

  4. 让分数可以复现

    调任何参数之前,先固定随机种子,并像 ARC Baseline Rebuild 那样把 Python 带随机盐的 hash 换成稳定的版本。然后离线给全部 120 个评估任务打分,保存你解出了哪些。

  5. 每天只改一处

    选一个调整点,比如 12 小时在各任务间怎么分配、对没有候选的任务重试,或者合并两次不同种子的运行。先离线比较解出的任务列表,再提交。每天一次,到 11 月 2 日你只剩不到 15 次机会。

  6. 选 2 个最终提交,写方法说明

    在 11 月 2 日前选好两个最终提交:一个是离线验证最好的,一个是更稳妥的。如果冲奖,要开源代码和权重,并在截止后 7 天内发布方法说明。单独的论文赛道(arcprize.org 上写 11 月 8 日截止)让你即使没拿到高分也能记录自己的方法。