流程思维导图
根据比赛概览、数据页和规则为这场比赛定制。四个分支按 Agent 的工作流程来分,而不是常见的表格数据流程。
- 01提示词与工具
- 1.1系统提示词放在 prompts/system.md,用 !include 引入
- 1.2运行框架自带工具:run_command、read_file、edit_file、write_file、submit_patch、get_status
- 1.3代码图工具:get_code_neighbors、search_similar_code、get_code_subgraph
- 1.4把重复步骤做成 ADK 技能(SKILL.md + 脚本)
- 02评测框架
- 2.1tasks.jsonl 里有 129 个公开任务,带参考补丁和 test_patch
- 2.2打上 test_patch 跑 pytest:和主办方一样判定通过/失败
- 2.3用 docker/ 构建 swebench-sandbox 镜像
- 2.4从 /wheels 镜像离线安装依赖
- 03迭代
- 3.1从 sample_submission/ 基线开始
- 3.2读失败轨迹;先修提示词和工具
- 3.3再做 LoRA 适配器后训练(微调或强化学习)
- 3.4用 get_status 盯住 12 小时预算
- 04提交打包
- 4.1submission.zip,根目录放 agent.yaml
- 4.2所有 Agent 共用一个基础模型
- 4.3LoRA 以 .safetensors 放在 adapters/<name>/ 下
- 4.4路径不能跳出 zip 包
关键信息
- 主办方
- Google DeepMind · Featured 预测类比赛 ↗
- 奖金
- 65,000 美元:一等奖 37,000 · 二等奖 18,000 · 三等奖 10,000。另有一个可选的 35,000 美元论文奖,走论文赛道 ↗
- 截止时间
- 报名和合并队伍:2026 年 11 月 25 日。最终提交:2026 年 12 月 2 日 23:59(UTC)。可选论文:2026 年 11 月 12 日 ↗
- 模型
- 只能用 gemma-4-31b-it-qat-w4a16-ct,所有 Agent 和子 Agent 都一样 ↗
- 时间预算
- 处理全部任务并提交补丁共 12 小时,包括搭建沙箱的时间(补丁验证不计入) ↗
- 队伍和提交
- 每队最多 5 人 · 每天 1 次提交 · 最多选 2 个最终提交 ↗
- 硬件
- Kaggle L4x4 机器(96 GB 显存)。它消耗 GPU 配额的速度是 T4x2/P100 的两倍,并且必须关闭网络 ↗
- 参与情况(2026 年 10 月 13 日)
- 10,499 名参赛者 · 2,600 支队伍 · 12,002 次提交 ↗
题目拆解
一个来自 fastapi/fastapi、Textualize/rich、psf/requests 或 encode/httpx 的真实 issue。Agent 拿到 problem_statement(可能附带提示)和一个冻结在 base_commit 的代码仓库,必须留下一个补丁。
一份 Agent 配置,不是 CSV。Kaggle 会把你的 zip 编译成一个 Google ADK Agent,在一个隐藏测试集上运行;这个测试集和公开任务用同一套流程生成。
和 SWE-Bench 一样:把每个补丁打到对应的仓库上,运行该 issue 的验证测试,你的分数是测试通过的任务所占的百分比。
只能用一个基础模型,全部任务一共跑 12 小时,只能用运行框架提供的工具或你自己的子 Agent,L4 会话必须断网。
2026 年 10 月 13 日,公开榜第一名的分数是 0.24,也就是说即使领先的队伍也只能通过大约四分之一的隐藏任务。先拿到一个大于零的有效提交,是一个合理的第一目标。
你会拿到什么(数据页)
公开数据集就是训练集。给你的提交打分时,Kaggle 会换成隐藏测试集,它用同一套代码图流程生成。
- tasks.jsonl
- 129 个公开开发任务:instance_id、repo、base_commit、problem_statement、hints_text、参考补丁、test_patch(pytest)和 created_at
- snapshots/
- 129 个冻结在 base_commit 的 Git 工作区 .tgz 包,之后的提交已删除,所以 git log 不会泄露修复方法
- graphs/
- 每个仓库快照的 NetworkX 调用/依赖图(JSON),供 get_code_neighbors 和 get_code_subgraph 使用
- embeddings/
- 每个代码符号对应一个 256 维 float32 向量(.npz),供 search_similar_code 使用
- wheels/
- 124 个离线 Python wheel 包(fastapi、starlette、pydantic、requests、rich、httpx、pytest 等),以只读方式挂载在 /wheels/
- docker/ · sandbox/setup.py
- swebench-sandbox 镜像(Python 3.13)的 Dockerfile,以及离线安装每个仓库、生成干净基线提交的脚本
- sample_submission/
- 一个可以直接运行的 ADK 基线提交,展示 YAML 结构、多 Agent 委派和多 LoRA 路由
提交格式(来自 Evaluation 部分)
submission.zip
├── agent.yaml # REQUIRED: root agent config
├── configs/
│ └── sampling.yaml # optional: generation parameters (!include)
├── prompts/
│ ├── system.md # optional: system instructions (!include)
│ └── analyzer.md
├── sub_agents/
│ └── code_analyzer.yaml # optional: sub-agent / AgentTool configs
├── adapters/ # optional: PEFT LoRA adapters
│ ├── main_lora/
│ │ ├── adapter_config.json
│ │ └── adapter_model.safetensors
│ └── tool_lora/
│ ├── adapter_config.json
│ └── adapter_model.safetensors
└── skills/ # optional: ADK skill directories
└── repo_navigation/
├── SKILL.md
├── scripts/ # run in the sandbox
└── resources/ # domain-knowledge markdown来自比赛的数据页或概览页 ↗
评测指标:补丁通过率(自定义指标,SWE-Bench 风格)
公开基线
比赛 Code 页按票数排序的快照,2026 年 10 月 13 日通过 Kaggle API 获取。右侧一栏只描述每个 notebook 的标题或作者所显示的信息;这些 notebook 我们都没有运行或测试过。没有列出排行榜分数,因为 Kaggle 没有为这些 notebook 显示分数。
| Notebook | ▲ | LB | 为什么值得看 |
|---|---|---|---|
| Getting Started - Gemma 4 Developer Agent | 1299 | — | 作者是 Ryan Holbrook,他的名字出现在比赛的官方引用信息里。从这里开始。 |
| Gemma 4 | Walkthrough & First Submission | 90 | — | 一步步做到第一次提交的教程。适合用来核对你的 zip 包结构。 |
| Gemma 4: Task Soundness, Serving and Evaluation | 84 | — | 重点在模型部署和评测。配合你自己的本地通过/失败循环一起用。 |
| Gemma 4 Agent: Budget-Fit Single Agent | 193 | — | 从标题看,是一个围绕时间预算设计的单 Agent 方案。 |
| GEMMA: EDA, Baseline for a start | LB TOP 1 | 223 | — | 任务的 EDA 加一个基线。标题里的 “LB TOP 1” 来自它 9 月 23 日的版本。 |
| Gemma 4 SWE Agent: Complete EDA & ADK Starter Kit | 53 | — | ADK 起步工具包加 EDA。如果你第一次接触 YAML 格式的 Agent 配置,会很有用。 |
当前最高票的 notebook
每天从 Kaggle API 更新(最近一次 2026-11-16),未经编辑审核;上面的表格是审核过的清单。
- Getting Started - Gemma 4 Developer Agent ▲2754
- Gemma 4 | Budget - Aware Coding Agent v2 ▲693
- GEMMA: EDA, Baseline for a start | LB TOP 1 ▲260
- Gemma 4 Agent: Budget-Fit Single Agent ▲245
- Gemma and the Shape of Doubt ▲153
- 🐈⬛ Black Cat SWE Agent | Pack Instinct ▲144
- Gemma 4: Task Soundness, Serving and Evaluation ▲119
- Gemma 4 | Walkthrough, Findings & Submission ▲101
时间线
- 开始日期
- 可选的研究论文截止(论文赛道)
- 报名截止:在这一天前接受规则。也是合并队伍的截止日
- 最终提交截止(UTC 23:59)
分步计划
- 第 1 天:报名并读题
接受规则(11 月 25 日停止报名)。读 Overview → Evaluation,以及数据集里的 HARNESS_README.md:它写明了提交格式和运行环境。
- 跑通主办方的入门示例
fork Getting Started notebook,并在挂载比赛数据的情况下运行。L4x4 会话必须断网,GPU 配额按两倍消耗。
- 先做一次基线提交
把提供的 sample_submission/ 提交一次,确认打包和打分都没问题。每天只有 1 次提交机会,别浪费在没测试过的 zip 上。
- 搭一个本地通过/失败循环
从 129 个公开任务里挑几个,让你的 Agent 修改快照,打上该任务的 test_patch,在沙箱镜像里跑 pytest。改任何东西之前,先记下本地通过率。
- 改进提示词、工具和技能
修改 prompts/system.md,加一个技能(比如仓库导航),试试代码图工具。读失败轨迹,每次只改一处。
- 然后做后训练
提示词的效果到顶之后,训练 PEFT LoRA 适配器(微调或强化学习),并在每个 Agent 里用 adapter: <name> 引用。每个 Agent 仍然必须使用 gemma-4-31b-it-qat-w4a16-ct。
- 收尾
在 2026 年 12 月 2 日 23:59(UTC)之前选好最多 2 个最终提交。如果想把方法写成论文,论文赛道 11 月 12 日截止。