HK//HACKERSHACKATHONS · KAGGLE · FOR BEGINNERSEN
HACKERS / Kaggle

Google – The Gemma 4 Developer Agent Competition 新手攻略

这场比赛提交的不是预测结果,而是一个 Agent:一个 zip 包,里面是提示词、工具、技能,以及可选的 LoRA 适配器,全部针对同一个 Gemma 4 模型。Kaggle 会让它去处理隐藏的 GitHub issue,你的分数就是补丁通过测试的比例。

截止
奖金75,000 UsdGoogle DeepMind
官方页面 ↗

流程思维导图

根据比赛概览、数据页和规则为这场比赛定制。四个分支按 Agent 的工作流程来分,而不是常见的表格数据流程。

  1. 01提示词与工具
    1. 1.1系统提示词放在 prompts/system.md,用 !include 引入
    2. 1.2运行框架自带工具:run_command、read_file、edit_file、write_file、submit_patch、get_status
    3. 1.3代码图工具:get_code_neighbors、search_similar_code、get_code_subgraph
    4. 1.4把重复步骤做成 ADK 技能(SKILL.md + 脚本)
  2. 02评测框架
    1. 2.1tasks.jsonl 里有 129 个公开任务,带参考补丁和 test_patch
    2. 2.2打上 test_patch 跑 pytest:和主办方一样判定通过/失败
    3. 2.3用 docker/ 构建 swebench-sandbox 镜像
    4. 2.4从 /wheels 镜像离线安装依赖
  3. 03迭代
    1. 3.1从 sample_submission/ 基线开始
    2. 3.2读失败轨迹;先修提示词和工具
    3. 3.3再做 LoRA 适配器后训练(微调或强化学习)
    4. 3.4用 get_status 盯住 12 小时预算
  4. 04提交打包
    1. 4.1submission.zip,根目录放 agent.yaml
    2. 4.2所有 Agent 共用一个基础模型
    3. 4.3LoRA 以 .safetensors 放在 adapters/<name>/ 下
    4. 4.4路径不能跳出 zip 包

关键信息

主办方
Google DeepMind · Featured 预测类比赛 ↗
奖金
65,000 美元:一等奖 37,000 · 二等奖 18,000 · 三等奖 10,000。另有一个可选的 35,000 美元论文奖,走论文赛道 ↗
截止时间
报名和合并队伍:2026 年 11 月 25 日。最终提交:2026 年 12 月 2 日 23:59(UTC)。可选论文:2026 年 11 月 12 日 ↗
模型
只能用 gemma-4-31b-it-qat-w4a16-ct,所有 Agent 和子 Agent 都一样 ↗
时间预算
处理全部任务并提交补丁共 12 小时,包括搭建沙箱的时间(补丁验证不计入) ↗
队伍和提交
每队最多 5 人 · 每天 1 次提交 · 最多选 2 个最终提交 ↗
硬件
Kaggle L4x4 机器(96 GB 显存)。它消耗 GPU 配额的速度是 T4x2/P100 的两倍,并且必须关闭网络 ↗
参与情况(2026 年 10 月 13 日)
10,499 名参赛者 · 2,600 支队伍 · 12,002 次提交 ↗

题目拆解

一个任务是什么?

一个来自 fastapi/fastapi、Textualize/rich、psf/requests 或 encode/httpx 的真实 issue。Agent 拿到 problem_statement(可能附带提示)和一个冻结在 base_commit 的代码仓库,必须留下一个补丁。

要提交什么?

一份 Agent 配置,不是 CSV。Kaggle 会把你的 zip 编译成一个 Google ADK Agent,在一个隐藏测试集上运行;这个测试集和公开任务用同一套流程生成。

怎么打分?

和 SWE-Bench 一样:把每个补丁打到对应的仓库上,运行该 issue 的验证测试,你的分数是测试通过的任务所占的百分比。

硬性限制

只能用一个基础模型,全部任务一共跑 12 小时,只能用运行框架提供的工具或你自己的子 Agent,L4 会话必须断网。

水平线在哪里

2026 年 10 月 13 日,公开榜第一名的分数是 0.24,也就是说即使领先的队伍也只能通过大约四分之一的隐藏任务。先拿到一个大于零的有效提交,是一个合理的第一目标。

你会拿到什么(数据页)

公开数据集就是训练集。给你的提交打分时,Kaggle 会换成隐藏测试集,它用同一套代码图流程生成。

tasks.jsonl
129 个公开开发任务:instance_id、repo、base_commit、problem_statement、hints_text、参考补丁、test_patch(pytest)和 created_at
snapshots/
129 个冻结在 base_commit 的 Git 工作区 .tgz 包,之后的提交已删除,所以 git log 不会泄露修复方法
graphs/
每个仓库快照的 NetworkX 调用/依赖图(JSON),供 get_code_neighbors 和 get_code_subgraph 使用
embeddings/
每个代码符号对应一个 256 维 float32 向量(.npz),供 search_similar_code 使用
wheels/
124 个离线 Python wheel 包(fastapi、starlette、pydantic、requests、rich、httpx、pytest 等),以只读方式挂载在 /wheels/
docker/ · sandbox/setup.py
swebench-sandbox 镜像(Python 3.13)的 Dockerfile,以及离线安装每个仓库、生成干净基线提交的脚本
sample_submission/
一个可以直接运行的 ADK 基线提交,展示 YAML 结构、多 Agent 委派和多 LoRA 路由

提交格式(来自 Evaluation 部分)

submission.zip
├── agent.yaml                  # REQUIRED: root agent config
├── configs/
│   └── sampling.yaml           # optional: generation parameters (!include)
├── prompts/
│   ├── system.md               # optional: system instructions (!include)
│   └── analyzer.md
├── sub_agents/
│   └── code_analyzer.yaml      # optional: sub-agent / AgentTool configs
├── adapters/                   # optional: PEFT LoRA adapters
│   ├── main_lora/
│   │   ├── adapter_config.json
│   │   └── adapter_model.safetensors
│   └── tool_lora/
│       ├── adapter_config.json
│       └── adapter_model.safetensors
└── skills/                     # optional: ADK skill directories
    └── repo_navigation/
        ├── SKILL.md
        ├── scripts/            # run in the sandbox
        └── resources/          # domain-knowledge markdown

来自比赛的数据页或概览页 ↗

评测指标:补丁通过率(自定义指标,SWE-Bench 风格)

每个隐藏任务只有通过或失败。你的补丁会被打上去,运行该 issue 的测试,你的分数是通过的任务所占的比例。差一点就对的补丁,这个任务也是零分。

公开榜按测试集的公开部分计算。奖项按私榜决定,所以不要对着公开榜的分数过拟合。 ↗

2026 年 10 月 13 日公开榜最高分: 0.24 ↗

公开基线

比赛 Code 页按票数排序的快照,2026 年 10 月 13 日通过 Kaggle API 获取。右侧一栏只描述每个 notebook 的标题或作者所显示的信息;这些 notebook 我们都没有运行或测试过。没有列出排行榜分数,因为 Kaggle 没有为这些 notebook 显示分数。

Notebook▲LB为什么值得看
Getting Started - Gemma 4 Developer Agent1299—作者是 Ryan Holbrook,他的名字出现在比赛的官方引用信息里。从这里开始。
Gemma 4 | Walkthrough & First Submission90—一步步做到第一次提交的教程。适合用来核对你的 zip 包结构。
Gemma 4: Task Soundness, Serving and Evaluation84—重点在模型部署和评测。配合你自己的本地通过/失败循环一起用。
Gemma 4 Agent: Budget-Fit Single Agent193—从标题看,是一个围绕时间预算设计的单 Agent 方案。
GEMMA: EDA, Baseline for a start | LB TOP 1223—任务的 EDA 加一个基线。标题里的 “LB TOP 1” 来自它 9 月 23 日的版本。
Gemma 4 SWE Agent: Complete EDA & ADK Starter Kit53—ADK 起步工具包加 EDA。如果你第一次接触 YAML 格式的 Agent 配置,会很有用。

当前最高票的 notebook

每天从 Kaggle API 更新(最近一次 2026-11-16),未经编辑审核;上面的表格是审核过的清单。

时间线

  1. 开始日期
  2. 可选的研究论文截止(论文赛道)
  3. 报名截止:在这一天前接受规则。也是合并队伍的截止日
  4. 最终提交截止(UTC 23:59)

分步计划

  1. 第 1 天:报名并读题

    接受规则(11 月 25 日停止报名)。读 Overview → Evaluation,以及数据集里的 HARNESS_README.md:它写明了提交格式和运行环境。

  2. 跑通主办方的入门示例

    fork Getting Started notebook,并在挂载比赛数据的情况下运行。L4x4 会话必须断网,GPU 配额按两倍消耗。

  3. 先做一次基线提交

    把提供的 sample_submission/ 提交一次,确认打包和打分都没问题。每天只有 1 次提交机会,别浪费在没测试过的 zip 上。

  4. 搭一个本地通过/失败循环

    从 129 个公开任务里挑几个,让你的 Agent 修改快照,打上该任务的 test_patch,在沙箱镜像里跑 pytest。改任何东西之前,先记下本地通过率。

  5. 改进提示词、工具和技能

    修改 prompts/system.md,加一个技能(比如仓库导航),试试代码图工具。读失败轨迹,每次只改一处。

  6. 然后做后训练

    提示词的效果到顶之后,训练 PEFT LoRA 适配器(微调或强化学习),并在每个 Agent 里用 adapter: <name> 引用。每个 Agent 仍然必须使用 gemma-4-31b-it-qat-w4a16-ct。

  7. 收尾

    在 2026 年 12 月 2 日 23:59(UTC)之前选好最多 2 个最终提交。如果想把方法写成论文,论文赛道 11 月 12 日截止。