流程思维导图
根据比赛概览、数据页和票数最高的公开 notebook 代码(2026 年 10 月 17 日)为这场比赛定制。它按文本归属任务的流程来分,而不是表格数据流程。
- 01数据与验证
- 1.1train.csv:150 个提示词对应的 2,699 段文字
- 1.2测试集的提示词从不出现在训练集里
- 1.3按 prompt_id 做 GroupKFold,和入门示例一样
- 1.4CV 用 balanced accuracy 打分,不用 accuracy
- 02风格特征(CPU)
- 2.1词 1–2 元 + 字符 3–5 元 TF-IDF
- 2.2LogisticRegression 或 LinearSVC 分类头
- 2.3功能词、标点、词形
- 2.4文体统计特征喂给 LightGBM
- 03语言模型特征(GPU)
- 3.1冻结的 Qwen3-8B-Base 隐藏层,平均池化
- 3.2上面接逻辑回归或 SVM 分类头
- 3.3冻结的编码器,比如 DeBERTa-v3-large
- 3.4对 Qwen3-8B-Base 做 LoRA 微调
- 04测试与提交
- 4.1按主题给测试文字聚类(不用标签)
- 4.2在每个簇内做提示词中心化
- 4.3用 OOF 拟合的权重融合对数概率
- 4.4submission.parquet,断网,不超过 9 小时
关键信息
- 主办方
- Kaggle(赞助方:Google LLC)· Featured 代码比赛 ↗
- 奖金
- 50,000 美元:第 1–10 名各 5,000 美元 ↗
- 截止时间
- 报名和合并队伍:2027 年 1 月 6 日。最终提交:2027 年 1 月 13 日 23:59(UTC)(Kaggle API 写的是 1 月 14 日,按 Overview 上较早的日期准备) ↗
- 任务
- 给每段 40–250 词的文字标上 18 个模型名之一,这些模型来自 OpenAI、Google、Anthropic、Qwen、ZAI 和 Moonshot AI ↗
- 代码限制
- 通过 notebook 提交:CPU 或 GPU 运行不超过 9 小时,断网,输出 submission.parquet。允许使用免费公开的外部数据和预训练模型 ↗
- 队伍和提交
- 每队最多 5 人 · 每天 5 次提交 · 最多选 2 个最终提交 ↗
- 数据许可
- CC BY-SA 4.0。获奖者要以 CC-BY 4.0 或开源许可证公开解决方案 ↗
- 参与情况(2026 年 10 月 17 日)
- 开赛三天:4,455 名报名者 · 1,052 名参与者 · 1,024 支队伍 · 3,966 次提交 ↗
题目拆解
一段独立的回答,长 40–250 词,回答的是关于哲学、物理、数学、生物、计算机科学或创意写作的提示词。你要预测是 18 个模型中的哪一个写的。
测试集的提示词是新的,所以主题词迁移不过去。很多标签是兄弟模型:五个 OpenAI 模型(其中三个是 gpt-5.6 的变体)、四个 Gemini 模型和五个 Claude 模型。0.490 那个 notebook 加了按模型家族分的分类头,ntl v6 加载了一个叫 “Qwen3-8B LoRA + Claude Head” 的数据集:分数就是在分辨兄弟模型这里拉开的。
在训练集里,几乎所有 18 个模型都回答了每一个提示词,所以主题词识别的是提示词,而不是模型。强的 notebook 会按主题给测试文字聚类,再减去每个簇的平均值(“提示词中心化”),剩下的就是风格。这一步不用标签,但只有测试集里同一个提示词有好几段文字时才有用。
Kaggle 说测试集中每个模型的文字数量不相等,而且公开榜和私榜的模型分布不同。把预测往各类数量相等方向推的 notebook(Sinkhorn 平衡)是在赌分布。0.541 那个 notebook 用一半观测到的类别分布、一半均匀分布来对冲。
2026 年 10 月 17 日(UTC 6:00),公开榜最高分是 0.592。第 15–32 名全是 0.552,第 15–49 名都在 0.549 到 0.552 之间,正好是最好的公开 notebook 的分数范围。公开榜只用了大约 40% 的测试数据,所以最后这些名次可能会大洗牌。
无论类别分布如何,随机猜的 balanced accuracy 大约是 0.056(18 选 1)。官方 CPU 入门示例两分钟内就能拿到 0.322,是一个合理的第一目标。
你会拿到什么(数据页)
开发期间 test.csv 只有几行示例。提交时,你的 notebook 会在大约 4,000 段文字的隐藏测试集上重新运行。
- train.csv
- 150 个提示词对应的 2,699 段文字。列:id、prompt_id、text、model(标签)
- test.csv
- id、text。隐藏测试集里的提示词不会出现在 train.csv 中
- sample_submission.parquet
- 每个测试 id 一行,列为 id 和 model
- 标签
- gpt-5.5, gpt-5.6-luna, gpt-5.6-sol, gpt-5.6-terra, gpt-6-astra · gemini-3.1-pro-preview, gemini-3.6-flash, gemini-3.7-flash, gemini-3.8-flash · claude-fable-5, claude-opus-4-6, claude-opus-4-8, claude-opus-5, claude-sonnet-5 · qwen3.8-max · glm-5.3, glm-5.3-flash · kimi-k3
- 大小和许可
- 总共 2.14 MB,CC BY-SA 4.0。必须先接受规则才能下载
提交格式(来自 Overview)
id,model a1b2c3d4e5f6,gpt-6-astra b2c3d4e5f6a7,claude-opus-5 ... # written as submission.parquet in the notebook's working directory # rejected if: id or model column missing, nulls, a repeated id, # or a label outside the 18 listed
来自比赛的数据页或概览页 ↗
评测指标:Balanced accuracy(18 个模型的宏平均召回率)
公开基线
公开分数和运行时间来自 2026 年 10 月 17 日各 notebook 页面上的显示;方法说明来自我们通过 Kaggle 公开 API 拉取并阅读的代码和说明。我们没有运行它们。这些分数并不独立:票数最高的 12 个 notebook 里,9 个加载了 Qwen3-8B-Base,5 个加载了同一套 UltraBERT-380M 各折权重,5 个复用了 Lucas Boesen 发布的冻结编码器或 GLM-4 产物。
| Notebook | ▲ | LB | 为什么值得看 |
|---|---|---|---|
| Starter Notebook for Name That LLM Competition | 137 | 0.322 | 官方风格的入门示例:词 + 字符 TF-IDF 接 LogisticRegression,按 prompt_id 做 5 折 GroupKFold,CPU,1 分 46 秒。先 fork 这个。 |
| qwen blend | 21 | 0.414 | 普通 TF-IDF 加上 Qwen3-1.7B-Base 第 17 和第 20 层的平均池化特征,在对数概率空间融合(作者的 CV:0.431)。GPU 上 12 分钟,是超过入门示例的低成本第一步。 |
| SVM Frozen Qwen | 27 | 0.452 | 冻结的 Qwen3-8B-Base 向量接 SVM,并附有关于“不按提示词泄露”的验证方法的细致说明(最好版本 0.452;最新版本 0.429)。 |
| 0.490 | Highest Public Notebook | Qwen3 Fusion | 52 | 0.490 | Qwen3 8B/14B 浅层分类头、文本风格 SVM、DeBERTa 和按模型家族分的分类头。只做推理,分类头离线拟合(3 分 20 秒)。 |
| Name That LLM v5 | 47 | 0.519 | Gemma 4 12B、Qwen3 和 Qwen3.5 特征,加小组中心化。耗时 2 小时 1 分,继续加模型时要盯住 9 小时上限。 |
| 0.541 | LoRA + Adaptive Centering | 100 | 0.541 | 复现了 Lucas Boesen 的第 1 版。它的说明是对主题聚类和提示词中心化讲得最清楚的。 |
| LoRA x Adaptive Centering | 82 | 0.549 | 原版:风格模型、冻结语言模型分类头、编码器、Qwen3-8B LoRA 和 token 注意力分类头,按提示词分组的 OOF 预测做融合。版本说明里写了每个成员带来了什么提升。 |
| ntl v6 | 21 | 0.552 | 平台分数。在同一套方案上加了一个包含额外 API 生成文字的公开数据集,以及一个专门识别 Claude 的分类头。 |
当前最高票的 notebook
每天从 Kaggle API 更新(最近一次 2026-11-16),未经编辑审核;上面的表格是审核过的清单。
- Starter Notebook for Name That LLM Competition ▲675
- 0.680 | ModernBERT + LoRA + Sparse Ensemble ▲298
- Name That LLM 0.701: All Public + What Failed ▲273
- 0.681 | Qwen3-Embedding LoRA + Qwen3.8-27B ▲239
- 0.694 | GLM-5.3 Likelihood + Qwen3.8-27B LoRA ▲185
- Name That LLM | Who am I? ▲165
- Teach the Model + 10% ATLAS ▲160
- nlm-v27 ▲146
时间线
- 开始日期
- 报名截止(在这一天前接受规则),也是合并队伍的截止日
- 最终提交截止,UTC 23:59
分步计划
- 第 1 天:报名并 fork 入门示例
接受规则(2027 年 1 月 6 日停止报名),fork 入门 notebook 并提交一次。看到大约 0.32 的分数,就说明你的 parquet 文件和 18 个标签字符串都对了。
- 相信你自己的验证
保留入门示例的按 prompt_id 做 GroupKFold 和 balanced accuracy 打分。随机切分会泄露提示词,分数会比排行榜好看得多。
- 找出容易混淆的类别
用 out-of-fold 预测打印一个 18×18 的混淆矩阵,先看家族内部:gpt-5.6 三兄弟、Gemini Flash 的几个版本和 Claude Opus 的几个版本最容易混。
- 转向语言模型特征
把 Qwen3-8B-Base 作为 Kaggle Model 挂载(网络保持关闭),对隐藏层做平均池化,再拟合一个逻辑回归或 SVM 分类头。SVM Frozen Qwen 表明这一步在公开榜上大约值 0.45。
- 谨慎地加入提示词中心化
先读 0.541 那篇说明,然后在你的验证折里按主题聚类并减去簇均值。也要在每个提示词只有 1–3 段文字的情况下测试,因为你不知道隐藏集里有多少段。
- 融合,然后选两个最终提交
在 out-of-fold 对数概率上拟合融合权重。选 2 个最终提交时,一个选 CV 最好的,另一个选不强制各类数量相等的,因为私榜的模型分布和公开榜不同。
- 收尾
在断网、9 小时以内把最终 notebook 从头到尾重新跑一遍,并在 2027 年 1 月 13 日 23:59(UTC)之前选定。