HK//HACKERSHACKATHONS · KAGGLE · FOR BEGINNERSEN
HACKERS / Kaggle

Name That LLM(Kaggle):分辨 18 个语言模型的新手攻略

你会拿到 2,699 段带标签的文字,要判断每一段没见过的文字是 18 个前沿模型里的哪一个写的。10 月 17 日我们读了票数最高的 12 个公开 notebook 和公开排行榜。官方入门示例得分 0.322。最好的公开 notebook 在 0.549 到 0.552 之间,前 49 名里有 35 支队伍都挤在这个平台上,所以 fork 第一名的 notebook 只能换来一个拥挤的名次,换不来领先。

截止
奖金50,000 UsdKaggle
官方页面 ↗

流程思维导图

根据比赛概览、数据页和票数最高的公开 notebook 代码(2026 年 10 月 17 日)为这场比赛定制。它按文本归属任务的流程来分,而不是表格数据流程。

  1. 01数据与验证
    1. 1.1train.csv:150 个提示词对应的 2,699 段文字
    2. 1.2测试集的提示词从不出现在训练集里
    3. 1.3按 prompt_id 做 GroupKFold,和入门示例一样
    4. 1.4CV 用 balanced accuracy 打分,不用 accuracy
  2. 02风格特征(CPU)
    1. 2.1词 1–2 元 + 字符 3–5 元 TF-IDF
    2. 2.2LogisticRegression 或 LinearSVC 分类头
    3. 2.3功能词、标点、词形
    4. 2.4文体统计特征喂给 LightGBM
  3. 03语言模型特征(GPU)
    1. 3.1冻结的 Qwen3-8B-Base 隐藏层,平均池化
    2. 3.2上面接逻辑回归或 SVM 分类头
    3. 3.3冻结的编码器,比如 DeBERTa-v3-large
    4. 3.4对 Qwen3-8B-Base 做 LoRA 微调
  4. 04测试与提交
    1. 4.1按主题给测试文字聚类(不用标签)
    2. 4.2在每个簇内做提示词中心化
    3. 4.3用 OOF 拟合的权重融合对数概率
    4. 4.4submission.parquet,断网,不超过 9 小时

关键信息

主办方
Kaggle(赞助方:Google LLC)· Featured 代码比赛 ↗
奖金
50,000 美元:第 1–10 名各 5,000 美元 ↗
截止时间
报名和合并队伍:2027 年 1 月 6 日。最终提交:2027 年 1 月 13 日 23:59(UTC)(Kaggle API 写的是 1 月 14 日,按 Overview 上较早的日期准备) ↗
任务
给每段 40–250 词的文字标上 18 个模型名之一,这些模型来自 OpenAI、Google、Anthropic、Qwen、ZAI 和 Moonshot AI ↗
代码限制
通过 notebook 提交:CPU 或 GPU 运行不超过 9 小时,断网,输出 submission.parquet。允许使用免费公开的外部数据和预训练模型 ↗
队伍和提交
每队最多 5 人 · 每天 5 次提交 · 最多选 2 个最终提交 ↗
数据许可
CC BY-SA 4.0。获奖者要以 CC-BY 4.0 或开源许可证公开解决方案 ↗
参与情况(2026 年 10 月 17 日)
开赛三天:4,455 名报名者 · 1,052 名参与者 · 1,024 支队伍 · 3,966 次提交 ↗

题目拆解

一行数据是什么?

一段独立的回答,长 40–250 词,回答的是关于哲学、物理、数学、生物、计算机科学或创意写作的提示词。你要预测是 18 个模型中的哪一个写的。

难在哪里

测试集的提示词是新的,所以主题词迁移不过去。很多标签是兄弟模型:五个 OpenAI 模型(其中三个是 gpt-5.6 的变体)、四个 Gemini 模型和五个 Claude 模型。0.490 那个 notebook 加了按模型家族分的分类头,ntl v6 加载了一个叫 “Qwen3-8B LoRA + Claude Head” 的数据集:分数就是在分辨兄弟模型这里拉开的。

主题陷阱

在训练集里,几乎所有 18 个模型都回答了每一个提示词,所以主题词识别的是提示词,而不是模型。强的 notebook 会按主题给测试文字聚类,再减去每个簇的平均值(“提示词中心化”),剩下的就是风格。这一步不用标签,但只有测试集里同一个提示词有好几段文字时才有用。

类别分布是在下注

Kaggle 说测试集中每个模型的文字数量不相等,而且公开榜和私榜的模型分布不同。把预测往各类数量相等方向推的 notebook(Sinkhorn 平衡)是在赌分布。0.541 那个 notebook 用一半观测到的类别分布、一半均匀分布来对冲。

排行榜上的平台

2026 年 10 月 17 日(UTC 6:00),公开榜最高分是 0.592。第 15–32 名全是 0.552,第 15–49 名都在 0.549 到 0.552 之间,正好是最好的公开 notebook 的分数范围。公开榜只用了大约 40% 的测试数据,所以最后这些名次可能会大洗牌。

下限在哪里

无论类别分布如何,随机猜的 balanced accuracy 大约是 0.056(18 选 1)。官方 CPU 入门示例两分钟内就能拿到 0.322,是一个合理的第一目标。

你会拿到什么(数据页)

开发期间 test.csv 只有几行示例。提交时,你的 notebook 会在大约 4,000 段文字的隐藏测试集上重新运行。

train.csv
150 个提示词对应的 2,699 段文字。列:id、prompt_id、text、model(标签)
test.csv
id、text。隐藏测试集里的提示词不会出现在 train.csv 中
sample_submission.parquet
每个测试 id 一行,列为 id 和 model
标签
gpt-5.5, gpt-5.6-luna, gpt-5.6-sol, gpt-5.6-terra, gpt-6-astra · gemini-3.1-pro-preview, gemini-3.6-flash, gemini-3.7-flash, gemini-3.8-flash · claude-fable-5, claude-opus-4-6, claude-opus-4-8, claude-opus-5, claude-sonnet-5 · qwen3.8-max · glm-5.3, glm-5.3-flash · kimi-k3
大小和许可
总共 2.14 MB,CC BY-SA 4.0。必须先接受规则才能下载

提交格式(来自 Overview)

id,model
a1b2c3d4e5f6,gpt-6-astra
b2c3d4e5f6a7,claude-opus-5
...

# written as submission.parquet in the notebook's working directory
# rejected if: id or model column missing, nulls, a repeated id,
# or a label outside the 18 listed

来自比赛的数据页或概览页 ↗

评测指标:Balanced accuracy(18 个模型的宏平均召回率)

对 18 个模型中的每一个,算出它的测试文字被你标对的比例,再对这 18 个数取平均。文字少的模型和文字多的模型权重一样,所以一直预测最常见的模型没有用。

测试集中每个模型的文字数量不相等,公开榜和私榜的模型分布也不同。公开榜用了大约 40% 的测试数据;奖项按另外 60% 决定。 ↗

2026 年 10 月 17 日公开榜最高分: 0.592 ↗

公开基线

公开分数和运行时间来自 2026 年 10 月 17 日各 notebook 页面上的显示;方法说明来自我们通过 Kaggle 公开 API 拉取并阅读的代码和说明。我们没有运行它们。这些分数并不独立:票数最高的 12 个 notebook 里,9 个加载了 Qwen3-8B-Base,5 个加载了同一套 UltraBERT-380M 各折权重,5 个复用了 Lucas Boesen 发布的冻结编码器或 GLM-4 产物。

Notebook▲LB为什么值得看
Starter Notebook for Name That LLM Competition1370.322官方风格的入门示例:词 + 字符 TF-IDF 接 LogisticRegression,按 prompt_id 做 5 折 GroupKFold,CPU,1 分 46 秒。先 fork 这个。
qwen blend210.414普通 TF-IDF 加上 Qwen3-1.7B-Base 第 17 和第 20 层的平均池化特征,在对数概率空间融合(作者的 CV:0.431)。GPU 上 12 分钟,是超过入门示例的低成本第一步。
SVM Frozen Qwen270.452冻结的 Qwen3-8B-Base 向量接 SVM,并附有关于“不按提示词泄露”的验证方法的细致说明(最好版本 0.452;最新版本 0.429)。
0.490 | Highest Public Notebook | Qwen3 Fusion520.490Qwen3 8B/14B 浅层分类头、文本风格 SVM、DeBERTa 和按模型家族分的分类头。只做推理,分类头离线拟合(3 分 20 秒)。
Name That LLM v5470.519Gemma 4 12B、Qwen3 和 Qwen3.5 特征,加小组中心化。耗时 2 小时 1 分,继续加模型时要盯住 9 小时上限。
0.541 | LoRA + Adaptive Centering1000.541复现了 Lucas Boesen 的第 1 版。它的说明是对主题聚类和提示词中心化讲得最清楚的。
LoRA x Adaptive Centering820.549原版:风格模型、冻结语言模型分类头、编码器、Qwen3-8B LoRA 和 token 注意力分类头,按提示词分组的 OOF 预测做融合。版本说明里写了每个成员带来了什么提升。
ntl v6210.552平台分数。在同一套方案上加了一个包含额外 API 生成文字的公开数据集,以及一个专门识别 Claude 的分类头。

当前最高票的 notebook

每天从 Kaggle API 更新(最近一次 2026-11-16),未经编辑审核;上面的表格是审核过的清单。

时间线

  1. 开始日期
  2. 报名截止(在这一天前接受规则),也是合并队伍的截止日
  3. 最终提交截止,UTC 23:59

分步计划

  1. 第 1 天:报名并 fork 入门示例

    接受规则(2027 年 1 月 6 日停止报名),fork 入门 notebook 并提交一次。看到大约 0.32 的分数,就说明你的 parquet 文件和 18 个标签字符串都对了。

  2. 相信你自己的验证

    保留入门示例的按 prompt_id 做 GroupKFold 和 balanced accuracy 打分。随机切分会泄露提示词,分数会比排行榜好看得多。

  3. 找出容易混淆的类别

    用 out-of-fold 预测打印一个 18×18 的混淆矩阵,先看家族内部:gpt-5.6 三兄弟、Gemini Flash 的几个版本和 Claude Opus 的几个版本最容易混。

  4. 转向语言模型特征

    把 Qwen3-8B-Base 作为 Kaggle Model 挂载(网络保持关闭),对隐藏层做平均池化,再拟合一个逻辑回归或 SVM 分类头。SVM Frozen Qwen 表明这一步在公开榜上大约值 0.45。

  5. 谨慎地加入提示词中心化

    先读 0.541 那篇说明,然后在你的验证折里按主题聚类并减去簇均值。也要在每个提示词只有 1–3 段文字的情况下测试,因为你不知道隐藏集里有多少段。

  6. 融合,然后选两个最终提交

    在 out-of-fold 对数概率上拟合融合权重。选 2 个最终提交时,一个选 CV 最好的,另一个选不强制各类数量相等的,因为私榜的模型分布和公开榜不同。

  7. 收尾

    在断网、9 小时以内把最终 notebook 从头到尾重新跑一遍,并在 2027 年 1 月 13 日 23:59(UTC)之前选定。