大语言模型（LLM）测评标准
LLM Evaluation Benchmarks & Standards —— 从"会聊天"到"可量化"，一套测评体系如何定义智能
1. 总览
大语言模型测评（LLM Evaluation）是围绕模型的知识、推理、代码、中文、长文本、指令遵循、对齐安全等能力，用标准化数据集与打分规则对模型进行量化比较的科学工程。测评既是研发的指挥棒（决定下一版模型怎么训），也是市场的裁判员（决定哪家模型排在榜首、企业采购选哪家）。
一套完整的 LLM 测评体系包含三个层面：基准数据集（Benchmark）提供"试卷"，评测指标（Metric）定义"评分标准"，评测框架/平台（Harness / Leaderboard）执行"阅卷与排名"。三者共同构成从能力维度到最终榜单的完整链路。
| 关键事实 | 内容 |
|---|---|
| 测评历史起点 | 2018 年 GLUE 基准发布，用于衡量通用语言理解；2021 年 SuperGLUE 与 MMLU 成为大模型时代主流基准。 |
| 三大国际阵营 | 美国（MMLU、HELM、LMArena）、中国（C-Eval、CMMLU、SuperCLUE、OpenCompass 司南）、全球开源社区（lm-evaluation-harness、Open LLM Leaderboard）。 |
| 测评维度扩展 | 从"问答选择题"扩展到代码（HumanEval/SWE-bench）、数学（GSM8K/MATH/AIME）、长文本（LongBench/RULER）、多模态（MMMU）、智能体（AgentBench/GAIA），2025 年后进一步走向终端（Terminal-Bench 2.1）、网络安全（CyberGym）、工具调用（Toolathlon-Verified）、全栈开发（NL2Repo/DeepSWE/DSBench）。 |
| 人类偏好榜单 | LMArena（原 Chatbot Arena）以匿名对战 + Elo 评分累计超 1 亿次人类投票，成为最受关注的"真实体验"榜单。 |
| 中国监管要求 | 依据《生成式人工智能服务管理暂行办法》，大模型上线须通过安全评估与备案；中国信通院发布"方升"大模型基准测试体系。 |
阅读路径：先以行为图（用例 → 活动 → 时序 → 状态）看测评体系"做什么"，再以结构图（组件 → 类）看它"由什么组成"，最后用基准速查表、指标、榜单与监管章节收尾。
名词解释
Benchmark（基准/基准测试）：带标准答案的评测题集，例如 MMLU 有 1.4 万道单选题。
Metric（评测指标）：对模型输出打分的量化规则，如 Accuracy（准确率）、pass@k（代码通过率）、Elo（对战得分）。
Harness（评测引擎/框架）：自动运行"加载模型 → 构造提示 → 推理 → 评分"的软件，如 EleutherAI 的 lm-evaluation-harness、OpenCompass。
Leaderboard（榜单）：按统一流程评测多个模型后发布的排名表。
Benchmark（基准/基准测试）：带标准答案的评测题集，例如 MMLU 有 1.4 万道单选题。
Metric（评测指标）：对模型输出打分的量化规则，如 Accuracy（准确率）、pass@k（代码通过率）、Elo（对战得分）。
Harness（评测引擎/框架）：自动运行"加载模型 → 构造提示 → 推理 → 评分"的软件，如 EleutherAI 的 lm-evaluation-harness、OpenCompass。
Leaderboard（榜单）：按统一流程评测多个模型后发布的排名表。
2. 用例图 · 测评参与方与行为
图1：LLM 测评参与方与用例（用例图）
LLM 测评不是单一角色的动作，而是多方协作的生态行为：模型厂商研发并对外宣发能力，第三方机构维护中立基准与榜单，应用方基于评测结果选型，监管机构依据评测做备案安全把关，学术界用基准做科研比较。用户在实际使用中的偏好（Arena 投票）也是重要评测输入。
名词解释
第三方测评机构（Independent Evaluator）：非模型厂商维护基准与排名的组织，如 Stanford HELM、上海AI实验室 OpenCompass、SuperCLUE 中文榜单。
备案与安全评估（Safety Review）：中国监管要求，大模型上线前需通过安全测评并完成算法/生成式 AI 服务备案。
对齐（Alignment）：让模型行为符合人类意图与价值观的过程，其测评常以"有用、诚实、无害（HHH）"为框架。
第三方测评机构（Independent Evaluator）：非模型厂商维护基准与排名的组织，如 Stanford HELM、上海AI实验室 OpenCompass、SuperCLUE 中文榜单。
备案与安全评估（Safety Review）：中国监管要求，大模型上线前需通过安全测评并完成算法/生成式 AI 服务备案。
对齐（Alignment）：让模型行为符合人类意图与价值观的过程，其测评常以"有用、诚实、无害（HHH）"为框架。
3. 活动图 · 一次基准测评的主流程
图2：一次标准基准测评的执行流程（活动图）
无论评测哪个维度，一次标准测评都遵循同一主流程：选定基准 → 加载模型 → 构造提示词 → 批量推理 → 答案抽取 → 评分 → 聚合与报告。其中"评分"是分水岭：选择题类基准用自动判分（Exact Match / 归一化多项选择），代码类基准用实际运行（pass@k），开放生成类基准则依赖 LLM-as-a-Judge（用大模型给大模型打分）或人类评审。
名词解释
提示词构造（Prompt Construction）：把基准题转化为模型输入模板，多数选择题基准使用 0-shot 或 5-shot（给 5 个示例）方式。
归一化多项选择（Normalized Multiple Choice）：分别计算每个选项的 log-likelihood 取最大者，降低输出格式对评分的影响。
LLM-as-a-Judge：用一个强模型（如 GPT-4）按评分卡给另一模型回答打分，是大模型时代最常用的自动化开放题评分法。
提示词构造（Prompt Construction）：把基准题转化为模型输入模板，多数选择题基准使用 0-shot 或 5-shot（给 5 个示例）方式。
归一化多项选择（Normalized Multiple Choice）：分别计算每个选项的 log-likelihood 取最大者，降低输出格式对评分的影响。
LLM-as-a-Judge：用一个强模型（如 GPT-4）按评分卡给另一模型回答打分，是大模型时代最常用的自动化开放题评分法。
4. 时序图 · 自动打分机制
图3：LLM-as-a-Judge 打分时序（时序图）
开放生成类基准（如 MT-Bench、AlignBench）的核心机制是 LLM-as-a-Judge：评测框架把「题目 + 待评模型回答 + 评分标准」组装成评审提示，发给裁判模型，裁判按 1–10 或 1–100 打分并给出理由；多个裁判 / 多次采样后取平均以降低抖动。人类评审（人工标注员）则用于校正裁判模型的系统性偏差（如偏爱更长回答）。
名词解释
MT-Bench：由 LMSYS 提出的多轮对话基准，80 道题、8 类场景，用 GPT-4 当裁判按 1–10 打分。
裁判偏差（Judge Bias）：LLM 裁判常见偏差——偏爱更长/更详尽回答（长度偏差）、偏爱自身输出（自恋偏差）、位置偏差（先出现者更受偏爱）。
Elo 评分：源自国际象棋，用于人类偏好的两两对战排名，胜者得分增加、败者减少，LMArena 榜单采用之。
MT-Bench：由 LMSYS 提出的多轮对话基准，80 道题、8 类场景，用 GPT-4 当裁判按 1–10 打分。
裁判偏差（Judge Bias）：LLM 裁判常见偏差——偏爱更长/更详尽回答（长度偏差）、偏爱自身输出（自恋偏差）、位置偏差（先出现者更受偏爱）。
Elo 评分：源自国际象棋，用于人类偏好的两两对战排名，胜者得分增加、败者减少，LMArena 榜单采用之。
5. 状态图 · 测评任务生命周期
图4：一个测评任务的生命周期（状态机图）
从工程视角，一个测评任务经历 准备 → 排队 → 运行 → 评分 → 汇总 → 发布/归档 各状态，任何环节出错（如 API 超时、生成违规）都会触发重试或终止。状态机管理保证测评可复现、可审计——这正是"测评标准"与"随便跑个分"的本质区别。
名词解释
可复现性（Reproducibility）：同一模型在相同配置下重复测评应得到相同分数；需要固定采样种子、温度参数、版本号。
数据污染/作弊（Data Contamination / Benchmark Gaming）：模型训练数据中混入测试集，导致分数虚高，是测评最大的公信力威胁。
可复现性（Reproducibility）：同一模型在相同配置下重复测评应得到相同分数；需要固定采样种子、温度参数、版本号。
数据污染/作弊（Data Contamination / Benchmark Gaming）：模型训练数据中混入测试集，导致分数虚高，是测评最大的公信力威胁。
6. 组件图 · 测评体系分层
图5：LLM 测评体系的分层结构（组件图）
一套完整的测评体系自下而上分为四层：基准数据层（存放题库与标准答案）→ 评测引擎层（执行推理与判分，如 lm-evaluation-harness、OpenCompass）→ 聚合分析层（跨维度加权汇总、置信区间）→ 展示应用层（榜单、报告、选型对比）。安全对齐评测与性能（时延/成本）评测作为横向能力贯穿其中。
名词解释
置信区间（Confidence Interval）：因基准题目随机采样，榜单分数带 ±区间（如 1507±5），用于衡量排名的统计可信度。
聚合（Aggregation）：把多个基准的得分按权重合成总分，如 HELM 的加权平均、各厂商的"综合得分"。
置信区间（Confidence Interval）：因基准题目随机采样，榜单分数带 ±区间（如 1507±5），用于衡量排名的统计可信度。
聚合（Aggregation）：把多个基准的得分按权重合成总分，如 HELM 的加权平均、各厂商的"综合得分"。
7. 类图 · 评测领域模型
图6：测评体系的领域对象模型（类图）
领域模型刻画"一套测评标准由哪些对象组成、如何关联"：Benchmark 包含多个 Task，每个 Task 有 Metric 与 Dataset；Evaluator（框架）调用模型产出 Response，经 Metric 计算得到 Score，Score 聚合成 Leaderboard 上的排名；人类或裁判模型均可扮演 Judge 角色。
名词解释
Task（任务/子任务）：基准中的一类题，如 MMLU 包含 57 个学科子任务，每个子任务单独计分再平均。
Model API / Checkpoint：被测评的模型可以是商业 API（黑盒，只给输出）或开源权重（白盒，可算 log-likelihood）。
Judge（裁判）：执行打分的实体，可能是规则（自动判分）、人类评审员或一个更强的 LLM。
Task（任务/子任务）：基准中的一类题，如 MMLU 包含 57 个学科子任务，每个子任务单独计分再平均。
Model API / Checkpoint：被测评的模型可以是商业 API（黑盒，只给输出）或开源权重（白盒，可算 log-likelihood）。
Judge（裁判）：执行打分的实体，可能是规则（自动判分）、人类评审员或一个更强的 LLM。
8. 主流基准 Benchmark 速查
8.1 综合知识与推理
| 基准 | 全称/简介 | 规模 | 指标 | 适用 |
|---|---|---|---|---|
| MMLU | Massive Multitask Language Understanding，57 个学科的多项选择题 | ≈1.4 万题 | Accuracy（5-shot） | 通用知识，全球最常用 |
| MMLU-Pro | MMLU 加强版：每题 10 个选项、干扰项更强、更重推理 | ≈1.2 万题 | Accuracy | 对抗"刷分"后的新一代通用基准 |
| GPQA | Graduate-Level Google-Proof Q&A，研究生级科学题，普通人难答对 | 448 题（Diamond 198） | Accuracy | 前沿科学推理 |
| ARC | AI2 Reasoning Challenge，小学科学推理题 | 7.8k | Accuracy | 常识推理（ARC-Challenge 较难） |
| HellaSwag | 常识补全，对抗性过滤后的句子续写 | 10k | Accuracy | 常识/物理直觉 |
| BBH | BIG-Bench Hard，BIG-Bench 中 23 个最难的子任务 | 23 tasks | Accuracy（CoT） | 多步推理综合 |
| TruthfulQA | 真实性与幻觉测试，对抗性设计诱导模型编造 | 817 题 | Accuracy / Info / True | 事实性、幻觉 |
8.2 数学
| 基准 | 简介 | 规模 | 指标 | 适用 |
|---|---|---|---|---|
| GSM8K | Grade School Math 8K，小学应用题，需多步推理 | 8.5k | Exact Match（CoT） | 基础数学推理 |
| MATH | 竞赛数学，分 7 个难度等级 | 12.5k | Exact Match（final answer） | 高难度数学 |
| AIME | 美国数学邀请赛真题，答案为 0–999 整数 | 历年真题 | Exact Match | 前沿数学能力 |
| HLE | Humanity's Last Exam，人类极限难度的跨学科题 | 2,500+ | Accuracy | 顶尖模型区分度 |
8.3 代码
| 基准 | 简介 | 规模 | 指标 | 适用 |
|---|---|---|---|---|
| HumanEval | Python 函数补全，OpenAI 发布 | 164 题 | pass@k | 代码生成入门基准 |
| MBPP | Mostly Basic Python Problems，基础编程题 | 974 题 | pass@k | 基础代码能力 |
| LiveCodeBench | 动态更新题目，抗污染设计 | 按季新增 | pass@1 | 抗作弊的代码评测 |
| SWE-bench | 真实 GitHub issue 修复，测试智能体能力 | 2,294（Verified 500） | % resolved | Agent 级真实编程 |
| WebDev/Code Arena | 真实前端/全栈网页开发任务（Arena） | 实时积累 | 人工/自动评分 | 网页开发工程能力 |
8.4 中文能力
| 基准 | 简介 | 规模 | 指标 | 适用 |
|---|---|---|---|---|
| C-Eval | 清华大学发布的中文综合评测，52 学科 | 13,948 题 | Accuracy（few-shot） | 中文通用知识，中国模型必考 |
| CMMLU | 中文 MMLU，67 个主题 | 11,528 题 | Accuracy | 中文通识与专业能力 |
| SuperCLUE | 中文通用大模型综合基准，覆盖开放题与多轮 | 多套题集 | 综合得分 | 中文大模型排行榜 |
| AlignBench | 中文对齐能力评测（有用性、诚实性、无害性） | 8 大类 683 题 | LLM-as-a-Judge | 中文对齐质量 |
| AGIEval | 中国高考、公务员等标准化考试改编 | 8k+ | Accuracy | 中文应试能力 |
8.5 长文本 · 多模态 · 智能体
| 基准 | 简介 | 指标 | 适用 |
|---|---|---|---|
| LongBench / L-Eval | 长上下文理解，文档可到 32k–100k+ tokens | 各任务自有指标 | 长文档处理 |
| RULER | 合成长文本检索/推理，可控长度扩展 | Accuracy | 上下文窗口真实有效长度 |
| Needle-in-a-haystack | 把一句话藏进长文再检索 | 检索成功率 | 长文本记忆能力 |
| MMMU | Massive Multi-discipline Multimodal Understanding，图文综合 | Accuracy | 多模态理解 |
| MMBench / MM-Vet | 多模态综合能力与多任务评测 | Accuracy / GPT-4 评分 | 视觉语言能力 |
| IFEval | Instruction-Following Eval，可验证的格式约束指令 | 准确率 | 指令遵循 |
| AgentBench | 8 类智能体环境（OS、DB、Web、游戏等） | 任务完成率 | 智能体能力 |
| GAIA | 真实世界助理性任务，需工具调用与多步推理 | 解答正确率 | 通用智能体 |
| τ-bench | 客服智能体基准，结构化 API 环境 | 任务成功率 | Agent 生产级应用 |
| Terminal-Bench (T-Bench) | 终端/CLI 智能体基准，在 Linux 虚拟机终端里执行运维、系统管理与软件工程任务 | 任务成功率 | 终端 Agent、命令行 AI |
8.6 新一代 Agent 评测（2025–2026 前沿基准）
这是 2025 年以来一线模型（如 DeepSeek V4、Claude Opus 5、GPT-5.x）发布时实际引用的前沿 Agent 评测基准，取代早期"刷选择题"的时代：重点转向长时程真实任务、工具调用、终端操作、安全攻防、全栈开发，强调抗数据污染与人工核验（Verified）。
| 基准 | 简介 | 指标 | 适用 |
|---|---|---|---|
| Terminal-Bench 2.1 | T-Bench 第二代加强版（Stanford × Laude 联合），89+ 高质量任务，在真实 Linux 沙箱终端中评测 CLI/运维/软件工程 Agent | 任务成功率 | 终端 Agent、命令行 AI |
| NL2Repo | NL2RepoBench，从自然语言需求"0→1"生成完整可运行代码仓库 | 仓库可用性 / 测试通过率 | 长时程软件工程、从零建项目 |
| CyberGym | UC Berkeley（sunblaze-ucb）网络安全评测框架，基于真实开源项目漏洞评测攻防 Agent | 任务完成率 / 漏洞利用成功 | 网络安全、攻防 Agent |
| DeepSWE | Datacurve 出品，长时程软件工程基准：113 个从零撰写、抗污染任务，覆盖 91 仓库 5 种语言，用人工手写验证器判分 | Pass@1 + 平均成本 | 前沿编码 Agent（区分顶尖模型） |
| Toolathlon-Verified | 港科大 Toolathlon（ICLR 2026）"工具十项全能"，600+ 真实软件环境的工具调用任务，经人工核验的最终版 | 任务成功率 | 多工具 / MCP 工具使用 |
| Agents' Last Exam | 伯克利 RDI，Humanity's Last Exam 的 Agent 版，超难多学科题需 Agent 自主检索推理 | Accuracy | 顶尖模型极限区分度 |
| AutomationBench | Zapier 出品，真实业务流程自动化（600 公开题），评测 Agent 完成企业级自动化任务 | 任务成功率 | 工作流自动化、企业 Agent |
| DSBench-FullStack | DSBench 全栈子集，数据科学 Agent 需打通"数据库→分析→全栈应用"完整链路 | 任务完成率 | 数据科学全栈 Agent |
| DSBench-Hard | DSBench 困难子集（ICLR 2025），精选难以被模板化解决的数据科学任务 | 任务完成率 | 高阶数据科学能力 |
说明：8.5 与 8.6 的区别在于——8.5 收录的 AgentBench/GAIA/τ-bench 是 2024 年前的"第一代 Agent 基准"；8.6 是 2025–2026 一线模型发布时的新一代标准。两者共同构成"Agent 能力"维度的完整谱系。
9. 评测指标 Metrics
| 指标 | 全称/含义 | 典型用途 | 说明 |
|---|---|---|---|
| Accuracy | 准确率 = 答对数/总题数 | 选择题类（MMLU、C-Eval） | 最简单直观，但无法区分难度 |
| Exact Match (EM) | 答案与标准答案逐字一致 | 数学、抽取类（GSM8K、MATH） | 常配合"最终答案"解析使用 |
| pass@k | 生成 k 次中至少 1 次通过测试 | 代码类（HumanEval） | 衡量代码生成可靠性；pass@1 代表一次成功率 |
| F1 / BLEU / ROUGE | 基于 token 重叠的相似度 | 摘要、翻译类 | 与参考文本的重合度，难反映语义 |
| Elo Rating | 两两对战后的相对评分 | 人类偏好榜（LMArena） | 随投票实时变化，带 ±置信区间 |
| Win Rate | 两两对比中获胜的比例 | 人类/LLM 评审对比 | Arena 的"对战胜率"指标 |
| LLM-as-a-Judge 分 | 裁判模型按评分卡打分（1–10 / 1–100） | 开放题、对齐（MT-Bench、AlignBench） | 速度快但存在裁判偏差 |
| Human Evaluation | 人工标注员按标准打分/偏好 | 最终校准、产品体验 | 最可信但成本高、难以规模化 |
| Bias / Safety 指标 | 毒性、越狱成功率、偏置检测等 | 安全对齐（ToxiGen、XSTest、AdvBench） | 越狱测试衡量模型抵御恶意输入的能力 |
实践提示：任何单一指标都有缺陷。选择题 Accuracy 容易被"背题"（数据污染）刷高；代码 pass@1 与真实工程能力差距大（SWE-bench 更接近真实）；LLM-as-a-Judge 有长度/自恋偏差。规范评测应多基准交叉 + 分维度报告 + 报告数据来源与污染检查。
10. 主流榜单与平台
10.1 国际
| 平台 | 运营方 | 特色 |
|---|---|---|
| LMArena（原 Chatbot Arena） | Arena（原 LMSYS） | 匿名两两对战 + 人类投票 + Elo，按文本/代码/图像/视频/智能体分榜，累计超 1 亿投票；2026 年新增 AutoEval 即时校准分与事实性榜单 |
| Open LLM Leaderboard | HuggingFace | 全自动评测开源模型，统一 Harness 跑 MMLU/GSM8K/HumanEval 等 |
| HELM | Stanford CRFM | Holistic Evaluation of Language Models，强调透明性与多指标覆盖 |
| Artificial Analysis | 独立机构 | 把质量分、时延、成本放在同一张表，便于性价比选型 |
10.2 中国
| 平台 | 运营方 | 特色 |
|---|---|---|
| OpenCompass 司南 | 上海AI实验室 | 开源评测体系，覆盖 100+ 数据集、全模态全栈评测 |
| SuperCLUE | 中文大模型测评社区 | 中文综合能力榜单，开放题 + 多轮 + 安全 |
| C-Eval / CMMLU | 清华大学 / 港中文（深圳）等 | 中文选择题基准，论文级公认 |
| FlagEval 天秤 | 北京智源研究院 | 多维度、开放集、动态更新的模型评测 |
| 中国信通院方升基准 | CAICT | 官方认可的"方升"大模型基准测试体系，能力+安全+性能一体化 |
名词解释
AutoEval（Arena 2026）：在人类投票尚未积累时，用校准后的自动评测即时给出模型分数，与人类偏好榜单对齐。
Factuality（事实性）：Arena 2026 新增的按回答事实准确度排名的榜单维度。
EvalHarness：EleutherAI 的 lm-evaluation-harness，业界事实上的开源评测标准实现。
AutoEval（Arena 2026）：在人类投票尚未积累时，用校准后的自动评测即时给出模型分数，与人类偏好榜单对齐。
Factuality（事实性）：Arena 2026 新增的按回答事实准确度排名的榜单维度。
EvalHarness：EleutherAI 的 lm-evaluation-harness，业界事实上的开源评测标准实现。
11. 中国大模型测评与监管
在中国，LLM 测评不仅是技术活动，更承担合规准入功能。《生成式人工智能服务管理暂行办法》于 2023 年 8 月 15 日施行，要求生成式 AI 服务在对外提供前进行安全评估并完成算法备案与大模型备案。测评因此成为大模型上线的"准生证"流程。
| 监管/评测体系 | 内容 |
|---|---|
| 《生成式人工智能服务管理暂行办法》 | 2023.8.15 施行；明确训练数据合法性、内容安全、标识要求，上线前安全评估。 |
| 算法备案（网信办） | 深度合成/生成式算法需向国家网信办备案，包含算法机理说明。 |
| 信通院"方升"大模型基准测试 | 覆盖能力（知识/推理/数学/代码/中文）、安全（价值观/有害性/越狱）、性能（时延/吞吐/成本）。 |
| TC260 大模型安全评测标准 | 全国信息安全标准化技术委员会组织的大模型安全能力与评估指南。 |
| 备案白名单 | 截至 2024 年，已有多批国产大模型（智谱、百度、阿里、月之暗面、MiniMax 等）通过备案可正式对外提供服务。 |
企业实践要点：面向公众提供服务的大模型须走"安全评估 → 算法备案 → 上线"，而内部使用/科研模型通常不强制备案但建议建立内部安全测评流程。
12. 挑战与争议
- 数据污染（Contamination）：模型训练语料混入公开基准答案，导致分数虚高。应对：动态更新题库（LiveCodeBench）、合成题、出题保密。
- 榜单饱和（Saturation）：MMLU/GSM8K/HumanEval 等早期基准被顶尖模型打满，失去区分度，因此不断出现更难的 MMLU-Pro、GPQA、HLE。
- AI 投票操控 Arena：机器人刷票可能扭曲人类偏好榜单；Arena 已引入检测与投票治理。
- 裁判偏差：LLM-as-a-Judge 对长度、语气的偏好会影响对齐/开放题分数。
- 选择性晒分：厂商倾向只公布对自己有利的基准，缺乏统一口径导致"人人第一"。
- 真实场景鸿沟：静态选择题与真实 Agent 任务差距大，业界正从"刷分基准"转向"真实任务评测"（SWE-bench、GAIA、DeepSWE、Terminal-Bench、Arena 真实工作负载）。
13. 术语速查表
| 术语 | 英文 | 解释 |
|---|---|---|
| 基准 / 基准测试 | Benchmark | 带标准答案的评测题集 |
| 评测指标 | Metric | 对输出打分的量化规则 |
| 评测框架 | Harness / Evaluator | 自动化执行评测的软件 |
| 榜单 | Leaderboard | 多模型统一评测后的排名 |
| 零样本 / 少样本 | 0-shot / few-shot | 不提供 / 提供若干示例后推理 |
| 思维链 | Chain-of-Thought (CoT) | 要求模型先写推理过程再给答案 |
| 准确率 | Accuracy | 答对比例 |
| 代码通过率 | pass@k | k 次生成中至少一次通过测试的概率 |
| 大模型当裁判 | LLM-as-a-Judge | 用强模型按评分卡给模型打分 |
| 对战评分 | Elo Rating | 两两对战产生的相对评分 |
| 数据污染 / 作弊 | Contamination / Gaming | 训练集混入测试数据导致虚高 |
| 对齐 | Alignment | 模型行为符合人类意图/价值观 |
| 幻觉 | Hallucination | 模型生成看似合理但错误的内容 |
| 越狱 / 提示注入 | Jailbreak / Prompt Injection | 恶意输入绕过模型安全限制 |
| 多模态 | Multimodal | 图文音视频等多种输入模态 |
| 智能体 | Agent | 能调用工具、多步自主完成任务 |