DMind 基准
DMind Benchmark 是一个用于评估大语言模型对 Web3 理解能力的评测套件。它在 513 份投稿中被 KDD 2026 Datasets & Benchmarks Track 录用（录用率约 29%），并将于 2026 年 8 月在韩国济州岛举行的主会议上展示。
该数据集是开放的，已在 Hugging Face 上被下载超过 13,000 次。它是 DMind 生态系统中使用最广泛的资源。
涵盖内容
来自 9 个 Web3 子领域的 1,917 道专家审阅问题：
区块链基础概念：哈希、默克尔树、共识、工作量证明/权益证明、区块结构、分叉。
区块链基础设施：Layer-1 与 Layer-2（Optimistic Rollup 与 ZK Rollup）、桥、节点架构、RPC。
智能合约：Solidity、调用机制、存储、EVM 字节码、升级模式。
DeFi 机制：AMM 数学、借贷利率模型、清算逻辑、衍生品定价。
DAO：治理代币、投票、提案、法定人数、时间锁。
NFT：ERC-721/1155 标准、版税机制、地板价、NFT 借贷。
代币经济学：发行、归属解锁、销毁、激励对齐、价格发现。
梗文化概念：加密领域特有的文化术语和 meme 代币动态。
安全漏洞：重入攻击、闪电贷攻击、预言机操纵、签名重放、常见审计发现。
问题形式
该基准使用两类问题。选择题用于测试事实记忆。开放式任务包括智能合约调试，即模型需要在 Solidity 代码片段中找出漏洞；以及链上数值推理，即给定一个 AMM 池状态，模型需要计算某一特定攻击路径带来的利润。
开放式任务刻意比选择题更难。模型可以通过模式匹配来完成选择题；而数值推理和代码分析则需要真正解决问题。
论文发现了什么
该基准的最新版本已经评测了 31 个主流大模型，包括 GPT-5、Claude Sonnet 4.5、DeepSeek、Gemini、Grok 以及 Qwen 系列。三点发现尤为突出。
基础知识大多已解决，深度理解仍不足
所有主要模型在区块链基础知识上都表现得相当不错，这类内容在维基百科上也能看到。但在代币经济学、梗文化概念和安全性方面，性能急剧下降。这些才是 Web3 专业知识真正重要的地方，而通用模型往往会编造出看似合理、实则错误的答案。
成本与准确率并不总是同步变化
当你将准确率与每 token 成本进行绘图时，会看到一条清晰的帕累托前沿。GPT-5 系列处于高准确率一端。一些开源模型，包括 GPT-OSS-120B、Kimi K2 和 Qwen3-235B Thinking，在中间区间提供了更高性价比。少数知名闭源模型在 Web3 任务上的表现不仅更昂贵，甚至还弱于替代方案。论文公开了完整数据，因此这些数字可以复现。
在更多数据上微调并不能缩小差距
论文进行了一项受控实验。取三个基础模型（QwQ-32B、Qwen3-32B、DeepSeek-R1-Distill-Llama-70B），分别用 LoRA 在完整基准数据集上进行微调，并衡量提升幅度。学习曲线依然很平缓。喂入更多数据并不能让模型真正获得 Web3 推理能力。真正的瓶颈在于多步推理、跨概念关联，以及对一个持续变化市场的理解。这也是为什么需要新的训练方法，而不是更大的训练集；也是 DMind 投入 HPS 和 C³-SFT 的原因（见 训练方法).
阅读位置
论文： arXiv:2504.16116
KDD 2026 审稿： OpenReview 论坛
最后更新于
这有帮助吗？