DMindベンチマーク
DMind Benchmarkは、大規模言語モデルにおけるWeb3理解を評価するための評価スイートです。513件の投稿の中からKDD 2026のDatasets & Benchmarksトラックに採択され（採択率は約29%）、2026年8月に韓国・済州で開催される本会議で発表される予定です。
このデータセットは公開されており、Hugging Faceから13,000回以上ダウンロードされています。DMindエコシステムで最も使われているアーティファクトです。
対象範囲
9つのWeb3サブドメインにまたがる1,917問の専門家レビュー済み問題：
基礎的なブロックチェーン概念：ハッシュ、マークルツリー、コンセンサス、PoW/PoS、ブロック構造、フォーク。
ブロックチェーン基盤：レイヤー1とレイヤー2（OptimisticロールアップとZKロールアップ）、ブリッジ、ノードアーキテクチャ、RPC。
スマートコントラクト：Solidity、呼び出しの仕組み、ストレージ、EVMバイトコード、アップグレードパターン。
DeFiの仕組み：AMMの数理、貸出金利モデル、清算ロジック、デリバティブの価格付け。
DAO：ガバナンストークン、投票、提案、定足数、タイムロック。
NFT：ERC-721/1155規格、ロイヤリティの仕組み、フロア価格、NFTレンディング。
トークンエコノミクス：発行、ベスティング、バーン、インセンティブ整合、価格発見。
ミーム概念：暗号資産特有の文化的用語とミームトークンの動態。
セキュリティ脆弱性：リエントランシー、フラッシュローン攻撃、オラクル操作、署名リプレイ、一般的な監査指摘事項。
問題形式
このベンチマークでは2種類の問題を用います。多肢選択問題は事実の記憶をテストします。自由記述タスクにはスマートコントラクトのデバッグが含まれ、モデルはSolidityのコード断片にある脆弱性を見つける必要があります。また、オンチェーン数値推論では、AMMプールの状態が与えられ、特定の攻撃ベクトルによる利益を計算しなければなりません。
自由記述タスクは、多肢選択より意図的に難しく設計されています。モデルは多肢選択ならパターン照合で切り抜けられますが、数値推論とコード分析では実際に問題を解く必要があります。
論文が示したこと
ベンチマークの最新版では、GPT-5、Claude Sonnet 4.5、DeepSeek、Gemini、Grok、Qwenシリーズを含む31の主要大規模モデルを評価しました。特に注目すべき3つの知見があります。
基礎はほぼ解決済み、深さは未解決
主要モデルはいずれも、Wikipediaに載っているようなブロックチェーン基礎知識では概ね良い成績を示します。しかし、トークンエコノミクス、ミーム概念、セキュリティでは性能が急落します。これらはWeb3の専門知識が実際に重要となる領域であり、汎用モデルはもっともらしいが誤った回答を作り出しがちです。
コストと精度は連動しない
精度を1トークン当たりのコストに対してプロットすると、明確なパレートフロンティアが現れます。GPT-5シリーズは高精度側に位置します。GPT-OSS-120B、Kimi K2、Qwen3-235B Thinkingを含む一部のオープンモデルは、中間帯でより良いコストパフォーマンスを示します。有名なクローズドモデルのいくつかは、Web3タスクに限ると高価であるうえに代替モデルより低性能であることが分かりました。論文は完全なデータを公開しているため、数値を再現できます。
より多くのデータでファインチューニングしても差は埋まらない
論文では制御実験を行っています。3つのベースモデル（QwQ-32B、Qwen3-32B、DeepSeek-R1-Distill-Llama-70B）を取り上げ、それぞれをLoRAでベンチマーク全データセット上でファインチューニングし、改善を測定します。学習曲線は依然として緩やかなままです。データを増やしてもWeb3推論は獲得できません。本当のボトルネックは、多段階推論、概念間の関連付け、そして時間とともに変化する市場の理解です。これが、より大きな学習データセットではなく新しい学習手法が必要だという主張であり、DMindがHPSとC³-SFTに投資した理由でもあります（参照 学習手法).
読むにはこちら
論文： arXiv:2504.16116
KDD 2026レビュー： OpenReviewフォーラム
最終更新
役に立ちましたか？