> For the complete documentation index, see [llms.txt](https://minara.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://minara.ai/docs/minara-handbook/ru/tekhnologii/dmind/benchmark.md).

# Бенчмарк DMind

DMind Benchmark — это набор для оценки понимания Web3 у больших языковых моделей. Он был принят в трек KDD 2026 Datasets & Benchmarks из 513 заявок (коэффициент принятия около 29%) и будет представлен на основной конференции в Чеджу, Южная Корея, в августе 2026 года.

Набор данных открыт и был скачан более 13 000 раз с Hugging Face. Это наиболее используемый артефакт в экосистеме DMind.

## Что он охватывает

1 917 вопросов, проверенных экспертами, по 9 поддоменам Web3:

1. Фундаментальные концепции блокчейна: хеширование, деревья Меркла, консенсус, PoW/PoS, структура блока, форки.
2. Инфраструктура блокчейна: Layer-1 против Layer-2 (Optimistic против ZK Rollups), мосты, архитектура ноды, RPC.
3. Смарт-контракты: Solidity, механика вызовов, хранение, байткод EVM, шаблоны обновления.
4. Механизмы DeFi: математика AMM, модели процентных ставок кредитования, логика ликвидации, ценообразование деривативов.
5. DAO: токены управления, голосование, предложения, кворум, timelock-механизмы.
6. NFT: стандарты ERC-721/1155, механика роялти, floor pricing, кредитование NFT.
7. Токеномика: выпуск, вестинг, сжигание, согласование стимулов, определение цены.
8. Мем-концепции: культурные термины, специфичные для криптовалют, и динамика мем-токенов.
9. Уязвимости безопасности: reentrancy, атаки flash-loan, манипуляция оракулами, повтор сигнатуры, распространённые замечания аудита.

## Форматы вопросов

Бенчмарк использует два типа вопросов. Вопросы с несколькими вариантами ответа проверяют запоминание фактов. Открытые задания включают отладку смарт-контрактов, где модели нужно найти уязвимость в фрагменте Solidity, и числовое рассуждение на блокчейне, где модели дают состояние пула AMM и нужно вычислить прибыль от конкретного вектора атаки.

Открытые задания намеренно сложнее, чем вопросы с несколькими вариантами ответа. Модель может справляться с множественным выбором за счёт распознавания шаблонов. Числовое рассуждение и анализ кода требуют реального решения задачи.

## Что показала статья

В последней версии бенчмарка были оценены 31 mainstream large model, включая GPT-5, Claude Sonnet 4.5, DeepSeek, Gemini, Grok и серию Qwen. Выделяются три вывода.

### С основами в основном всё решено, глубины не хватает

Каждая крупная модель неплохо справляется с базовыми понятиями блокчейна — теми, что обычно встречаются в Википедии. Производительность резко падает на токеномике, мем-концепциях и безопасности. Это области, где Web3-экспертиза действительно важна, а универсальные модели склонны придумывать правдоподобные, но неверные ответы.

### Стоимость и точность не движутся вместе

Если построить график точности в зависимости от стоимости за токен, получается чёткая граница Парето. Серия GPT-5 находится на конце с наивысшей точностью. Некоторые открытые модели, включая GPT-OSS-120B, Kimi K2 и Qwen3-235B Thinking, дают лучшее соотношение цены и качества в середине диапазона. Оказывается, что некоторые известные закрытые модели одновременно и дорогие, и слабее альтернатив именно в задачах Web3. В статье публикуются все данные, чтобы результаты можно было воспроизвести.

### Дообучение на большем объёме данных не сокращает разрыв

В статье проводится контролируемый эксперимент. Берут три базовые модели (QwQ-32B, Qwen3-32B, DeepSeek-R1-Distill-Llama-70B), дообучают каждую на полном наборе данных бенчмарка с помощью LoRA и измеряют улучшение. Кривые обучения остаются пологими. Добавление данных не открывает Web3-рассуждение. Реальное узкое место — многошаговый вывод, связывание концепций между собой и понимание рынка, который меняется со временем. Это аргумент в пользу новых методов обучения, а не больших наборов данных для обучения, и причина, по которой DMind инвестировал в HPS и C³-SFT (см. [Методы обучения](/docs/minara-handbook/ru/tekhnologii/dmind/training-methods.md)).

## Где читать

* Статья: [arXiv:2504.16116](https://arxiv.org/abs/2504.16116)
* Набор данных: [huggingface.co/datasets/DMindAI/DMind\_Benchmark](https://huggingface.co/datasets/DMindAI/DMind_Benchmark)
* Обзор KDD 2026: [Форум OpenReview](https://openreview.net/forum?id=RvmxTg2mi5)


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://minara.ai/docs/minara-handbook/ru/tekhnologii/dmind/benchmark.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.