DMind 벤치마크
DMind Benchmark는 대규모 언어 모델의 Web3 이해를 평가하는 평가 세트입니다. 513건의 제출물 중 KDD 2026 Datasets & Benchmarks Track에 채택되었으며(채택률 약 29%), 2026년 8월 대한민국 제주에서 열리는 메인 컨퍼런스에서 발표될 예정입니다.
이 데이터셋은 공개되어 있으며 Hugging Face에서 13,000회 이상 다운로드되었습니다. DMind 생태계에서 가장 많이 사용되는 산출물입니다.
포함 내용
9개 Web3 하위 분야에 걸친 1,917개의 전문가 검토 질문:
기본 블록체인 개념: 해싱, 머클 트리, 합의, PoW/PoS, 블록 구조, 포크.
블록체인 인프라: 레이어 1 vs 레이어 2(옵티미스틱 롤업 vs ZK 롤업), 브리지, 노드 아키텍처, RPC.
스마트 컨트랙트: Solidity, 호출 메커니즘, 저장소, EVM 바이트코드, 업그레이드 패턴.
DeFi 메커니즘: AMM 수학, 대출 금리 모델, 청산 로직, 파생상품 가격 책정.
DAO: 거버넌스 토큰, 투표, 제안, 정족수, 타임락.
NFT: ERC-721/1155 표준, 로열티 메커니즘, 바닥가 책정, NFT 대출.
토큰 경제학: 발행, 베스팅, 소각, 인센티브 정렬, 가격 발견.
밈 개념: 암호화폐 특유의 문화 용어와 밈 토큰 동학.
보안 취약점: 재진입, 플래시론 공격, 오라클 조작, 서명 재전송, 일반적인 감사 지적 사항.
질문 형식
이 벤치마크는 두 가지 유형의 질문을 사용합니다. 객관식은 사실 회상을 테스트합니다. 서술형 과제에는 스마트 컨트랙트 디버깅이 포함되며, 여기서 모델은 Solidity 코드 조각에서 취약점을 찾아야 하고, 온체인 수치 추론은 모델에 AMM 풀 상태가 주어졌을 때 특정 공격 벡터로 얻는 이익을 계산해야 합니다.
서술형 과제는 객관식보다 의도적으로 더 어렵습니다. 모델은 객관식에서는 패턴 매칭으로 풀 수 있습니다. 수치 추론과 코드 분석은 실제로 문제를 풀어야 합니다.
논문에서 발견한 점
벤치마크의 최신 버전은 GPT-5, Claude Sonnet 4.5, DeepSeek, Gemini, Grok, Qwen 시리즈를 포함한 31개의 주류 대형 모델을 평가했습니다. 세 가지 발견이 두드러집니다.
기본기는 대부분 해결되었지만, 깊이는 아니다
모든 주요 모델은 위키피디아에 나올 법한 블록체인 기본 개념에서는 꽤 잘합니다. 하지만 토큰 경제학, 밈 개념, 보안에서는 성능이 급격히 떨어집니다. 이 영역들은 Web3 전문성이 실제로 중요한 부분이며, 범용 모델이 그럴듯하지만 틀린 답을 지어내기 쉬운 영역입니다.
비용과 정확도는 함께 움직이지 않는다
정확도를 토큰당 비용과 비교해 그리면 뚜렷한 파레토 프런티어가 나타납니다. GPT-5 계열은 높은 정확도 구간에 위치합니다. GPT-OSS-120B, Kimi K2, Qwen3-235B Thinking을 포함한 일부 오픈 모델은 중간 구간에서 더 나은 가치를 제공합니다. 몇몇 잘 알려진 폐쇄형 모델은 Web3 과제에서 특히 대안보다 더 비싸면서도 더 약한 것으로 나타났습니다. 논문은 전체 데이터를 공개해 수치를 재현할 수 있게 했습니다.
더 많은 데이터로 파인튜닝해도 격차는 좁혀지지 않는다
논문은 통제 실험을 수행합니다. 세 개의 베이스 모델(QwQ-32B, Qwen3-32B, DeepSeek-R1-Distill-Llama-70B)을 가져와 각 모델을 전체 벤치마크 데이터셋으로 LoRA 파인튜닝한 뒤 개선 효과를 측정합니다. 학습 곡선은 완만한 상태로 유지됩니다. 더 많은 데이터를 넣는다고 Web3 추론 능력이 열리지 않습니다. 진짜 병목은 다단계 추론, 개념 간 연관, 그리고 시간에 따라 변하는 시장을 이해하는 능력입니다. 이것이 더 큰 학습 세트가 아니라 새로운 학습 방법을 요구하는 이유이며, DMind가 HPS와 C³-SFT에 투자한 이유입니다(참조 학습 방법).
읽을 곳
논문: arXiv:2504.16116
KDD 2026 리뷰: OpenReview 포럼
마지막 업데이트
도움이 되었나요?