데이터셋이란 무엇인가

참고: 이 문서는 영문 원본의 자동 번역본입니다.

데이터셋이란 무엇인가

**데이터셋(dataset)**은 AI 모델을 트레이닝하거나, 평가하거나, 테스트하는 데 사용되는 구조화된 데이터 모음입니다. 이는 머신러닝이 작동하는 원재료입니다. 데이터셋이 없다면 모델이 학습할 대상이 없고, 모델이 제대로 작동하는지 측정할 방법도 없습니다.

데이터셋을 학생을 위한 교과서라고 생각해 보세요. 교과서에 오류가 가득하거나, 챕터가 빠져 있거나, 학생이 모르는 언어로 쓰여 있다면, 학생이 아무리 재능이 있어도 제대로 배우지 못할 것입니다. 같은 원리가 AI에도 적용됩니다. 데이터셋의 품질, 규모, 관련성, 구조가 어떤 모델이 달성할 수 있는 한계를 결정합니다. 뛰어난 아키텍처라도 나쁜 데이터로 트레이닝하면 나쁜 결과를 냅니다. 이것이 응용 머신러닝에서 가장 중요한 규칙으로 남아 있는 garbage in, garbage out(쓰레기를 넣으면 쓰레기가 나온다) 원칙의 기원입니다.

요약하면: 데이터셋은 AI 모델이 학습하는 예시들의 조직화된 집합체이며, 그 데이터의 품질이 모델의 품질을 직접적으로 결정합니다.

데이터셋은 어떻게 구축되는가

완성된 데이터셋은 단일 파일이나 깔끔하게 구조화된 데이터베이스처럼 보일 수 있지만, 거기에 도달하려면 여러 단계의 파이프라인이 필요합니다. 각 단계마다 최종 모델에 영향을 미치는 결정이 개입됩니다.

수집

데이터는 작업과 관련된 출처에서 수집되어야 합니다. 대규모 언어 모델의 경우, 이는 웹을 크롤링하거나, 책과 학술 논문을 집계하거나, 코드 저장소를 스크래핑하는 것을 의미할 수 있습니다. 크립토 특화 모델의 경우, 블록체인 트랜잭션 이력, 프로토콜 문서, 거버넌스 제안, 또는 소셜 미디어 정서를 수집하는 것을 의미할 수 있습니다. 출처의 선택이 모델이 무엇을 학습할 수 있고 없는지를 결정합니다. 영어 텍스트로만 트레이닝된 모델은 다국어 질의에서 실패합니다. 과거 시장 데이터로만 트레이닝된 모델은 새로운 프로토콜 메커니즘을 놓칩니다.

정제

원시로 수집된 데이터는 노이즈가 많습니다. 중복, 깨진 포맷, 인코딩 오류, 스팸, 개인 식별 정보, 그리고 무관하거나 유해한 콘텐츠가 포함되어 있습니다. **데이터 정제(data cleaning)**는 이러한 문제를 제거하거나 수정합니다. 일반적인 단계로는 중복 제거(거의 동일한 레코드 삭제), 정규화(포맷, 날짜, 단위 표준화), 필터링(저품질 또는 범위를 벗어난 예시 제거), 익명화(프라이버시 규제를 준수하기 위해 개인 데이터 제거)가 있습니다. 정제는 지루하지만 중요합니다. 정제되지 않은 데이터로 트레이닝된 모델은 신호와 함께 노이즈도 학습합니다.

라벨링

가장 흔한 트레이닝 접근법인 **지도 학습(supervised learning)**의 경우, 데이터셋의 각 예시에는 정답이 붙어 있어야 합니다. 사진에는 "고양이"나 "개" 같은 태그가 필요합니다. 트랜잭션에는 "사기성" 또는 "정상" 같은 라벨이 필요합니다. 문장에는 정서 점수가 필요합니다. 이 과정을 라벨링(labeling)(또는 어노테이션)이라고 합니다.

라벨링은 비용이 많이 들고 노동 집약적입니다. 일반적으로 사람 어노테이터가 예시를 하나씩 검토하고 상세한 가이드라인에 따라 라벨을 부여해야 합니다. 품질은 중복성(예시당 여러 어노테이터)과 어노테이터 간 일치도 지표를 통해 보장됩니다. 일부 크립토 AI 프로젝트는 기여자가 데이터를 어노테이션하고 토큰 보상을 받는 탈중앙화 라벨링 네트워크를 구축합니다. 다만 인센티브가 부여된 라벨의 품질은 신중하게 검증되어야 합니다.

라벨이 필요 없거나 얻기 비현실적인 작업의 경우, **자기지도 학습(self-supervised learning)**은 데이터 자체의 구조에서 트레이닝 신호를 추출합니다(예: 문장의 다음 단어 예측, 또는 이미지의 가려진 부분 복원).

분할

트레이닝이 시작되기 전에, 데이터셋은 겹치지 않는 하위 집합으로 나뉩니다:

분할	목적	일반적인 비율
트레이닝 세트	모델이 이 데이터로부터 학습함	70-90%
검증 세트	트레이닝 중 진행 상황을 모니터링하고 하이퍼파라미터를 조정하는 데 사용	5-15%
테스트 세트	트레이닝 후 최종 성능을 측정하기 위해 단 한 번만 사용	5-15%

검증 세트와 테스트 세트는 절대 트레이닝에 유출되어서는 안 됩니다. 모델이 트레이닝 중 테스트 데이터를 본다면, 평가 결과는 무의미해집니다. 모델이 사실상 정답을 암기한 셈이기 때문입니다. 이 분리는 신뢰할 수 있는 벤치마크와 품질 지표를 위한 근본적인 요구사항입니다.

버전 관리

데이터셋은 정적이지 않습니다. 새로운 데이터가 수집되면서 커지고, 문제가 있는 예시가 제거되면서 줄어들며, 라벨링 가이드라인이 변경되면서 진화합니다. **데이터셋 버전 관리(dataset versioning)**는 이러한 변경 사항을 추적하여 트레이닝 실행을 재현하고 비교할 수 있게 합니다. 데이터셋 버전 2.3으로 트레이닝된 모델은 버전 1.0으로 트레이닝된 모델과 다른 결과를 내야 하며, 그 차이는 추적 가능해야 합니다. DVC(Data Version Control), Hugging Face Datasets, Git LFS 같은 도구는 팀이 데이터셋 버전을 체계적으로 관리하도록 돕습니다.

데이터셋의 유형

데이터셋은 어떻게 라벨링되었는지, 누가 만들었는지, 무엇에 사용되는지에 따라 다양합니다. 이러한 유형을 이해하면 크립토 프로젝트의 AI 주장을 평가할 때 도움이 됩니다.

라벨이 있는 것 vs 라벨이 없는 것

• **라벨이 있는 데이터셋(labeled datasets)**은 각 예시에 정답을 포함합니다. 라벨이 있는 이미지 데이터셋은 각 이미지를 클래스 라벨과 짝짓고, 라벨이 있는 텍스트 데이터셋은 각 문장을 정서 점수나 개체 태그와 짝짓습니다. 라벨이 있는 데이터는 가장 흔하고 잘 이해된 트레이닝 패러다임인 지도 학습을 가능하게 합니다.
• **라벨이 없는 데이터셋(unlabeled datasets)**은 어노테이션이 없는 원시 모음입니다 — 웹 텍스트, 이미지, 트랜잭션 로그, 센서 판독값. 이는 비지도 학습(가이드 없이 구조 발견)에 사용되며, 현대 LLM이 사전 트레이닝되는 방식인 자기지도 학습의 출발점이 됩니다. 모델은 외부 라벨이 아니라 자신의 입력 일부를 예측함으로써(예: 다음 단어 예측) 학습합니다.

대부분의 실용적인 AI 시스템은 둘 다 사용합니다. 방대한 라벨 없는 데이터로 사전 트레이닝한 다음, 도메인에 특화된 더 작은 라벨 있는 데이터셋으로 파인튜닝합니다.

공개 vs 독점

• **공개 데이터셋(public datasets)**은 연구 및 개발을 위해 공개적으로 사용 가능합니다. 잘 알려진 예로는 ImageNet(20,000개 이상 카테고리에 걸친 1,400만 개의 라벨링된 이미지), Common Crawl(많은 LLM의 기반으로 사용되는 페타바이트 규모의 원시 웹 데이터), The Pile(EleutherAI가 언어 모델 트레이닝을 위해 특별히 모은 825GB의 다양한 텍스트 코퍼스)이 있습니다. 공개 데이터셋은 진입 장벽을 낮추지만 누구나 사용할 수 있습니다. 즉, 그 자체로는 경쟁 우위를 제공하지 않습니다.
• **독점 데이터셋(proprietary datasets)**은 특정 조직이 수집, 큐레이션, 또는 라이선스를 받았으며 공개적으로 공유되지 않습니다. 크립토 분석 회사는 라벨링된 DeFi 트랜잭션의 독점 데이터셋을 구축할 수 있습니다. 독점 데이터는 진정한 경쟁 우위를 제공할 수 있지만, "독점 데이터"라는 주장은 외부에서 검증하기 어렵습니다. 출처, 방법론, 또는 샘플 통계의 공개 없이는 그 주장을 검증할 수 없습니다.

합성 데이터셋

**합성 데이터(synthetic data)**는 실세계 출처에서 수집된 것이 아니라 알고리즘이나 다른 AI 모델에 의해 생성됩니다. 생성 모델은 실제 데이터셋을 보강하는 현실적인 이미지, 텍스트 샘플, 또는 트랜잭션 패턴을 생산할 수 있습니다. 합성 데이터는 실제 데이터가 부족하거나, 수집 비용이 비싸거나, 프라이버시 규제로 제한될 때 유용합니다. 그러나 합성 데이터에는 위험이 따릅니다. 생성기에 편향이 있으면 합성 데이터가 그것을 물려받고, 전적으로 합성 데이터로 트레이닝된 모델은 세대를 거치며 오류가 누적되는 피드백 루프("모델 붕괴(model collapse)"라고도 함)를 일으킬 수 있습니다.

벤치마크 데이터셋

**벤치마크 데이터셋(benchmark datasets)**은 특정 능력을 측정하도록 설계된 표준화된 평가 세트입니다. 알려진 정답이 있는 고정된 테스트 세트를 포함합니다. 모델은 이러한 벤치마크에 대해 평가되어 비교 가능한 점수를 산출합니다. 예는 다음과 같습니다:

벤치마크	도메인	측정 대상
ImageNet	컴퓨터 비전	이미지 분류 정확도
GLUE / SuperGLUE	자연어	여러 작업에 걸친 언어 이해
MMLU	일반 지식	57개 과목에 걸친 다중 작업 정확도
HumanEval	코드 생성	생성된 코드의 기능적 정확성
Common Crawl	웹 텍스트	트레이닝 데이터로 사용; 규모와 커버리지

벤치마크 결과는 DecAI Fit 알고리즘 내의 AI_3 플래그(지표/벤치마크/품질)에 대한 증거로 DecAIHub 프로젝트 카드에 나타납니다.

크립토 AI에서 데이터셋이 중요한 이유

데이터 품질이 모델 품질을 결정합니다. 노이즈가 많거나, 편향되거나, 무관한 데이터로 트레이닝된 모델은 아키텍처가 아무리 정교해도 노이즈가 많고, 편향되고, 무관한 출력을 냅니다. 크립토 AI 프로젝트의 경우, 이는 구체적인 함의를 가집니다:

• 오래된 프로토콜 문서로 트레이닝된 에이전트는 현재 컨트랙트 파라미터에 대해 부정확한 답을 줄 것입니다.
• 영어 텍스트로만 트레이닝된 정서 분석기는 다국어 크립토 커뮤니티에서 실패할 것입니다.
• 불완전한 온체인 데이터로 트레이닝된 리스크 모델은 중요한 트랜잭션 패턴을 놓칠 것입니다.

프로젝트의 AI 주장을 평가할 때 데이터셋은 핵심적인 요소입니다. 데이터 출처, 수집 방법, 품질 관리를 설명하는 프로젝트는 무엇으로부터 학습했는지 설명하지 않고 "AI"만 언급하는 프로젝트보다 더 깊은 AI 역량을 보여줍니다.

크립토 AI에서의 탈중앙화 데이터

AI/Data 카테고리의 여러 패턴은 데이터셋을 블록체인 및 토큰 메커니즘과 연결합니다:

• 데이터 마켓플레이스 — 데이터 제공자가 데이터셋을 판매하거나 라이선스하며, 온체인 정산 및 출처 추적이 이루어지는 플랫폼.
• 인센티브 기반 데이터 수집 — 데이터 기여(이미지 라벨링, 텍스트 어노테이션, 센서 판독값 공유)에 대해 사용자에게 토큰으로 보상하는 프로젝트.
• 연합 데이터셋(federated datasets) — 참여자 간에 분산된 상태로 유지되며 한 곳에 모이지 않는 데이터. 모델은 연합 학습을 사용해 데이터가 있는 자리에서 트레이닝됩니다.
• 데이터 DAO — 공유 데이터셋을 집단적으로 거버닝, 큐레이션, 수익화하는 탈중앙화 조직.

이러한 모델은 실제 문제를 해결하려 시도합니다. 고품질 라벨링된 데이터는 비싸고 종종 소수의 대기업이 통제합니다. 토큰 인센티브는 데이터 기여를 잠재적으로 민주화할 수 있습니다. 다만 인센티브가 부여된 데이터의 품질은 신중하게 검증되어야 합니다.

데이터 수집과 라벨링

원시 데이터는 트레이닝에 바로 사용할 준비가 된 상태로 도착하는 경우가 드뭅니다. 수집되고, 정제되고, 포맷되고, 종종 사람 작업자나 자동화 시스템에 의해 라벨링되어야 합니다. 이 파이프라인 — 데이터 수집과 라벨링 — 은 그 자체로 DecAIHub 프로젝트 카드에 나타나는 실제 AI 컴포넌트입니다.

대규모 라벨링은 비용이 많이 들고 노동 집약적입니다. 일부 크립토 AI 프로젝트는 기여자가 데이터를 어노테이션하고 토큰 보상을 받는 탈중앙화 라벨링 네트워크를 구축합니다. 라벨의 품질은 일반적으로 중복성(예시당 여러 라벨러)과 합의 메커니즘을 통해 보장됩니다.

DecAIHub 프로젝트 카드에서 데이터셋이 나타나는 곳

데이터셋은 DecAIHub 프로젝트 카드의 여러 부분에 나타납니다:

• AI 컴포넌트 — "데이터 수집", "데이터 라벨링", 또는 "트레이닝 데이터 파이프라인" 같은 데이터 관련 값은 프로젝트가 사전 구축된 모델을 소비하기만 하는 것이 아니라 실제로 데이터셋을 다룬다는 것을 나타냅니다.
• 카테고리 — AI/Data 카테고리의 프로젝트는 데이터 인프라, 마켓플레이스, 또는 탈중앙화 데이터 조율에 특별히 집중합니다.
• 증거 표 — 데이터셋 품질에 대한 Tier-1 증거에는 공개된 데이터 카드, 샘플 통계, 수집 방법론 문서, 라이선스 정보, 그리고 공개적으로 접근 가능한 데이터셋이나 데이터 저장소로의 링크가 포함됩니다.
• ai_score — DecAI Fit 알고리즘 내에서, 공개된 증거와 함께 실제 데이터 작업을 보여주는 프로젝트는 더 높은 ai_score에 기여합니다. 검증 가능한 산출물 없이 단지 "독점 데이터"라고 주장하는 것은 그렇지 않습니다.

데이터셋만으로 증명되지 않는 것

• 데이터를 가지고 있다고 해서 그것을 사용하는 AI가 실제이거나 좋다는 의미는 아닙니다. 프로젝트는 방대한 데이터셋을 수집하고도 작동하는 모델, 인퍼런스 파이프라인, 유용한 출력이 전혀 없을 수 있습니다.
• 데이터셋 규모는 품질의 대용 지표가 아닙니다. 백만 개의 잘못 라벨링된 예시는 잘 큐레이션된 천 개보다 나쁩니다.
• "독점 데이터"라고 주장하는 것은 증거가 아닙니다. 데이터 출처, 수집 방법론, 또는 평가 결과의 공개 없이는 그 주장을 검증할 수 없습니다. Tier-1/2/3 증거 프레임워크를 확인하세요.
• 데이터셋은 토큰이 왜 필요한지 설명하지 않습니다. 데이터 저장과 접근은 본질적으로 블록체인이나 토큰을 요구하지 않습니다.
• 데이터를 수집하는 것은 트레이닝이 아닙니다. 큰 데이터셋이 있지만 모델, 트레이닝 파이프라인, 인퍼런스 엔드포인트가 없는 프로젝트는 AI 프로젝트가 아니라 데이터 프로젝트입니다.

혼동하지 마세요

• **트레이닝**은 데이터셋을 소비하는 과정입니다. 데이터셋은 입력이고, 트레이닝은 연산입니다.
• **데이터 수집과 라벨링**은 데이터셋을 생산하는 파이프라인입니다. 이들은 관련되어 있지만 별개의 단계입니다.
• **AI/Data 카테고리**는 데이터 인프라에 집중하는 프로젝트를 분류합니다. 데이터셋은 모든 AI 카테고리에 걸쳐 사용되는 개념입니다.
• **AI 컴포넌트**는 AI 작업이 일어나는 메커니즘을 설명합니다. 데이터셋은 그 메커니즘에 투입되지만 메커니즘 자체는 아닙니다.
• **벤치마크와 품질 지표**는 평가를 위해 특정 데이터셋을 사용하지만, 벤치마크는 데이터셋 자체가 아니라 평가 절차입니다.

자주 묻는 질문

좋은 데이터셋을 만드는 것은 무엇인가요?

좋은 데이터셋은 작업과 관련성이 있고, 문제 공간을 다룰 만큼 충분히 크며, (지도 학습인 경우) 정확하게 라벨링되어 있고, 체계적 편향이 없으며, 잘 문서화되어 있습니다. 문서화에는 데이터 출처, 수집 방법론, 라벨링 가이드라인, 알려진 한계, 버전 이력이 포함되어야 합니다. 실제로는 더 작지만 신중하게 큐레이션된 데이터셋이 더 크지만 노이즈가 많은 데이터셋보다 더 나은 성능을 내는 경우가 많습니다. 원리는 단순합니다. 모델은 학습한 데이터만큼만 좋을 수 있습니다.

데이터 포이즈닝이란 무엇인가요?

**데이터 포이즈닝(data poisoning)**은 적대자가 모델의 동작을 손상시키기 위해 악의적인 예시를 트레이닝 데이터셋에 주입하는 의도적인 공격입니다. 예를 들어, 공격자는 분류기가 특정 입력을 잘못 식별하도록 잘못 라벨링된 이미지를 추가하거나, 언어 모델이 유해한 출력을 내도록 편향된 텍스트를 주입할 수 있습니다. 데이터 포이즈닝은 기여자가 익명이고 인센티브에 의해 움직일 수 있는 탈중앙화 데이터 수집에서 심각한 우려 사항입니다. 방어 메커니즘으로는 중복 라벨링, 이상 탐지, 기여자 평판 시스템, 암호학적 데이터 출처 추적이 있습니다.

저작권이 있는 데이터로 AI를 트레이닝할 수 있나요?

이는 보편적인 답이 없는 진행 중인 법적 문제입니다. 여러 주목받는 소송이 저작권 자료로 트레이닝하는 것이 공정 이용에 해당하는지를 검증하고 있습니다. 일부 관할권은 연구 목적의 텍스트 및 데이터 마이닝에 대해 명시적 예외를 제공합니다. 실제로 대부분의 대규모 언어 모델은 저작권 콘텐츠를 포함한 웹 크롤링 데이터로 트레이닝되었습니다. 데이터 출처와 라이선스 조건을 공개하는 프로젝트는 그렇지 않은 프로젝트보다 더 많은 투명성을 보여줍니다. DecAIHub는 증거 프레임워크의 일부로 데이터 투명성을 평가하지만, 저작권에 대한 법적 판단은 내리지 않습니다.

합성 데이터셋이란 무엇인가요?

합성 데이터셋은 실세계 출처에서 수집된 것이 아니라 알고리즘이나 다른 AI 모델에 의해 생성됩니다. 합성 데이터는 실제 데이터셋을 보강하거나, 실제 데이터가 부족한 공백을 채우거나, 민감한 레코드를 현실적이지만 인공적인 대체물로 교체하여 프라이버시를 보호하는 데 사용됩니다. 위험은 합성 데이터가 생성기 모델의 편향을 물려받고 증폭시킬 수 있다는 것입니다. 전적으로 합성 데이터로 트레이닝된 모델은 또한 "모델 붕괴" — 각 세대의 합성 데이터가 원래 분포에서 점점 더 멀어지면서 품질이 점진적으로 저하되는 현상 — 를 겪을 수 있습니다.

DecAIHub는 데이터셋 품질을 어떻게 평가하나요?

DecAIHub는 데이터셋을 직접 점수화하지 않습니다. 대신, 전체 DecAI Fit 평가의 일부로 프로젝트가 데이터 작업에 대한 검증 가능한 증거를 제공하는지를 평가합니다. ai_score에 기여하는 증거에는 공개된 데이터 카드, 문서화된 수집 방법론, 샘플 통계, 공개 저장소, 인정된 평가 세트에 대한 벤치마크 결과가 포함됩니다. 뒷받침하는 산출물 없는 "독점 데이터"나 "방대한 데이터셋" 주장은 검증 불가능한 것으로 취급되어 점수를 올리지 않습니다. Tier-1/2/3 증거 프레임워크는 무엇이 증명으로 인정되는지 정의합니다.

함께 보기

• 트레이닝이란 무엇인가
• 인퍼런스란 무엇인가
• AI 모델이란 무엇인가
• AI 컴포넌트로서의 데이터 수집과 라벨링
• AI/Data 카테고리
• AI 컴포넌트 vs 유스케이스
• 벤치마크와 품질 지표
• 프로젝트 카드 읽는 법
• DecAI Fit이란 무엇인가
• Tier-1, Tier-2, Tier-3 증거

외부 참고 자료

• Hugging Face -- Datasets -- 검색, 필터링, 미리보기, 그리고 수천 개 데이터셋에 대한 문서를 갖춘 머신러닝 데이터셋의 최대 오픈 저장소.
• Papers With Code -- Datasets -- 벤치마크 결과 및 연구 논문과 연결되어 작업과 도메인별로 검색 가능한 데이터셋 카탈로그.
• Stanford HAI -- AI Index Report -- 데이터셋 성장, 데이터 거버넌스 동향, AI 발전에서 데이터의 역할에 관한 연례 데이터.
• Google Research -- Dataset Search -- 학술, 정부, 상업 출처를 포함해 웹 전반에 게시된 데이터셋을 위한 전용 검색 엔진.
• Wikipedia -- Training data -- 트레이닝, 검증, 테스트 데이터 분할과 그것이 머신러닝에서 하는 역할에 대한 기초적 설명.