Was ist ein Datensatz

Hinweis: Dieses Dokument ist eine automatische Übersetzung des englischen Originals.

Was ist ein Datensatz

Ein Datensatz ist eine strukturierte Sammlung von Daten, die zum Trainieren, Bewerten oder Testen eines KI-Modells verwendet wird. Er ist das Rohmaterial, auf dem Machine Learning läuft. Ohne einen Datensatz gibt es nichts, woraus ein Modell lernen kann, und keine Möglichkeit zu messen, ob es funktioniert.

Stellen Sie sich einen Datensatz wie ein Lehrbuch für einen Studenten vor. Wenn das Lehrbuch voller Fehler ist, Kapitel fehlen oder es in einer Sprache geschrieben ist, die der Student nicht spricht, wird der Student schlecht lernen — egal, wie talentiert er ist. Dasselbe Prinzip gilt für KI: Qualität, Umfang, Relevanz und Struktur des Datensatzes legen die Obergrenze dessen fest, was ein Modell überhaupt erreichen kann. Eine brillante Architektur, die auf schlechten Daten trainiert wurde, liefert schlechte Ergebnisse. Das ist der Ursprung des Prinzips garbage in, garbage out, das nach wie vor die wichtigste Einzelregel im angewandten Machine Learning ist.

Kurz gesagt: Ein Datensatz ist die organisierte Gesamtheit der Beispiele, aus denen ein KI-Modell lernt — und die Qualität dieser Daten bestimmt unmittelbar die Qualität des Modells.

Wie Datensätze aufgebaut werden

Ein fertiger Datensatz mag wie eine einzelne Datei oder eine sauber strukturierte Datenbank aussehen, doch der Weg dorthin erfordert eine mehrstufige Pipeline. Jede Stufe bringt Entscheidungen mit sich, die das finale Modell beeinflussen.

Erfassung

Daten müssen aus Quellen gesammelt werden, die für die Aufgabe relevant sind. Für ein Large Language Model kann das bedeuten, das Web zu crawlen, Bücher und wissenschaftliche Arbeiten zu aggregieren oder Code-Repositorys zu scrapen. Für ein krypto-spezifisches Modell kann es bedeuten, Transaktionshistorien aus Blockchains, Protokolldokumentationen, Governance-Vorschläge oder Stimmungen aus sozialen Medien zu sammeln. Die Wahl der Quellen bestimmt, was das Modell lernen kann und was nicht. Ein nur auf englischem Text trainiertes Modell scheitert bei mehrsprachigen Anfragen. Ein nur auf historischen Marktdaten trainiertes Modell übersieht neue Protokollmechaniken.

Bereinigung

Roh gesammelte Daten sind verrauscht. Sie enthalten Duplikate, fehlerhafte Formatierungen, Kodierungsfehler, Spam, personenbezogene Daten sowie irrelevante oder schädliche Inhalte. Datenbereinigung entfernt oder korrigiert diese Probleme. Übliche Schritte sind Deduplizierung (Entfernen nahezu identischer Datensätze), Normalisierung (Vereinheitlichung von Formaten, Datumsangaben und Einheiten), Filterung (Entfernen minderwertiger oder themenfremder Beispiele) und Anonymisierung (Entfernen personenbezogener Daten zur Einhaltung von Datenschutzbestimmungen). Bereinigung ist mühsam, aber entscheidend — Modelle, die auf unbereinigten Daten trainiert werden, lernen das Rauschen zusammen mit dem Signal.

Labeling

Beim überwachten Lernen (supervised learning) — dem gängigsten Trainingsansatz — benötigt jedes Beispiel im Datensatz eine zugeordnete korrekte Antwort. Ein Foto braucht ein Tag wie „Katze“ oder „Hund“. Eine Transaktion braucht ein Label wie „betrügerisch“ oder „legitim“. Ein Satz braucht einen Sentiment-Score. Dieser Vorgang heißt Labeling (oder Annotation).

Labeling ist teuer und arbeitsintensiv. Es erfordert in der Regel menschliche Annotatoren, die Beispiele einzeln prüfen und gemäß detaillierten Richtlinien Labels vergeben. Qualität wird durch Redundanz (mehrere Annotatoren pro Beispiel) und Metriken zur Übereinstimmung zwischen Annotatoren sichergestellt. Einige Krypto-KI-Projekte bauen dezentrale Labeling-Netzwerke auf, in denen Beitragende Daten annotieren und Token-Belohnungen verdienen — auch wenn die Qualität anreizbasierter Labels sorgfältig überprüft werden muss.

Für Aufgaben, bei denen Labels nicht benötigt werden oder unpraktisch zu beschaffen sind, gewinnt das selbstüberwachte Lernen (self-supervised learning) das Trainingssignal aus der eigenen Struktur der Daten (z. B. die Vorhersage des nächsten Wortes in einem Satz oder die Rekonstruktion eines maskierten Bildteils).

Aufteilung

Bevor das Training beginnt, wird der Datensatz in nicht überlappende Teilmengen aufgeteilt:

Teilmenge	Zweck	Typischer Anteil
Trainingsmenge	Das Modell lernt aus diesen Daten	70–90 %
Validierungsmenge	Wird während des Trainings genutzt, um den Fortschritt zu überwachen und Hyperparameter abzustimmen	5–15 %
Testmenge	Wird nur einmal nach dem Training genutzt, um die finale Leistung zu messen	5–15 %

Die Validierungs- und Testmengen dürfen niemals ins Training durchsickern. Sieht das Modell während des Trainings die Testdaten, werden die Evaluationsergebnisse bedeutungslos — das Modell hat die Antworten faktisch auswendig gelernt. Diese Trennung ist eine grundlegende Voraussetzung für vertrauenswürdige Benchmarks und Qualitätsmetriken.

Versionierung

Datensätze sind nicht statisch. Sie wachsen, wenn neue Daten gesammelt werden, schrumpfen, wenn problematische Beispiele entfernt werden, und entwickeln sich weiter, wenn sich Labeling-Richtlinien ändern. Datensatz-Versionierung verfolgt diese Änderungen, sodass Trainingsläufe reproduziert und verglichen werden können. Ein auf Version 2.3 eines Datensatzes trainiertes Modell sollte andere Ergebnisse liefern als eines, das auf Version 1.0 trainiert wurde, und der Unterschied sollte nachvollziehbar sein. Werkzeuge wie DVC (Data Version Control), Hugging Face Datasets und Git LFS helfen Teams, Datensatzversionen systematisch zu verwalten.

Arten von Datensätzen

Datensätze unterscheiden sich darin, wie sie gelabelt sind, wer sie erstellt hat und wofür sie verwendet werden. Das Verständnis dieser Arten hilft bei der Bewertung von KI-Behauptungen in Krypto-Projekten.

Gelabelt vs. ungelabelt

Gelabelte Datensätze enthalten für jedes Beispiel die korrekte Antwort. Ein gelabelter Bilddatensatz ordnet jedem Bild ein Klassenlabel zu; ein gelabelter Textdatensatz ordnet jedem Satz einen Sentiment-Score oder Entitäts-Tags zu. Gelabelte Daten ermöglichen überwachtes Lernen, das gängigste und am besten verstandene Trainingsparadigma.
Ungelabelte Datensätze sind Rohsammlungen ohne Annotationen — Webtexte, Bilder, Transaktionsprotokolle, Sensormessungen. Sie werden im unüberwachten Lernen (Struktur ohne Anleitung finden) und als Ausgangspunkt für das selbstüberwachte Lernen verwendet, mit dem moderne LLMs vortrainiert werden. Das Modell lernt, indem es Teile seiner eigenen Eingabe vorhersagt (z. B. die Vorhersage des nächsten Wortes), statt aus externen Labels.

Die meisten praktischen KI-Systeme nutzen beides: Vortraining auf riesigen ungelabelten Daten, dann Feinabstimmung auf einem kleineren, domänenspezifischen gelabelten Datensatz.

Öffentlich vs. proprietär

Öffentliche Datensätze sind frei für Forschung und Entwicklung verfügbar. Bekannte Beispiele sind ImageNet (14 Millionen gelabelte Bilder in über 20.000 Kategorien), Common Crawl (Petabytes an rohen Webdaten, die als Grundlage vieler LLMs dienen) und The Pile (ein 825 GB großes, vielfältiges Textkorpus, das von EleutherAI speziell für das Training von Sprachmodellen zusammengestellt wurde). Öffentliche Datensätze senken die Einstiegshürde, stehen aber allen zur Verfügung — für sich genommen verschaffen sie keinen Wettbewerbsvorteil.
Proprietäre Datensätze werden von einer bestimmten Organisation gesammelt, kuratiert oder lizenziert und nicht öffentlich geteilt. Ein Krypto-Analyseunternehmen könnte einen proprietären Datensatz gelabelter DeFi-Transaktionen aufbauen. Proprietäre Daten können einen echten Wettbewerbsvorteil bieten, doch Behauptungen über „proprietäre Daten“ sind von außen schwer zu überprüfen. Ohne Offenlegung von Quellen, Methodik oder Stichprobenstatistiken ist die Behauptung nicht nachprüfbar.

Synthetische Datensätze

Synthetische Daten werden von Algorithmen oder anderen KI-Modellen erzeugt, statt aus realen Quellen gesammelt zu werden. Ein generatives Modell kann realistische Bilder, Textbeispiele oder Transaktionsmuster erzeugen, die einen realen Datensatz ergänzen. Synthetische Daten sind nützlich, wenn reale Daten knapp, teuer in der Erhebung oder durch Datenschutzbestimmungen eingeschränkt sind. Synthetische Daten bergen jedoch Risiken: Hat der Generator Verzerrungen, erben die synthetischen Daten diese; und Modelle, die vollständig auf synthetischen Daten trainiert werden, können Rückkopplungsschleifen entwickeln (manchmal „Model Collapse“ genannt), bei denen sich Fehler über Generationen hinweg aufsummieren.

Benchmark-Datensätze

Benchmark-Datensätze sind standardisierte Evaluationsmengen, die darauf ausgelegt sind, bestimmte Fähigkeiten zu messen. Sie enthalten eine feste Testmenge mit bekannten korrekten Antworten. Modelle werden anhand dieser Benchmarks bewertet, um vergleichbare Punktzahlen zu erzeugen. Beispiele:

Benchmark	Domäne	Was er misst
ImageNet	Computer Vision	Genauigkeit der Bildklassifikation
GLUE / SuperGLUE	Natürliche Sprache	Sprachverständnis über mehrere Aufgaben hinweg
MMLU	Allgemeinwissen	Multi-Task-Genauigkeit über 57 Fachgebiete
HumanEval	Codegenerierung	Funktionale Korrektheit des erzeugten Codes
Common Crawl	Webtext	Wird als Trainingsdaten verwendet; Umfang und Abdeckung

Benchmark-Ergebnisse erscheinen in DecAIHub-Projektkarten als Beleg für das Flag AI_3 (Metriken/Benchmarks/Qualität) innerhalb des DecAI Fit-Algorithmus.

Warum Datensätze in der Krypto-KI wichtig sind

Datenqualität bestimmt Modellqualität. Ein Modell, das auf verrauschten, verzerrten oder irrelevanten Daten trainiert wurde, liefert verrauschte, verzerrte oder irrelevante Ausgaben — egal, wie ausgeklügelt seine Architektur ist. Für Krypto-KI-Projekte hat das konkrete Folgen:

Ein Agent, der auf veralteter Protokolldokumentation trainiert wurde, gibt falsche Antworten zu aktuellen Vertragsparametern.
Ein Sentiment-Analysator, der nur auf englischem Text trainiert wurde, scheitert in mehrsprachigen Krypto-Communities.
Ein Risikomodell, das auf unvollständigen On-Chain-Daten trainiert wurde, übersieht kritische Transaktionsmuster.

Bei der Bewertung der KI-Behauptungen eines Projekts ist der Datensatz ein entscheidendes Element. Ein Projekt, das seine Datenquellen, Erhebungsmethoden und Qualitätskontrollen beschreibt, demonstriert mehr KI-Tiefe als eines, das „KI“ erwähnt, ohne zu erklären, woraus das Modell gelernt hat.

Dezentrale Daten in der Krypto-KI

Mehrere Muster in der Kategorie AI/Data verbinden Datensätze mit Blockchain- und Token-Mechaniken:

Datenmarktplätze — Plattformen, auf denen Datenanbieter Datensätze verkaufen oder lizenzieren, mit On-Chain-Abwicklung und Herkunftsnachverfolgung.
Anreizbasierte Datenerhebung — Projekte, die Nutzer mit Token dafür belohnen, dass sie Daten beitragen (Bilder labeln, Texte annotieren, Sensordaten teilen).
Föderierte Datensätze — Daten, die über die Teilnehmer verteilt bleiben und nie an einem Ort gebündelt werden. Modelle werden direkt vor Ort mittels föderiertem Lernen darauf trainiert.
Daten-DAOs — dezentrale Organisationen, die gemeinsam geteilte Datensätze verwalten, kuratieren und monetarisieren.

Diese Modelle versuchen, ein reales Problem zu lösen: Hochwertige gelabelte Daten sind teuer und werden oft von wenigen großen Unternehmen kontrolliert. Token-Anreize können den Datenbeitrag potenziell demokratisieren — auch wenn die Qualität anreizbasierter Daten sorgfältig überprüft werden muss.

Datenerhebung und Labeling

Rohdaten kommen selten trainingsbereit an. Sie müssen gesammelt, bereinigt, formatiert und oft von menschlichen Arbeitskräften oder automatisierten Systemen gelabelt werden. Diese Pipeline — Datenerhebung und Labeling — ist selbst eine reale KI-Komponente, die in DecAIHub-Projektkarten erscheint.

Labeling in großem Maßstab ist teuer und arbeitsintensiv. Einige Krypto-KI-Projekte bauen dezentrale Labeling-Netzwerke auf, in denen Beitragende Daten annotieren und Token-Belohnungen verdienen. Die Qualität der Labels wird in der Regel durch Redundanz (mehrere Labeler pro Beispiel) und Konsensmechanismen sichergestellt.

Wo Datensätze in DecAIHub-Projektkarten erscheinen

Datensätze tauchen in mehreren Teilen einer DecAIHub-Projektkarte auf:

AI component — datenbezogene Werte wie „data collection“, „data labeling“ oder „training data pipeline“ deuten darauf hin, dass das Projekt aktiv mit Datensätzen arbeitet, statt nur vorgefertigte Modelle zu nutzen.
Kategorie — Projekte in der Kategorie AI/Data konzentrieren sich gezielt auf Dateninfrastruktur, Marktplätze oder dezentrale Datenkoordination.
Evidenztabelle — Tier-1-Evidenz für Datensatzqualität umfasst veröffentlichte Data Cards, Stichprobenstatistiken, Dokumentation der Erhebungsmethodik, Lizenzinformationen sowie Links zu öffentlich zugänglichen Datensätzen oder Daten-Repositorys.
ai_score — innerhalb des DecAI Fit-Algorithmus trägt ein Projekt, das echte Datenarbeit mit veröffentlichter Evidenz nachweist, zu einem höheren ai_score bei. Die bloße Behauptung „proprietärer Daten“ ohne nachprüfbare Artefakte tut dies nicht.

Was ein Datensatz allein nicht beweist

Daten zu haben bedeutet nicht, dass die damit arbeitende KI real oder gut ist. Ein Projekt kann einen riesigen Datensatz sammeln und trotzdem kein funktionierendes Modell, keine Inferenz-Pipeline und keine nützliche Ausgabe haben.
Datensatzgröße ist kein Indikator für Qualität. Eine Million falsch gelabelter Beispiele ist schlechter als tausend sorgfältig kuratierte.
Die Behauptung „proprietärer Daten“ ist kein Beleg. Ohne Offenlegung von Datenquellen, Erhebungsmethodik oder Evaluationsergebnissen ist die Behauptung nicht nachprüfbar. Prüfen Sie das Framework Tier-1/2/3-Evidenz.
Ein Datensatz erklärt nicht, warum ein Token benötigt wird. Datenspeicherung und -zugriff erfordern nicht von Natur aus eine Blockchain oder einen Token.
Daten zu sammeln ist nicht Training. Ein Projekt mit einem großen Datensatz, aber ohne Modell, ohne Trainingspipeline und ohne Inferenz-Endpunkt ist ein Datenprojekt, kein KI-Projekt.

Nicht verwechseln mit

Training ist der Prozess, der den Datensatz verbraucht. Der Datensatz ist die Eingabe; Training ist die Operation.
Datenerhebung und Labeling ist die Pipeline, die den Datensatz produziert. Diese hängen zusammen, sind aber getrennte Stufen.
Kategorie AI/Data klassifiziert Projekte mit Fokus auf Dateninfrastruktur. Ein Datensatz ist ein Konzept, das in allen KI-Kategorien verwendet wird.
KI-Komponente beschreibt den Mechanismus, in dem die KI-Arbeit stattfindet. Ein Datensatz fließt in diesen Mechanismus ein, ist aber nicht der Mechanismus selbst.
Benchmarks und Qualitätsmetriken verwenden bestimmte Datensätze zur Evaluation, doch der Benchmark ist das Evaluationsverfahren, nicht der Datensatz selbst.

Häufig gestellte Fragen

Was macht einen guten Datensatz aus?

Ein guter Datensatz ist relevant für die Aufgabe, groß genug, um den Problemraum abzudecken, korrekt gelabelt (falls überwacht), frei von systematischen Verzerrungen und gut dokumentiert. Die Dokumentation sollte Datenquelle, Erhebungsmethodik, Labeling-Richtlinien, bekannte Einschränkungen und Versionshistorie umfassen. In der Praxis übertrifft ein kleinerer, aber sorgfältig kuratierter Datensatz oft einen größeren, aber verrauschten. Das Prinzip ist einfach: Das Modell kann nur so gut sein wie die Daten, aus denen es gelernt hat.

Was ist Data Poisoning?

Data Poisoning ist ein gezielter Angriff, bei dem ein Angreifer bösartige Beispiele in einen Trainingsdatensatz einschleust, um das Verhalten des Modells zu manipulieren. Beispielsweise könnte ein Angreifer falsch gelabelte Bilder hinzufügen, damit ein Klassifikator bestimmte Eingaben falsch erkennt, oder verzerrten Text einschleusen, damit ein Sprachmodell schädliche Ausgaben erzeugt. Data Poisoning ist ein ernstes Problem für die dezentrale Datenerhebung, bei der Beitragende anonym und anreizgetrieben sein können. Abwehrmechanismen umfassen redundantes Labeling, Anomalieerkennung, Reputationssysteme für Beitragende und kryptografische Nachverfolgung der Datenherkunft.

Darf man urheberrechtlich geschützte Daten zum Training von KI verwenden?

Dies ist eine aktive Rechtsfrage ohne allgemeingültige Antwort. Mehrere prominente Klagen prüfen, ob das Training auf urheberrechtlich geschütztem Material eine zulässige Nutzung (fair use) darstellt. Einige Rechtsordnungen sehen ausdrückliche Ausnahmen für Text- und Data-Mining zu Forschungszwecken vor. In der Praxis wurden die meisten Large Language Models auf web-gecrawlten Daten trainiert, die urheberrechtlich geschützte Inhalte enthalten. Projekte, die ihre Datenquellen und Lizenzbedingungen offenlegen, zeigen mehr Transparenz als jene, die das nicht tun. DecAIHub bewertet Datentransparenz als Teil des Evidenz-Frameworks, trifft jedoch keine rechtlichen Feststellungen zum Urheberrecht.

Was ist ein synthetischer Datensatz?

Ein synthetischer Datensatz wird von Algorithmen oder anderen KI-Modellen erzeugt, statt aus realen Quellen gesammelt zu werden. Synthetische Daten werden verwendet, um reale Datensätze zu ergänzen, Lücken zu füllen, wo reale Daten knapp sind, oder die Privatsphäre zu schützen, indem sensible Datensätze durch realistische, aber künstliche Substitute ersetzt werden. Das Risiko besteht darin, dass synthetische Daten Verzerrungen des Generatormodells erben und verstärken können. Modelle, die ausschließlich auf synthetischen Daten trainiert wurden, können zudem unter „Model Collapse“ leiden — einer fortschreitenden Qualitätsverschlechterung, je weiter jede Generation synthetischer Daten von der ursprünglichen Verteilung abdriftet.

Wie bewertet DecAIHub die Datensatzqualität?

DecAIHub bewertet Datensätze nicht direkt. Stattdessen wird bewertet, ob ein Projekt nachprüfbare Belege für Datenarbeit als Teil seiner gesamten DecAI Fit-Beurteilung liefert. Evidenz, die zum ai_score beiträgt, umfasst veröffentlichte Data Cards, dokumentierte Erhebungsmethodik, Stichprobenstatistiken, öffentliche Repositorys und Benchmark-Ergebnisse auf anerkannten Evaluationsmengen. Behauptungen über „proprietäre Daten“ oder „riesige Datensätze“ ohne unterstützende Artefakte werden als nicht nachprüfbar behandelt und erhöhen den Score nicht. Das Framework Tier-1/2/3-Evidenz definiert, was als Nachweis zählt.

Siehe auch

Externe Referenzen

Hugging Face -- Datasets -- das größte offene Repository für Machine-Learning-Datensätze, mit Suche, Filterung, Vorschau und Dokumentation für Tausende von Datensätzen.
Papers With Code -- Datasets -- Katalog von Datensätzen, die mit Benchmark-Ergebnissen und Forschungsarbeiten verknüpft sind, durchsuchbar nach Aufgabe und Domäne.
Stanford HAI -- AI Index Report -- jährliche Daten zum Wachstum von Datensätzen, zu Trends der Daten-Governance und zur Rolle von Daten beim KI-Fortschritt.
Google Research -- Dataset Search -- Suchmaschine speziell für im Web veröffentlichte Datensätze, einschließlich akademischer, behördlicher und kommerzieller Quellen.
Wikipedia -- Training data -- grundlegende Erklärung zu Trainings-, Validierungs- und Testdatenaufteilungen und ihrer Rolle im Machine Learning.