Skip to main content

Was ist Training

Hinweis: Dieses Dokument ist eine automatische Übersetzung des englischen Originals.

Was ist Training

Training ist der Prozess, ein KI-Modell zu lehren, indem es Daten ausgesetzt wird, sodass es Muster, Beziehungen und Strukturen lernt. Vor dem Training ist ein Modell eine leere Struktur mit zufälligen Parametern — es kann keine Bilder klassifizieren, keine Sätze erzeugen und keine Vorhersagen treffen. Nach dem Training kodieren diese Parameter Wissen, das aus den Daten extrahiert wurde. Training ist das, was ein leeres neuronales Netz in ein nützliches Werkzeug verwandelt.

Stell es dir vor, als würde man jemandem das Kochen beibringen. Du beginnst mit einer Person, die nie ein Messer gehalten hat. Du gibst ihr Tausende von Rezepten (den Datensatz), eine Küche zum Üben (die Compute) und einen Koch, der jedes Gericht probiert und sagt, was schiefging (die Verlustfunktion). Nach genug Übung — angebrannten Mahlzeiten, versalzenen Suppen, angepasster Technik — kann der Koch ein Gericht aus Zutaten improvisieren, die er nie zuvor kombiniert hat. Diese Improvisation ist das, was ein trainiertes Modell während der Inferenz tut.

Kurz gesagt: Training ist die „Lernphase“ — das Modell liest Millionen von Beispielen und passt sich an, bis es mit neuen, ungesehenen Eingaben umgehen kann. Das trainierte Modell ist das gewonnene Wissen.

Wie Training Schritt für Schritt funktioniert

Obwohl Endnutzer nur ein fertiges Modell sehen, ist Training eine mehrstufige Engineering-Pipeline. Jede Stufe führt Entscheidungen ein, die das Endergebnis beeinflussen.

Datenerhebung

Jeder Trainingslauf beginnt mit Daten. Das Projekt muss einen Datensatz zusammenstellen, der für die Aufgabe relevant ist, die das Modell erfüllen soll. Für ein Textmodell könnte dies ein Korpus natürlicher Sprache in Web-Maßstab sein. Für ein krypto-spezifisches Modell könnte es Blockchain-Transaktionshistorien, Protokolldokumentation oder Social-Sentiment-Daten umfassen. Die Qualität, Größe und Relevanz des Datensatzes setzen die Obergrenze dessen, was das Modell lernen kann — keine Architektur kann fehlende oder beschädigte Daten ausgleichen.

Datenvorverarbeitung

Rohdaten sind selten so wie sie sind nutzbar. Vorverarbeitung wandelt sie in ein einheitliches Format um, das das Modell aufnehmen kann. Übliche Schritte umfassen Tokenisierung (Aufteilen von Text in Subwort-Einheiten), Normalisierung (Skalieren numerischer Werte), Deduplizierung (Entfernen nahezu identischer Datensätze) und Filterung (Entfernen minderwertiger, anstößiger oder irrelevanter Beispiele). Schlecht vorverarbeitete Daten führen Rauschen ein, das das Modell eher auswendig lernen als daraus lernen könnte.

Architekturauswahl

Bevor das Training beginnt, wählen Ingenieure eine Modell-Architektur — den Bauplan, der definiert, wie Daten durch das Modell fließen. Für Textaufgaben ist die heute dominante Architektur der Transformer, der große Sprachmodelle antreibt. Für Bildaufgaben sind Convolutional Neural Networks (CNNs) und Vision Transformer (ViTs) verbreitet. Die Architektur bestimmt Anzahl und Art der Schichten, wie Attention berechnet wird und wie die Kapazität des Modells mit der Größe skaliert. Viele Krypto-KI-Projekte überspringen diesen Schritt, indem sie eine bestehende Open-Source-Architektur übernehmen (DeepSeek, Mistral, Stable Diffusion) und direkt zum Fine-Tuning übergehen.

Trainingsschleife

Die Trainingsschleife ist der zentrale Optimierungszyklus, der über Stunden, Tage oder Wochen läuft:

  1. Das Modell erhält einen Batch vorverarbeiteter Daten.
  2. Es erzeugt eine Ausgabe — eine Vorhersage, ein generiertes Token, eine Klassifizierung.
  3. Die Ausgabe wird mithilfe einer Verlustfunktion mit dem erwarteten Ergebnis verglichen, die den Fehler berechnet.
  4. Ein Optimierungsalgorithmus (typischerweise eine Variante des stochastischen Gradientenabstiegs) berechnet, wie jeder Parameter sich ändern sollte, um den Fehler zu verringern.
  5. Die internen Parameter des Modells (Gewichte) werden leicht in die Richtung angepasst, die den Verlust senkt.
  6. Der Zyklus wiederholt sich für den nächsten Batch.

Ein vollständiger Durchlauf durch den gesamten Datensatz wird Epoche genannt. Große Modelle können Hunderte von Epochen auf riesigen Datensätzen trainieren. Die Trainingsschleife ist die rechenintensivste Stufe — ein einziger Pre-Training-Lauf eines großen Sprachmodells kann Tausende von GPUs verbrauchen, die monatelang ununterbrochen laufen.

Evaluierung

Während des gesamten Trainings evaluieren Ingenieure das Modell regelmäßig auf einem zurückgehaltenen Validierungsset — Daten, die das Modell während des Trainings nie gesehen hat. Dies zeigt, ob das Modell tatsächlich generalisierbare Muster lernt oder lediglich Trainingsbeispiele auswendig lernt (ein Problem namens Overfitting). Die Evaluierung nutzt Benchmarks und Qualitätsmetriken, die zur Aufgabe passen: Perplexität für Sprachmodelle, Accuracy oder F1 für Klassifikatoren, BLEU oder ROUGE für Übersetzung und Zusammenfassung.

Deployment

Sobald ein Modell eine akzeptable Qualität bei den Evaluierungsmetriken erreicht, wird es für die Produktion verpackt. Dies kann das Konvertieren des Modells in ein effizienteres Format, das Anwenden von Quantisierung (Reduzieren der numerischen Präzision, um Speicher- und Rechenanforderungen zu senken) und das Bereitstellen in einer Inferenz-Pipeline umfassen. Das trainierte Modell — die Sammlung gelernter Gewichte — ist das Artefakt, das tatsächlich Nutzer bedient.

Stufe Was passiert Beispiel
Datenerhebung Relevanten Datensatz zusammenstellen Web-Text, Code, Blockchain-Daten sammeln
Vorverarbeitung Daten bereinigen und formatieren Text tokenisieren, Duplikate entfernen
Architekturauswahl Modell-Bauplan wählen Transformer mit 7 Mrd. Parametern auswählen
Trainingsschleife Gewichte per Gradientenabstieg optimieren 200 Epochen auf 1024 GPUs laufen lassen
Evaluierung Auf ungesehenen Daten testen Perplexität auf Validierungsset messen
Deployment Modell für Produktion verpacken Gewichte quantisieren, auf API deployen

Arten des Trainings

Nicht jedes Training ist gleich. Verschiedene Arten dienen verschiedenen Zwecken und treten in verschiedenen Phasen des KI-Lebenszyklus auf.

Pre-Training

Pre-Training bedeutet, ein Modell von Grund auf auf einem riesigen, allgemeinen Datensatz zu trainieren. Das Ziel ist, breite Muster zu lernen — Sprachstruktur, visuelle Merkmale, statistische Regelmäßigkeiten — statt aufgabenspezifisches Wissen. Pre-Training ist mit Abstand die teuerste Stufe. Ein Spitzen-LLM von Grund auf zu trainieren, kann zig Millionen Dollar kosten und Tausende von High-End-GPUs erfordern, die monatelang laufen. Sehr wenige Krypto-KI-Projekte tun dies; die überwiegende Mehrheit nutzt vortrainierte Modelle aus dem Open-Source-Ökosystem und passt sie an.

Fine-Tuning

Fine-Tuning nimmt ein vortrainiertes Modell und passt es auf einem kleineren, domänenspezifischen Datensatz an. Dies ist der gängigste Ansatz in Krypto-KI. Ein Projekt könnte ein LLM auf Blockchain-Dokumentation, Smart-Contract-Code oder DeFi-Protokolldaten feinabstimmen, um seine Leistung bei krypto-spezifischen Fragen zu verbessern. Fine-Tuning ist weit günstiger als Pre-Training, weil es von einem bereits fähigen Modell ausgeht und nur Gewichte verschieben muss, statt von null zu lernen.

Reinforcement Learning from Human Feedback (RLHF)

RLHF ist eine Post-Training-Technik, die verwendet wird, um die Ausgaben eines Modells mit menschlichen Präferenzen in Einklang zu bringen. Nach dem Pre-Training und initialem Fine-Tuning ranken menschliche Bewerter mehrere Modellausgaben für dieselbe Eingabe. Diese Rankings trainieren ein Belohnungsmodell, das dann das weitere Training des Hauptmodells per Reinforcement Learning leitet. RLHF ist die Technik, die Chatbots dazu bringt, Anweisungen zu folgen, schädliche Inhalte zu vermeiden und Antworten zu erzeugen, die Menschen als hilfreich empfinden. Es fügt dem rein statistischen Lernen eine Ebene menschlichen Urteils hinzu.

Knowledge Distillation

Distillation trainiert ein kleineres „Schüler“-Modell, die Ausgaben eines größeren „Lehrer“-Modells zu reproduzieren. Der Schüler lernt nicht aus den ursprünglichen Daten, sondern aus den Vorhersagen des Lehrers, die reichhaltigere Informationen enthalten (weiche Wahrscheinlichkeitsverteilungen statt harter Labels). Distillation ist praktisch für Projekte, die Modelle auf begrenzter Hardware ausführen müssen — etwa Edge-Geräte oder kostenbeschränkte dezentrale Inferenznetzwerke —, während sie den Großteil der Qualität des Lehrermodells bewahren.

Parameter-effizientes Fine-Tuning (LoRA und Adapter)

LoRA (Low-Rank Adaptation) und ähnliche Techniken frieren die meisten Gewichte des vortrainierten Modells ein und trainieren nur einen kleinen Satz zusätzlicher Parameter. Das macht Fine-Tuning dramatisch günstiger in Rechenleistung und Speicher — oft auf einer einzigen Consumer-GPU möglich. LoRA-Adapter sind leichtgewichtige Dateien (oft nur Dutzende Megabyte), die auf ein Basismodell geladen werden können, um sein Verhalten für eine bestimmte Aufgabe anzupassen. Dieses Muster ist besonders relevant für dezentrale KI, bei der Teilnehmer Modelle anpassen möchten, ohne die vollen Kosten des Fine-Tunings aller Gewichte zu tragen.

Verteiltes und föderiertes Training

Verteiltes Training verteilt die Arbeitslast auf mehrere GPUs oder Knoten, entweder durch Aufteilen der Daten (Datenparallelität) oder des Modells selbst (Modellparallelität). Föderiertes Training geht weiter: Daten verbleiben auf dem Gerät jedes Teilnehmers, und nur Modellaktualisierungen (Gradienten) werden geteilt. Das Modell verbessert sich kollektiv, ohne dass eine einzelne Partei Zugang zu allen Daten erhält. Dieses Muster steht im Einklang mit Dezentralisierungsprinzipien und taucht in Projekten der Kategorie AI/Training auf.

Art Kosten Typische Nutzung in Krypto-KI
Pre-Training Sehr hoch (Millionen Dollar) Selten; die meisten Projekte nutzen bestehende Modelle
Fine-Tuning Mäßig (Hunderte bis Tausende Dollar) Häufig; Modelle an die Krypto-Domäne anpassen
RLHF Hoch (erfordert menschliche Bewerter) Selten; in agentenorientierten Projekten zu sehen
Distillation Mäßig Genutzt, um leichtgewichtige Modelle für Inferenz zu erstellen
LoRA / Adapter Niedrig (einzelne GPU) Wachsend; ermöglicht nutzerspezifische Anpassung
Verteilt / föderiert Variiert Kernmuster für dezentrale Trainingsnetzwerke

Warum Training für die Überprüfbarkeit wichtig ist

Ein Projekt, das eigene Modelle trainiert, demonstriert tiefere KI-Fähigkeit als eines, das nur eine Drittanbieter-API aufruft. Training impliziert, dass das Projekt Zugang zu relevanten Daten, Rechenressourcen und Machine-Learning-Expertise hat. Es produziert auch überprüfbare Artefakte: Trainingsprotokolle, Verlustkurven, Modell-Checkpoints und Benchmark-Ergebnisse.

In DecAIHub-Projektkarten weisen trainingsbezogene Werte im Feld AI component — etwa distributed training, fine-tuning, model training pipeline — darauf hin, dass das Projekt mehr tut als nur vorgefertigte Modelle bereitzustellen. Die Seite Training als AI component beschreibt, wie diese Werte in der Praxis erscheinen.

Was Training erfordert

Drei Ressourcen bestimmen, ob Training machbar ist:

  • Daten — ein hochwertiger Datensatz, der groß genug und für die Aufgabe relevant ist. Datenqualität bestimmt Modellqualität.
  • Compute — GPUs oder spezialisierte Hardware. Mehr Daten und größere Modelle brauchen mehr Compute. Dies ist der Hauptkostentreiber.
  • Expertise — Architekturen wählen, Hyperparameter abstimmen, Ergebnisse evaluieren und Fehler beheben erfordert Machine-Learning-Wissen.

Projekte, die behaupten, Trainingsinfrastruktur anzubieten, sollten Belege für alle drei zeigen.

Wo Training in DecAIHub-Projektkarten auftaucht

Training erscheint in mehreren Teilen einer DecAIHub-Projektkarte:

  • AI component — trainingsbezogene Werte wie „distributed training“, „fine-tuning“ oder „model training pipeline“ weisen darauf hin, dass das Projekt aktiv Modelle trainiert oder Modelltraining unterstützt, statt nur vorgefertigte Modelle zu konsumieren.
  • Kategorie — Projekte der Kategorie AI/Training konzentrieren sich speziell darauf, Trainingsinfrastruktur oder -dienste bereitzustellen.
  • Evidenz-Tabelle — Tier-1-Evidenz für Training umfasst öffentliche Trainingsprotokolle, Verlustkurven, auf Hugging Face oder ähnliche Repositories veröffentlichte Modell-Checkpoints und veröffentlichte Benchmark-Vergleiche.
  • ai_score — innerhalb des DecAI Fit-Algorithmus hebt der Nachweis echten Trainings mit veröffentlichter Evidenz den ai_score. Bloß zu behaupten „wir trainieren Modelle“ ohne Artefakte tut dies nicht.

Was Training allein nicht beweist

  • Ein Modell zu trainieren bedeutet nicht, dass das Modell gut ist. Ohne Benchmarks oder Evaluierung gibt es keine Möglichkeit, die Qualität zu beurteilen.
  • Training beweist nicht, dass das Modell im Einsatz ist. Ein Modell, das trainiert, aber nie für die Inferenz bereitgestellt wurde, erzeugt keinen Wert für Nutzer.
  • Das Trainieren auf dem Open-Source-Modell eines anderen ist legitim, sollte aber offengelegt und nicht als Aufbau von Grund auf dargestellt werden.
  • Training erklärt nicht, warum ein Token notwendig für den Prozess ist.
  • Behauptungen über „dezentrales Training“ ohne Belege dafür, dass mehrere unabhängige Teilnehmer tatsächlich Rechenleistung beisteuern, sind nicht überprüfbar. Prüfe auf On-Chain-Aufzeichnungen von Trainingsaufgaben, Anbieter-Registrierungen oder überprüfbare Compute-Protokolle.

Prüfe die Evidenz-Tabelle und die Tier-1/2/3-Evidenz bei der Bewertung von Trainingsbehauptungen.

Nicht verwechseln mit

  • Inferenz ist die nächste Stufe — das Ausführen des trainierten Modells auf neuen Daten. Training produziert das Modell; Inferenz nutzt es.
  • Training als AI component beschreibt, wie Training in DecAIHub-Projektkarten erscheint. Diese Seite erklärt das Konzept selbst.
  • Kategorie AI/Training klassifiziert Projekte, die sich auf Trainingsinfrastruktur konzentrieren. Das Konzept des Trainings gilt breiter.
  • Datenerhebung und -kennzeichnung bereitet die Daten vor, die das Training konsumiert. Sie sind verwandte, aber unterschiedliche Stufen.
  • KI-Modell ist das durch Training erzeugte Artefakt — der Satz gelernter Gewichte. Training ist der Prozess; das Modell ist das Ergebnis.

Häufig gestellte Fragen

Wie lange dauert KI-Training?

Es hängt von der Modellgröße, der Datensatzgröße und der verfügbaren Hardware ab. Das Fine-Tuning eines kleinen Modells auf einem fokussierten Datensatz kann auf einer einzelnen GPU in Stunden abgeschlossen sein. Das Pre-Training eines Spitzen-LLM von Grund auf dauert Wochen bis Monate auf Clustern mit Tausenden von GPUs. Zur Einordnung: Das Training eines Spitzen-LLM mit 70 Mrd. Parametern erfordert etwa 1–2 Millionen GPU-Stunden auf NVIDIA-A100-Hardware. Verteiltes und föderiertes Training kann die Wandzeit durch Verteilung der Arbeitslast verkürzen, führt aber Koordinationsaufwand ein.

Was ist der Unterschied zwischen Pre-Training und Fine-Tuning?

Pre-Training lehrt ein Modell allgemeines Wissen aus einem riesigen, breiten Datensatz — es lernt Sprachstruktur, visuelle Merkmale oder statistische Muster von Grund auf. Fine-Tuning nimmt dieses vortrainierte Modell und spezialisiert es auf einem kleineren, domänenspezifischen Datensatz, sodass es bei einer bestimmten Aufgabe besser abschneidet. Pre-Training ist teuer und wird einmal durchgeführt; Fine-Tuning ist günstiger und kann für verschiedene Domänen wiederholt werden.

Warum ist Training so teuer?

Der dominante Kostenfaktor ist die Rechenhardware. Das Training großer Modelle erfordert Tausende von High-End-GPUs, die ununterbrochen laufen und erheblich Strom verbrauchen. Datenaufbereitung, menschliches Labeling und die Zeit von Experteningenieuren verursachen weitere Kosten. Das Pre-Training eines einzigen Spitzenmodells kann zig Millionen Dollar kosten. Techniken wie LoRA, Distillation und Transfer Learning per Fine-Tuning senken die Kosten dramatisch, indem sie bestehende vortrainierte Modelle wiederverwenden, statt von null zu beginnen.

Kann man KI auf einer Blockchain trainieren?

Eine vollständige Trainingsschleife direkt On-Chain auszuführen, ist unpraktikabel — Blockchain-Ausführungsumgebungen sind für die Milliarden von Matrixoperationen, die Training erfordert, viel zu langsam und teuer. Blockchains können Training jedoch koordinieren. Dezentrale Trainingsnetzwerke nutzen On-Chain-Mechanismen, um Aufgaben zuzuweisen, Beiträge zu verifizieren, Belohnungen zu verteilen und Herkunft aufzuzeichnen, während die eigentliche Berechnung off-chain auf teilnehmenden GPUs stattfindet. Dieses Muster taucht in Projekten der Kategorie AI/Training auf.

Was ist RLHF?

Reinforcement Learning from Human Feedback ist eine Post-Training-Technik, die das Verhalten eines Modells mit menschlichen Präferenzen in Einklang bringt. Nach dem initialen Training ranken menschliche Bewerter die Ausgaben des Modells. Diese Rankings trainieren ein Belohnungsmodell, das dann die weitere Optimierung des Hauptmodells durch Reinforcement Learning leitet. RLHF ist das, was moderne Chatbots dazu bringt, Anweisungen zu folgen und hilfreiche, sichere Antworten statt roher statistischer Vervollständigungen zu erzeugen.

Siehe auch

Externe Referenzen

No comments to display

Back to top