Was ist Inferenz

Hinweis: Dieses Dokument ist eine automatische Übersetzung des englischen Originals.

Was ist Inferenz

Inferenz ist der Prozess, ein trainiertes KI-Modell auf neue Daten anzuwenden, um ein Ergebnis zu erhalten. Wenn ein Modell ein Bild klassifiziert, einen Textabsatz generiert, einen Risiko-Score vorhersagt oder eine Handlung empfiehlt, führt es Inferenz aus. Wenn Training ist, wie das Modell lernt, dann ist Inferenz, wie es arbeitet.

Eine nützliche Analogie: Training ist das Lernen für eine Prüfung — Lehrbücher lesen, Übungsaufgaben lösen, Muster aufnehmen. Inferenz ist das Ablegen der Prüfung — das Gelernte unter realen Bedingungen auf neue Fragen anzuwenden. Jedes Mal, wenn ein KI-System in der Produktion einen Output erzeugt, ist das Inferenz.

Kurz gesagt: Training ist das Lernen für eine Prüfung; Inferenz ist das Ablegen der Prüfung. Jedes Mal, wenn ein KI-System in der Produktion einen Output erzeugt, ist das Inferenz.

Wie Inferenz Schritt für Schritt funktioniert

Obwohl Inferenz für den Endnutzer augenblicklich wirkt („Ich habe eine Frage eingetippt und eine Antwort erhalten“), läuft jedes Mal, wenn ein Modell einen Output erzeugt, hinter den Kulissen eine konkrete Pipeline ab.

Input

Alles beginnt mit Eingabedaten — einem Text-Prompt, einem Bild, einer Zahlenmenge, einem Blockchain-Transaktionshash, einem Audioclip oder beliebigen anderen strukturierten oder unstrukturierten Daten, die das Modell verarbeiten sollte.

Vorverarbeitung

Roheingaben werden selten direkt in das Modell eingespeist. Ein Vorverarbeitungsschritt transformiert sie in das vom Modell erwartete Format. Bei einem Textmodell bedeutet das Tokenisierung — Text in Token (Subwort-Einheiten) zerlegen und in numerische IDs umwandeln. Bei einem Bildmodell bedeutet das die Größenänderung, die Normalisierung der Pixelwerte und manchmal die Augmentierung des Bildes. Die Vorverarbeitung muss exakt den beim Training verwendeten Schritten entsprechen; andernfalls erhält das Modell Daten in einem Format, für dessen Verarbeitung es nie trainiert wurde.

Forward Pass

Der vorverarbeitete Input wird durch die Architektur des Modells geleitet — Schicht für Schicht, durch alle gelernten Gewichte und Aktivierungsfunktionen. Dies wird Forward Pass genannt. Während dieses Schritts wendet das Modell die während des Trainings gelernten Muster auf den neuen Input an. Es werden keine Gewichte aktualisiert; es findet kein Lernen statt. Das Modell berechnet einfach einen Output aus dem Input mithilfe seines vorhandenen Wissens.

Bei einem großen Sprachmodell erzeugt der Forward Pass eine Wahrscheinlichkeitsverteilung über mögliche nächste Token. Bei einem Klassifikator erzeugt er Wahrscheinlichkeiten für jede Klasse. Bei einem generativen Bildmodell erzeugt er Schritt für Schritt ein entrauschtes Bild.

Output

Der Forward Pass erzeugt einen Roh-Output — oft einen Vektor aus Zahlen, Wahrscheinlichkeiten oder eine Token-Sequenz. Dieser Roh-Output muss interpretiert werden, um nützlich zu werden.

Nachverarbeitung

Die Nachverarbeitung wandelt den Roh-Output in ein für Menschen lesbares oder für Systeme nutzbares Ergebnis um. Bei einem LLM bedeutet das, Token-IDs zurück in Text zu dekodieren. Bei einem Klassifikator bedeutet es, Wahrscheinlichkeits-Scores auf Klassenlabels abzubilden („Spam“ vs. „kein Spam“). Bei einem Scoring-Modell bedeutet es, einen Rohwert in einen Score-Bereich umzuwandeln, den die Anwendung erwartet.

Zusammengefasst:

Schritt	Was passiert	Beispiel (Textmodell)
Input	Rohdaten kommen an	Nutzer tippt eine Frage
Vorverarbeitung	Daten werden ins Modellformat transformiert	Text wird in numerische IDs tokenisiert
Forward Pass	Modell berechnet Output aus Input mit gelernten Gewichten	Wahrscheinlichkeitsverteilung über das Vokabular
Roh-Output	Numerisches Ergebnis erzeugt	Token-Wahrscheinlichkeiten
Nachverarbeitung	Output wird in nutzbare Form umgewandelt	Token-IDs zurück in Text dekodiert

Arten von Inferenz

Nicht jede Inferenz ist gleich. Unterschiedliche Deployment-Szenarien schaffen unterschiedliche technische Anforderungen und Kompromisse.

Echtzeit- vs. Batch-Inferenz

Dimension	Echtzeit-Inferenz	Batch-Inferenz
Wann sie läuft	Auf Abruf, pro Anfrage	Nach Zeitplan oder wenn sich ein Batch ansammelt
Latenzanforderung	Niedrig (Millisekunden bis Sekunden)	Flexibel (Minuten bis Stunden akzeptabel)
Anwendungsfall	Chatbots, Live-Scoring, interaktive Agenten	Berichterstellung, Massenklassifikation, periodische Analytik
Kostenprofil	Höher pro Anfrage (Hardware muss stets bereit sein)	Niedriger pro Element (Hardware wird in Schüben effizient genutzt)

Echtzeit-Inferenz ist das, was Endnutzer typischerweise erleben — sie senden eine Anfrage und erhalten sofort eine Antwort. Batch-Inferenz ist in Backend-Pipelines verbreitet, in denen ein Modell Tausende von Datenpunkten auf einmal verarbeitet (z. B. das Scoring aller Transaktionen der letzten Stunde auf Betrugsrisiko).

Edge- vs. Cloud-Inferenz

Cloud-Inferenz läuft auf zentralisierten Servern (oder Server-Clustern) in einem Rechenzentrum. Sie bietet leistungsstarke Hardware (High-End-GPUs, großer Speicher), bringt aber Netzwerklatenz und Abhängigkeit von einem zentralen Anbieter mit sich.
Edge-Inferenz läuft auf lokalen Geräten — Smartphones, IoT-Sensoren, eingebetteter Hardware. Sie reduziert die Latenz und hält Daten auf dem Gerät, ist aber durch die Rechenleistung und den Speicher des Geräts begrenzt.

Viele Produktionssysteme kombinieren beides: Leichtgewichtige Modelle laufen am Edge für schnelle erste Antworten, während komplexe Anfragen an cloudbasierte Modelle weitergeleitet werden.

On-Chain- vs. Off-Chain-Inferenz

Diese Unterscheidung ist spezifisch für Krypto-KI und steht im Zentrum dessen, wie DecAIHub Projekte bewertet:

Off-Chain-Inferenz — das Modell läuft auf traditionellen Servern oder GPU-Clustern. Ergebnisse können danach auf einer Blockchain veröffentlicht werden oder auch nicht. Dies ist das gängigste Setup in Krypto-KI-Projekten, weil das direkte Ausführen großer Modelle auf einer Blockchain rechnerisch unpraktisch ist.
On-Chain-Inferenz — das Modell (oder ein überprüfbarer Beweis seiner Berechnung) wird innerhalb der Ausführungsumgebung der Blockchain ausgeführt. Echte On-Chain-Inferenz für nicht-triviale Modelle ist aufgrund der rechnerischen Beschränkungen von Smart-Contract-Umgebungen äußerst selten. Projekte, die On-Chain-Inferenz behaupten, verwenden typischerweise einen dieser Ansätze: das Ausführen eines sehr kleinen Modells innerhalb eines Smart Contracts, das Veröffentlichen eines kryptografischen Beweises (wie zkML), dass die Inferenz off-chain korrekt durchgeführt wurde, oder die Nutzung eines Oracle-ähnlichen Mechanismus, bei dem Off-Chain-Inferenzergebnisse attestiert und on-chain aufgezeichnet werden.

Die Unterscheidung zwischen On-Chain- und Off-Chain-Inferenz ist direkt relevant für die Achse Onchain necessity in DecAI Fit.

Warum Inferenz in Krypto-KI wichtig ist

Wenn ein Projekt behauptet, künstliche Intelligenz zu nutzen, muss irgendwo Inferenz stattfinden. Ein Modell, das trainiert wurde, aber nie Inferenz ausführt, erzeugt keine Outputs und liefert Nutzern keinen Wert. Inferenz ist der Punkt, an dem KI aufhört, ein Konzept zu sein, und beginnt, ein Produkt zu sein.

In DecAIHub-Projektkarten erwähnt das Feld AI component oft inferenzbezogene Mechanismen: Inference Engines, dezentrale Inferenz, LLM-Inferenz-Endpunkte, Model Serving. Dies sind konkrete Indikatoren dafür, dass ein Modell tatsächlich genutzt wird — nicht nur behauptet.

Kosten, Geschwindigkeit und die Compute-Verbindung

Inferenz ist nicht kostenlos. Das Ausführen eines Modells erfordert Rechenressourcen — typischerweise GPUs oder spezialisierte Beschleuniger wie TPUs und kundenspezifische ASICs. Die Kosten der Inferenz hängen von mehreren Faktoren ab:

Faktor	Auswirkung auf Kosten und Geschwindigkeit
Modellgröße (Parameteranzahl)	Größere Modelle benötigen mehr Speicher und Rechenleistung pro Anfrage
Eingabelänge	Längere Eingaben (z. B. lange Text-Prompts) erhöhen die Verarbeitungszeit
Ausgabelänge	Bei autoregressiven Modellen (LLMs) erfordert jedes Output-Token einen Forward Pass
Batch-Größe	Das gemeinsame Verarbeiten mehrerer Anfragen kann den Durchsatz verbessern, fügt aber Latenz hinzu
Hardware	Leistungsstärkere GPUs reduzieren die Zeit, kosten aber mehr
Quantisierung	Das Reduzieren der numerischen Präzision (z. B. von 32-Bit auf 8-Bit) senkt Speicher und Rechenleistung auf Kosten gewisser Genauigkeit

Projekte optimieren Inferenz durch mehrere Techniken:

Quantisierung — Reduzieren der numerischen Präzision der Gewichte, um weniger Speicher und Rechenleistung zu verbrauchen.
Distillation — Trainieren eines kleineren „Schüler“-Modells, das ein größeres „Lehrer“-Modell nachahmt, was ein schnelleres Modell mit akzeptablem Qualitätsverlust erzeugt.
Batching — Gruppieren mehrerer Anfragen, um sie gleichzeitig zu verarbeiten und Rechen-Overhead zu teilen.
Caching — Speichern und Wiederverwenden von Ergebnissen für wiederholte oder ähnliche Anfragen.
Hardwareauswahl — Auswahl der richtigen GPU, TPU oder des richtigen Beschleunigers für den Workload.

Die Compute-Infrastruktur, die Inferenz antreibt, ist ein wichtiger Bereich in der Krypto-KI. Viele Projekte bauen oder koordinieren GPU-Netzwerke speziell, um Inferenz-Workloads zu bedienen, und fallen unter die Kategorien AI/Compute oder AI/Inference.

Dezentrale Inferenz

In traditioneller KI läuft Inferenz auf zentralisierten Servern, die von einem Unternehmen kontrolliert werden. Dezentrale Inferenz verteilt das Model Serving über ein Netzwerk unabhängiger Anbieter. Dies ist ein Kernmuster in der Kategorie AI/Inference von Krypto-KI-Projekten.

Dezentrale Inferenz bringt eine Reihe von Herausforderungen mit sich, die in zentralisierten Systemen nicht existieren:

Output-Konsistenz — verschiedene Anbieter müssen für denselben Input identische (oder hinreichend ähnliche) Outputs erzeugen. Hardwareunterschiede, Softwareversionen und numerische Präzision können Divergenz verursachen.
Verifizierung — wie beweist man, dass tatsächlich das korrekte Modell verwendet wurde, dass der Input nicht manipuliert wurde und dass der Output ehrlich berechnet wurde? Ansätze umfassen Multi-Provider-Konsens (dieselbe Anfrage auf mehreren Nodes ausführen und Ergebnisse vergleichen), trusted execution environments (TEE), die Garantien auf Hardware-Ebene bieten, und Zero-Knowledge-Beweise (zkML), die korrekte Berechnung beweisen, ohne Modellgewichte oder Eingabedaten preiszugeben.
Latenz — das Routing von Anfragen an verteilte Anbieter fügt im Vergleich zu zentralisierten Servern Netzwerk-Overhead hinzu.
Zahlungskoordination — Anbieter müssen fair entschädigt werden, was oft On-Chain-Zahlungsmechanismen umfasst, die an verifizierte Inferenzarbeit gekoppelt sind.

Diese Mechanismen werden ausführlich auf der Seite Inferenz als AI component beschrieben.

Wo es in DecAIHub-Projektkarten erscheint

Inferenz taucht in mehreren Teilen einer DecAIHub-Projektkarte auf:

AI component — inferenzbezogene Werte wie „inference“, „model serving“, „LLM inference“ oder „decentralized inference“ zeigen an, dass die KI-Kernfunktion eines Projekts das Ausführen von Modellen in der Produktion umfasst.
Kategorie — Projekte in der Kategorie AI/Inference konzentrieren sich speziell auf die Bereitstellung von Inferenzinfrastruktur oder -diensten.
Evidenztabelle — Tier-1-Evidenz für Inferenz umfasst öffentliche API-Endpunkte, Inferenz-Benchmarks, Latenzmessungen und überprüfbare Compute-Logs.
ai_score — ein Projekt, das funktionierende Inferenz mit veröffentlichter Evidenz nachweist, erhält einen höheren ai_score als eines, das nur ein Modell beschreibt, ohne zu zeigen, dass es läuft.

Ein Projekt kann behaupten, ein Modell zu haben, aber wenn es keine Evidenz dafür gibt, dass in der Produktion Inferenz stattfindet, liefert das Modell Endnutzern keinen Wert.

Was Inferenz allein nicht beweist

Inferenz auf einem Drittanbietermodell über API auszuführen (z. B. GPT oder Claude aufzurufen) ist technisch Inferenz, demonstriert aber keine proprietäre KI-Fähigkeit. Siehe Was ist ein API wrapper.
Inferenz beweist, dass ein Modell läuft — sie beweist nicht, dass das Modell hochwertig oder gut für die Aufgabe geeignet ist. Qualität erfordert Benchmarks und Metriken.
Inferenz beweist nicht, dass ein Token notwendig ist, damit die Pipeline funktioniert, oder dass das Projekt on-chain sein muss. Dies sind separate Achsen in DecAI Fit.
Geschwindigkeitsbehauptungen ohne veröffentlichte Benchmarks oder Methodik sind nicht überprüfbar. „Schnellste Inferenz“ zu behaupten erfordert reproduzierbare Evidenz.
Die Existenz eines Inferenz-Endpunkts beweist nicht, dass das dahinterstehende Modell vom Projekt gebaut wurde, statt eine gehostete Kopie eines Open-Source-Modells zu sein.

Prüfe immer die Evidenztabelle und die Tier-1/2/3-Evidenz auf unterstützende Artefakte.

Nicht verwechseln mit

Training erzeugt das Modell. Inferenz nutzt es. Sie sind aufeinanderfolgende Stufen des KI-Lebenszyklus.
Inferenz als AI component beschreibt, wie Inferenz speziell in DecAIHub-Projektkarten erscheint. Diese Seite erklärt das Konzept selbst.
AI/Inference-Kategorie klassifiziert Projekte, die sich auf Inferenzinfrastruktur konzentrieren. Das Konzept der Inferenz gilt für jedes Projekt, das ein Modell ausführt, unabhängig von seiner Kategorie.
Compute stellt die Hardware bereit. Inferenz ist der Workload, der auf dieser Hardware läuft. Ein Compute-Netzwerk kann sowohl Trainings- als auch Inferenz-Workloads bedienen.
KI-Modell ist das Artefakt (die trainierten Gewichte). Inferenz ist der Prozess, dieses Artefakt zu nutzen, um Outputs zu erzeugen.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Training und Inferenz?

Training ist der Prozess, ein Modell zu lehren, indem man es Daten aussetzt und seine Gewichte anpasst, um Fehler zu minimieren. Es ist rechnerisch teuer und geschieht typischerweise einmal (oder periodisch beim Nachtrainieren). Inferenz ist der Prozess, das trainierte Modell zu nutzen, um Outputs auf neuen Daten zu erzeugen. Sie geschieht jedes Mal, wenn ein Nutzer mit dem Modell interagiert. Training erzeugt das Modell; Inferenz nutzt es.

Warum ist die Inferenzgeschwindigkeit wichtig?

Geschwindigkeit bestimmt das Nutzererlebnis und die Betriebskosten. Ein Chatbot, der 30 Sekunden zum Antworten braucht, ist in der Praxis unbrauchbar. Ein Betrugserkennungssystem, das Minuten braucht, um eine Transaktion zu bewerten, verpasst das Zeitfenster zum Handeln. Schnellere Inferenz bedeutet auch geringere Rechenkosten pro Anfrage, was die wirtschaftliche Tragfähigkeit eines Dienstes direkt beeinflusst — besonders für dezentrale Netzwerke, in denen Anbieter die Hardwarekosten tragen.

Was ist dezentrale Inferenz?

Dezentrale Inferenz verteilt das Model Serving über ein Netzwerk unabhängiger Compute-Anbieter, anstatt sich auf die Server eines einzelnen Unternehmens zu verlassen. Die zentralen Herausforderungen sind, Output-Konsistenz sicherzustellen, zu verifizieren, dass tatsächlich das korrekte Modell verwendet wurde, die Latenz zu verwalten und Zahlungen zu koordinieren. Krypto-KI-Projekte in der AI/Inference-Kategorie bauen oft Infrastruktur speziell für diesen Zweck.

Wie kann man verifizieren, dass Inferenz tatsächlich stattfindet?

Achte auf Tier-1-Evidenz: öffentliche API-Endpunkte, die getestet werden können, Inferenz-Latenz-Benchmarks, Compute-Logs, On-Chain-Aufzeichnungen von Inferenzanfragen und -ergebnissen oder überprüfbare Beweise (wie TEE-Attestierungen oder zkML-Beweise). Marketingbehauptungen wie „powered by AI“ ohne eines dieser Artefakte stellen keine Evidenz für echte Inferenz dar.

Wie hoch sind die Kosten für das Ausführen von Inferenz?

Die Kosten hängen von der Modellgröße, der Eingabe-/Ausgabelänge, der Hardware und den Optimierungstechniken ab. Eine einzelne Anfrage durch ein großes Sprachmodell laufen zu lassen kann je nach Anbieter und Modellgröße Bruchteile eines Cents bis mehrere Cents kosten. Bei dezentralen Inferenznetzwerken werden die Kosten typischerweise pro Anfrage oder pro Recheneinheit bezahlt, oft mit dem nativen Token des Netzwerks oder einem Stablecoin. Die Ökonomie der Inferenz ist ein Schlüsselfaktor dafür, ob die KI-Pipeline eines Projekts in großem Maßstab nachhaltig ist.

Siehe auch

Externe Referenzen

Hugging Face -- Inference Endpoints -- verwaltete Infrastruktur zum Deployen und Ausführen von Modellen in der Produktion.
Papers With Code -- Inference -- Benchmark-Ergebnisse und Methoden für effiziente Inferenz über Modelltypen hinweg.
Stanford HAI -- AI Index Report -- jährliche Daten zu Inferenzkosten, Hardwaretrends und Deployment-Mustern.
Google AI Blog -- Efficient ML -- Forschung zu Quantisierung, Distillation und anderen Techniken zur Inferenzoptimierung.
Wikipedia -- Statistical inference -- Hintergrund zu den statistischen Grundlagen der Inferenz im maschinellen Lernen.