Skip to main content

Was als Evidenz für eine AI component zählt

Hinweis: Dieses Dokument ist eine automatische Übersetzung des englischen Originals.

Was als Evidenz für eine AI component zählt

Wenn DecAIHub beurteilt, ob ein Projekt eine funktionierende AI component hat, sucht es nach überprüfbaren Artefakten – nicht nach Marketingtexten, nicht nach Versprechen, nicht nach Markenassoziationen. Diese Seite listet die Arten von Evidenz auf, die die Achse AI reality des DecAI Fit-Scores stärken, geordnet von der stärksten zur schwächsten.

Kurz gesagt: Evidenz für KI bedeutet Artefakte, die du inspizieren, testen oder unabhängig verifizieren kannst – Code, Dokumentation, Metriken mit Methodik, funktionierende Demos und Drittanbieter-Evaluierungen.

Tier-1-Evidenz (am stärksten)

Tier-1-Quellen sind Artefakte, die vom Projekt selbst veröffentlicht oder kontrolliert werden. Für die Achse AI reality umfasst die stärkste Tier-1-Evidenz:

  • Öffentliches Repository mit KI/ML-Code – Modelltrainingsskripte, Inferenzlogik, Datenpipelines, Vorverarbeitungsschritte. Ein Repository mit Commits, Releases und Tests ist weitaus stärker als ein Platzhalter-Repo mit einer README.
  • Technische Dokumentation – Beschreibungen der Modellarchitektur, der Eingabe-/Ausgabeformate, der Modellversionen und der Aktualisierungshistorie. Dies beantwortet „welches Modell, wie es funktioniert und welche Version läuft“.
  • Qualitätsmetriken mit Methodik – veröffentlichte Benchmarks oder Evaluierungsergebnisse, die angeben, was gemessen wurde, auf welchen Daten, wann und mit welcher Version des Modells. Metriken ohne diesen Kontext sind keine Evidenz.
  • Funktionierende Demos oder Endpunkte – eine öffentlich zugängliche Schnittstelle, API oder Sandbox, in der die AI component getestet werden kann. Eine Demo, die echte Eingaben verarbeitet und KI-getriebene Ausgaben zurückgibt, ist direkte Evidenz.
  • Audit-Berichte oder Drittanbieter-Evaluierungen – unabhängige Bewertungen der Modellqualität, Fairness, Sicherheit oder Leistung durch eine anerkannte Instanz.

Muster, die Tier-1-Evidenz stärken

Nicht alle Tier-1-Artefakte sind gleich überzeugend. Mehrere beobachtbare Muster machen Evidenz glaubwürdiger:

  • Tiefe der Commit-Historie. Ein Repository mit monate- oder jahrelangen inkrementellen Commits, Pull Requests, Code-Reviews und versionierten Releases zeigt nachhaltigen Engineering-Aufwand. Ein einzelner Massenupload trägt weitaus weniger Gewicht.
  • Testabdeckung und CI-Pipelines. Automatisierte Tests für Modellinferenz, Datenvalidierung und Integrationsendpunkte deuten auf ein produktionsreifes System statt auf einen Proof-of-Concept hin.
  • Versionierte Modelle und Changelogs. Wenn die Dokumentation nachverfolgt, welche Modellversion eingesetzt wird, was sich zwischen Versionen geändert hat und warum, signalisiert das ein lebendiges System mit aktivem Entwicklungszyklus.
  • Reproduzierbare Ausgaben. Wenn eine Demo oder API für dieselben Eingaben über Sitzungen hinweg konsistente, erklärbare Ergebnisse liefert, ist das stärker als eine einmalige Vorführung.
  • Trennung der KI-Logik vom Boilerplate. Eine Codebasis, in der KI/ML-Module klar identifizierbar sind – getrennt von Frontend-Gerüst, Deployment-Skripten oder Token-Contracts –, erleichtert die Verifizierung dessen, was die AI component tatsächlich tut.

Tier-2-Evidenz (Kontext, kein Beweis)

Tier-2-Quellen liefern Kontext, beweisen aber für sich allein keine funktionierende AI component:

  • Interviews oder AMAs, in denen das Team den KI-Ansatz, die Architektur oder den Trainingsprozess beschreibt.
  • Aggregator-Beschreibungen (CoinGecko, DeFiLlama usw.), die KI-Fähigkeiten erwähnen.
  • Partnerschaftsankündigungen mit KI-Anbietern oder Forschungslaboren.

Tier-2-Evidenz kann einen Tier-1-Befund stützen, aber nicht ersetzen. Eine Partnerschaft mit einem KI-Unternehmen beweist nicht, dass das Projekt seine eigene funktionierende KI hat.

Wann Tier-2-Evidenz wichtig ist

Tier-2-Quellen werden relevant, wenn sie Tier-1-Artefakte bestätigen oder Lücken füllen, die Tier-1 allein mehrdeutig lässt:

  • Ein technisches Interview, in dem das Team die in seiner Dokumentation beschriebene Architektur durchgeht, verleiht den Tier-1-Dokumenten Glaubwürdigkeit.
  • Ein Aggregator-Eintrag, der zu den im eigenen Whitepaper des Projekts beschriebenen Fähigkeiten passt, signalisiert Konsistenz.
  • Ein Konferenzvortrag mit einer Live-Demo, die das Verhalten der öffentlichen API des Projekts widerspiegelt, untermauert, dass die Demo nicht gescriptet ist.

Ohne zugrunde liegende Tier-1-Artefakte bleiben jedoch selbst überzeugende Tier-2-Quellen Kontext – wertvoll zum Verständnis, unzureichend zur Verifizierung.

Was nicht zählt

Manche Artefakte sehen aus wie Evidenz, demonstrieren aber keine funktionierende AI component. Zu den häufigen falschen Signalen gehören Marketingtexte, leere Repositories, Metriken ohne Methodik und API-Wrapper ohne proprietäre Logik. Eine ausführliche Liste findest du unter Was nicht als Evidenz für KI zählt.

Wie DecAIHub KI-Evidenz erfasst: Flags AI_0 bis AI_4

Die Achse AI reality verwendet fünf binäre Flags, um zu erfassen, welche Evidenz gefunden wurde:

Flag Was es prüft Wert
AI_0 Gibt es zumindest eine Tier-1-Erklärung einer KI-Absicht (Roadmap, offizielles Update) 1 / 0
AI_1 Gibt es eine Beschreibung dessen, was die KI tut 1 / 0
AI_2 Gibt es Demos oder funktionierende Beispiele 1 / 0
AI_3 Gibt es Qualitätsmetriken mit Kontext (was, auf welchen Daten, wann) 1 / 0
AI_4 Gibt es eine technische Beschreibung, Architektur oder Modellversionen 1 / 0

Je mehr Flags gleich 1 sind, desto höher der ai_score und desto besser der DecAI Fit des Projekts. Wenn keines der Flags gesetzt ist, ist ai_score = 0 und DecAI Fit kann 0 nicht überschreiten.

Wie Flag-Kombinationen auf Konfidenz abbilden

Einzelne Flags beantworten enge Fragen, aber ihre Kombination zeichnet ein vollständigeres Bild:

Gesetzte Flags Typische Interpretation
Nur AI_0 Absicht erklärt; noch keine funktionierende KI verifiziert
AI_0 + AI_1 KI in Worten beschrieben; keine Demo, keine Metriken, keine Architektur
AI_0 + AI_1 + AI_2 Eine funktionierende Demo existiert; weiterhin keine Metriken oder technische Tiefe
AI_0 + AI_1 + AI_2 + AI_4 Demo und Architektur vorhanden; Qualitätsmessung fehlt
Alle fünf (AI_0 bis AI_4) Stärkstes Evidenzprofil: Absicht, Beschreibung, Demo, Metriken und Architektur

Ein Projekt muss nicht alle fünf Flags erfüllen, um einen ai_score ungleich null zu erhalten. Selbst AI_0 allein (Absicht mit einer Tier-1-Quelle) setzt ai_score = 1. Höhere Flags tragen jedoch zu einer höheren Obergrenze für DecAI Fit bei.

Warum Methodik für Metriken wichtig ist

Eine alleinstehende Zahl – „95 % Genauigkeit“, „niedrige Latenz“, „state-of-the-art“ – ist ohne Kontext keine Evidenz. DecAIHub betrachtet Metriken nur dann als aussagekräftig, wenn sie vier Fragen beantworten: was wurde gemessen (Genauigkeit, F1, Latenz, Perplexität), auf welchen Daten (öffentlicher Benchmark, proprietäres Testset, Produktionsverkehr), wann (Datum der Evaluierung) und welche Version des Modells das Ergebnis erzeugt hat. Ohne diese ist eine Metrik eine Behauptung, keine Evidenz.

Der Vier-Fragen-Test

Wende bei der Bewertung jeder veröffentlichten Metrik diese Checkliste an:

  1. Was – Ist die Metrik benannt und definiert? „Genauigkeit“ ist mehrdeutig; „Top-1-Klassifikationsgenauigkeit“ ist spezifisch.
  2. Auf welchen Daten – Ist der Evaluierungsdatensatz identifiziert? Ein öffentlicher Benchmark erlaubt unabhängige Reproduktion; ein proprietäres Testset nicht, aber es zu benennen ist besser als Schweigen.
  3. Wann – Gibt es ein Datum oder ein Release-Tag? Modelle ändern sich über die Zeit; eine Metrik ohne Zeitstempel spiegelt möglicherweise nicht das aktuelle System wider.
  4. Welche Version – Ist die Modell- oder Systemversion angegeben? Wenn ein Projekt mehrere Modelliterationen ausgeliefert hat, muss die Metrik an eine bestimmte gebunden sein.

Wenn eine dieser vier fehlt, fällt die Metrik in der Bewertung von DecAIHub von „Evidenz“ zu „Behauptung“ herab. Sie kann in der Projektkarte weiterhin als vermerkte Behauptung erscheinen, trägt aber nicht dazu bei, das AI_3-Flag auf 1 zu setzen.

Wie man diese Checkliste verwendet

Wenn du eine Projektkarte liest, prüfe, ob die Evidenztabelle Artefakte aus der obigen Tier-1-Liste referenziert. Wenn die Karte ai_score = 0 zeigt oder eine AI-washing-Bedenken kennzeichnet, bedeutet das, dass diese Artefakte zum Verifizierungsdatum nicht gefunden wurden – dies ist keine Anschuldigung gegen das Projekt.

Wenn neue Tier-1-Artefakte erscheinen, wird die Karte aktualisiert und der Score kann sich ändern.

Praktische Schritte für Leser

  • Beginne mit der Evidenztabelle. Suche nach Links zu Repositories, Dokumentation oder Demos. Wenn die Evidenztabelle leer ist oder nur Tier-2/3-Quellen referenziert, ist die AI-reality-Behauptung unbestätigt.
  • Klicke dich zu den Artefakten durch. Ein Repository-Link ist nur so gut wie das, was darin steckt. Öffne es und suche nach KI/ML-Code, nicht nur nach einer README oder Deployment-Skripten.
  • Prüfe das Verifizierungsdatum. Evidenz ist eine Momentaufnahme. Eine vor sechs Monaten verifizierte Karte spiegelt möglicherweise nicht den aktuellen Stand des Projekts wider, weshalb DecAIHub nach 550 Tagen einen Veraltungs-Malus anwendet.
  • Gleiche mit der Anti-Muster-Liste ab. Wenn du Muster aus Was nicht als Evidenz für KI zählt siehst, gewichte die Evidenz entsprechend.

Was diese Checkliste allein nicht beweist

  • Das Erfüllen aller Evidenzkriterien beweist nicht, dass die KI hochwertig oder für Endnutzer nützlich ist. Es beweist, dass Artefakte existieren und inspiziert werden können.
  • Tier-1-Evidenz vom Projekt selbst beweist nicht Unabhängigkeit. Selbstberichtete Daten sollten idealerweise durch eine Drittanbieter-Evaluierung bestätigt werden.
  • Ein vollständiger Evidenznachweis beweist nicht, dass der Token notwendig ist. AI reality ist eine Achse von DecAI Fit; Token necessity ist eine andere.

Häufig gestellte Fragen

Was zählt als die vollständigste Evidenz für KI in einem Krypto-Projekt?

Ein öffentliches Repository, das KI/ML-Code mit einer aussagekräftigen Commit-Historie enthält, kombiniert mit veröffentlichten Qualitätsmetriken, die die vollständige Methodik umfassen (was gemessen wurde, auf welchen Daten, wann und welche Modellversion). Wenn beides existiert und durch eine funktionierende Demo oder einen API-Endpunkt gestützt wird, ist das Evidenzprofil am vollständigsten. Kein einzelnes Artefakt ist für sich allein endgültig – die Kombination aus Code, Metriken und testbaren Ausgaben unterscheidet verifizierte KI von unbestätigten Behauptungen.

Kann ein Projekt echte KI ohne Open-Source-Code haben?

Ja. Open-Source-Code ist die transparenteste Form der Evidenz, aber nicht die einzige. Ein Projekt kann KI durch detaillierte technische Dokumentation, veröffentlichte Benchmarks mit Methodik, funktionierende APIs, die überprüfbare KI-getriebene Ausgaben zurückgeben, oder unabhängige Drittanbieter-Evaluierungen nachweisen. Ohne zumindest ein inspizierbares Artefakt – Code, Demo oder Evaluierung – gibt es jedoch nichts, was DecAIHub (oder sonst jemand) verifizieren könnte. Je geschlossener ein Projekt ist, desto mehr ist es auf Tier-2-Bestätigung (Interviews, Aggregatordaten, Konferenzvorführungen) angewiesen, um Glaubwürdigkeit aufzubauen.

Beweist eine funktionierende Demo, dass die KI echt ist?

Eine funktionierende Demo ist starke Evidenz, aber für sich allein kein schlüssiger Beweis. Ein gut gestaltetes Frontend kann KI-ähnliches Verhalten mit fest codierten Antworten, vorberechneten Ergebnissen oder versteckten Aufrufen einer Drittanbieter-API simulieren. DecAIHub behandelt Demos als stärkere Evidenz, wenn sie von API-Dokumentation, Modellversions-Kennungen oder reproduzierbaren Ausgaben über verschiedene Eingaben hinweg begleitet werden. Eine Demo, die beliebige Nutzereingaben akzeptiert und variierte, kontextuell angemessene Ausgaben zurückgibt, ist überzeugender als eine geführte Vorführung mit vorgegebenen Beispielen.

Was ist die minimale Evidenz für einen ai_score ungleich null?

Das Minimum ist eine Tier-1-Erklärung einer KI-Absicht – ein Roadmap-Eintrag, ein offizieller Blogpost oder eine Dokumentationsseite, die explizit KI-bezogene Pläne angibt. Dies setzt das AI_0-Flag auf 1 und erzeugt ai_score = 1. Obwohl dies der niedrigste mögliche Score ungleich null ist, unterscheidet er Projekte, die sich offiziell zu einer KI-Richtung verpflichtet haben, von solchen, die KI überhaupt nicht erwähnt haben. Um höhere Scores zu erreichen, muss das Projekt zusätzliche Artefakte liefern: Beschreibungen der AI component (AI_1), Demos (AI_2), Metriken mit Methodik (AI_3) und technische Architekturdetails (AI_4).

Externe Referenzen

  • CommonMark specification – der Auszeichnungsstandard, der auf allen DecAIHub-Wiki-Seiten verwendet wird, einschließlich Projektkarten und Explainern.
  • Model Cards for Model Reporting (Mitchell et al., 2019) – ein grundlegendes Rahmenwerk zur Dokumentation von KI-Modellleistung, beabsichtigter Nutzung und Grenzen; eng an den Transparenzprinzipien hinter den Evidenzkriterien von DecAIHub ausgerichtet.
  • NIST AI Risk Management Framework – ein Rahmenwerk der US-Regierung zur Identifizierung und Steuerung von KI-Risiken, einschließlich Leitlinien zu Dokumentation, Tests und Evaluierungsmethodik.

Siehe auch

No comments to display

Back to top