Was nicht als Evidenz für KI zählt
Hinweis: Dieses Dokument ist eine automatische Übersetzung des englischen Originals.
Was nicht als Evidenz für KI zählt
Ein Projekt kann viele Artefakte präsentieren, die wie ein Beweis für eine funktionierende AI component aussehen – die bei genauerer Betrachtung jedoch keine demonstrieren. Diese Seite listet die häufigsten Anti-Muster auf: Signale, die KI-Fähigkeit behaupten, ohne überprüfbare Evidenz zu liefern. Sie ist das Gegenstück zu Was als Evidenz für eine AI component zählt.
Kurz gesagt: Marketingtexte, leere Repositories, Metriken ohne Methodik, API-Wrapper ohne proprietäre Logik und „AI“ in einem Token-Namen sind keine Evidenz für eine funktionierende AI component.
Warum das Erkennen falscher Signale wichtig ist
Die Grenze zwischen „Evidenz“ und „Nicht-Evidenz“ ist die Grundlage des Ansatzes von DecAIHub gegenüber AI-washing. Die unten stehenden Muster zu erkennen, ist keine Anschuldigung gegen das Projekt – es bedeutet, dass das spezifische Artefakt die verifizierbare AI reality nicht voranbringt und nicht mit Tier-1-Evidenz verwechselt werden sollte.
Häufige Anti-Muster
„Wir nutzen KI“ in Marketingtexten
„KI-gestützt“, „mit Machine Learning gebaut“ oder „Neuronale-Netz-getrieben“ auf einer Landingpage oder einem Pitch-Deck zu sagen, ist eine Positionierungsaussage, keine Evidenz. Ohne Tier-1-Artefakte (Code, Dokumentation, Demos) tragen diese Worte kein überprüfbares Gewicht.
DecAIHub bestraft Projekte nicht für die Verwendung des Wortes – behandelt es aber auch nicht als Evidenz. Das Vorhandensein von „KI“ im Marketing erhöht die Messlatte: Wenn ein Projekt KI prominent behauptet, wird das Fehlen unterstützender Artefakte umso auffälliger.
Leeres oder unzusammenhängendes Repository
Ein GitHub-Repository, das existiert, aber keinen KI/ML-Code enthält – oder nur eine README, Boilerplate oder unzusammenhängende Skripte enthält –, ist ein Warnsignal. Ein aussagekräftiges Repository hat Commits, Releases, Tests und Code, der zu den Behauptungen im Whitepaper oder in der Dokumentation passt.
Häufige Muster: ein kürzlich erstelltes Repository mit einem einzigen Initial-Commit; ein Fork eines populären Frameworks ohne Modifikationen; eine Sammlung von Konfigurationsdateien ohne Modellcode; ein Repository ohne Commits seit über einem Jahr, während das Projekt weiterhin aktive KI-Entwicklung behauptet.
Metriken ohne Methodik
„95 % Genauigkeit“ oder „state-of-the-art-Leistung“ zu behaupten, bedeutet nichts ohne Kontext: was wurde gemessen, auf welchen Daten, wann und mit welcher Version des Modells. Metriken ohne Methodik sind keine Tier-1-Evidenz.
„Unser Modell erreicht 0,92 F1 auf dem XYZ-Benchmark, evaluiert auf Version 2.1 im Januar 2026“ ist eine Metrik. „Wir erreichen 92 % Genauigkeit“ ist eine Behauptung. DecAIHub erfasst Behauptungen als vermerkte Aussagen, setzt aber das AI_3-Flag nicht auf ihrer Grundlage.
API-Wrapper ohne proprietäre Logik
Die OpenAI-, Anthropic- oder eine andere Drittanbieter-API aufzurufen und das Ergebnis zurückzugeben, ist keine Evidenz für die eigene KI des Projekts. Ein API-Wrapper kann ein gültiges Produkt sein, macht das Projekt aber nicht zu einem KI-Projekt in dem Sinne, in dem DecAIHub bewertet. Die KI gehört dem Anbieter, nicht dem Projekt.
Wenn ein Projekt seine eigene Feinabstimmung anwendet, Drittanbieter-Ausgaben mit proprietären Modellen kombiniert oder messbare Nachverarbeitung hinzufügt, ändert sich das Bild. Die Schlüsselfrage ist, ob das Projekt überprüfbaren Mehrwert auf KI-Ebene über das hinaus hinzufügt, was die rohe API bietet. Wenn die gesamte „AI component“ ein einzelner API-Aufruf mit einem System-Prompt ist, gehört die AI reality dem Anbieter.
„AI“ nur im Token-Namen oder Branding
Wenn die einzige Verbindung eines Projekts zur KI das Wort „AI“ in seinem Token-Ticker, Domainnamen oder Branding ist – ohne technische Implementierung dahinter –, ist dies Positionierung, keine Evidenz.
Ein Token-Ticker ist ein Etikett, kein Feature. DecAIHub behandelt Benennung als neutrales Signal – es trägt weder zur Evidenzbewertung bei noch schmälert es sie. Was zählt, ist, ob Artefakte hinter dem Namen existieren.
Partnerschaft mit einem KI-Unternehmen
Eine Partnerschaftsankündigung (z. B. „Partnerschaft mit NVIDIA“ oder „integriert mit OpenAI“) ist bestenfalls Tier-2. Sie zeigt eine Assoziation, keine funktionierende AI component innerhalb des Projekts. Partnerschaften ersetzen weder Code noch Dokumentation noch Demos.
Partnerschaften reichen von tiefen technischen Kollaborationen (gemeinsame Forschung, gemeinsam entwickelte Modelle) bis zu losen Verbindungen (Accelerator-Mitgliedschaft, Aufnahme in ein Partnerverzeichnis). Die meisten angekündigten Partnerschaften im Krypto-KI-Bereich fallen eher in das lose Ende. Nur Partnerschaften mit überprüfbarem technischem Output tragen zum Evidenzbild bei, und selbst dann als Tier-2-Kontext statt als Tier-1-Beweis.
„KI-Roadmap“ oder KI-Absicht ohne Implementierung
Ein Roadmap-Punkt, der „KI-Features kommen in Q3“ sagt, zeigt Absicht (AI_0), keine funktionierende AI component. Absicht wird als einzelnes Flag erfasst, deutet aber für sich allein nicht auf eine funktionierende AI component hin. Die ai_score-Formel ist bei 3 gedeckelt, sodass AI_0 allein minimal beiträgt.
Pläne ändern sich, verzögern sich oder werden abgesagt. DecAIHub erfasst offizielle KI-Absicht über das AI_0-Flag, um Projekte, die KI-Ambitionen erklärt haben, von solchen zu unterscheiden, die das nicht getan haben. Aber das Flag ist der Boden, nicht die Decke – es trägt höchstens ai_score = 1 bei, und nur wenn die Absicht aus einer Tier-1-Quelle stammt.
Demos ohne überprüfbares KI-Backend
Ein poliertes Frontend, das behauptet, KI-Ergebnisse zu zeigen, aber keine Möglichkeit bietet, zu verifizieren, dass ein KI-Modell dahinter läuft – keine API-Dokumentation, keine Modellversion, keine reproduzierbaren Ausgaben –, ist keine ausreichende Evidenz.
Eine überprüfbare Demo erlaubt unterschiedliche Eingaben und erzeugt kontextuell variierte Ausgaben. Sie kann einen API-Endpunkt offenlegen, Modellversionsinformationen anzeigen oder einen Sandbox-Modus bieten. Eine Vorführung folgt dagegen einem gescripteten Pfad oder erzeugt identische Ausgaben unabhängig von der Eingabe. DecAIHub sucht nach Ersterem; Letzteres wird vermerkt, trägt aber über AI_0 hinaus nicht zu Evidenz-Flags bei.
„Feinabgestimmtes Modell“ ohne Spezifika
Zu behaupten, ein feinabgestimmtes Modell zu haben, ist keine Evidenz, sofern das Projekt nicht spezifiziert: das Basismodell, den für die Feinabstimmung verwendeten Datensatz, die Verbesserung gegenüber dem Basismodell und Qualitätsmetriken mit Methodik.
Eine glaubwürdige Feinabstimmungs-Behauptung benennt das Basismodell, beschreibt die Trainingsdaten und zeigt eine messbare Verbesserung bei einer definierten Aufgabe. Ohne diese Spezifika ist „wir haben ein Modell feinabgestimmt“ nicht von „wir haben ein Modell verwendet“ zu unterscheiden.
Anti-Muster-Referenztabelle
| Anti-Muster | Was es behauptet | Was es tatsächlich beweist |
|---|---|---|
| „KI-gestützt“ auf der Website | Das Projekt hat KI | Nichts ohne Tier-1-Artefakte |
| Leeres GitHub-Repo | Open-Source-KI-Code | Repository existiert; KI-Code nicht |
| „95 % Genauigkeit“ ohne Kontext | Hochwertige KI | Eine Zahl wurde genannt; Gültigkeit ist unbekannt |
| OpenAI-API-Wrapper | Das Projekt „nutzt KI“ | Das Projekt ruft die KI eines anderen auf |
| „AI“ im Token-Namen | KI-bezogenes Projekt | Eine Benennungsentscheidung wurde getroffen |
| Partnerschaft mit KI-Labor | KI-Fähigkeit | Eine Assoziation existiert |
| „KI in Q3-Roadmap“ | Künftige AI component | Nur Absicht (AI_0) |
| Polierte Demo, keine Backend-Evidenz | Funktionierende KI | Ein Frontend wurde gebaut |
| „Feinabgestimmtes LLM“ ohne Details | Proprietäres Modell | Eine Behauptung wurde aufgestellt |
Wie man falsche Signale von schwacher, aber echter Evidenz unterscheidet
Nicht jedes Artefakt, das am Tier-1-Standard scheitert, ist wertlos. Manche Artefakte sind echte schwache Evidenz – für sich allein unzureichend, aber in Kombination aussagekräftig. Die folgende Tabelle verdeutlicht die Grenze:
| Artefakt | Falsches Signal (kein Evidenzwert) | Schwach, aber echt |
|---|---|---|
| Repository | Leer oder nur Boilerplate | Enthält etwas KI-Code, aber ohne Tests oder Releases |
| Metrik | Zahl ohne Methodik | Zahl mit teilweiser Methodik (eine der vier Kontextfragen fehlt) |
| Demo | Gescriptete Vorführung mit festen Ausgaben | Interaktive Demo ohne API-Doku oder Modellversion |
| Partnerschaft | Logo auf einer Partnerseite | Gemeinsamer technischer Output (gemeinsam verfasstes Paper, geteiltes Repo) |
| Dokumentation | Marketing-Whitepaper ohne technische Tiefe | Technisches Whitepaper, das die Architektur beschreibt, aber Versionsdetails vermissen lässt |
Schwache Evidenz kann zum Setzen einzelner Flags beitragen, wenn sie durch andere Artefakte bestätigt wird. Falsche Signale tragen unabhängig von der Menge nicht bei – zehn leere Repositories sind nicht stärker als eines.
Wie DecAIHub diese Fälle erfasst
Wenn keine Tier-1-Evidenz für eine funktionierende AI component gefunden wird, bleibt der ai_score des Projekts bei 0 oder 1. Wenn KI im Marketing aktiv beworben wird, während Evidenz fehlt, kann ein AI-washing-Flag auf der Karte gesetzt werden.
Dies ist keine Anschuldigung – es ist eine Aufzeichnung der Lücke zwischen Behauptungen und Artefakten zum Verifizierungsdatum. Wenn neue Evidenz erscheint, wird die Karte aktualisiert.
Der ai_score summiert die binären Flags AI_0 bis AI_4 (gedeckelt bei 3). Ein Projekt, das nur Anti-Muster von dieser Seite zeigt, wird typischerweise ai_score = 0 oder ai_score = 1 haben (falls AI_0 über eine offizielle Roadmap gesetzt ist), was seinen maximalen DecAI Fit direkt begrenzt.
Was diese Liste allein nicht beweist
- Ein oder mehrere Anti-Muster aufzuweisen, ist keine Anschuldigung gegen das Projekt. Vielen Projekten in einem frühen Stadium fehlen Artefakte einfach, weil die Technologie noch nicht öffentlich ist.
- Die Abwesenheit von Anti-Mustern beweist nicht, dass die KI echt ist. Ein Projekt kann jedes Warnsignal auf dieser Liste vermeiden und dennoch keine funktionierende AI component haben.
- Diese Liste ist eine Momentaufnahme – Anti-Muster können sich auflösen, wenn Projekte reifen und neue Artefakte veröffentlichen.
Häufig gestellte Fragen
Warum zählt „AI“ im Token-Namen nicht als Evidenz?
Ein Token-Name ist eine Branding-Entscheidung, kein technisches Artefakt. Jedes Projekt kann einen Ticker wählen, der „AI“ enthält, ohne irgendeine Technologie zu bauen. DecAIHub bewertet Evidenz auf Basis inspizierbarer, überprüfbarer Artefakte – Code, Dokumentation, Demos, Metriken mit Methodik. Ein Name erfüllt keines dieser Kriterien. Der Token-Name wird in der Projektkarte als Metadatum erfasst, beeinflusst aber keines der fünf AI-reality-Flags (AI_0 bis AI_4).
Ist eine Partnerschaft mit NVIDIA (oder einem anderen KI-Unternehmen) Evidenz für KI?
Nein. Eine Partnerschaftsankündigung wird bestenfalls als Tier-2 eingestuft – sie liefert Kontext, beweist aber nicht, dass eine funktionierende AI component innerhalb des Projekts existiert. Partnerschaften variieren stark in der Tiefe: von tiefen Co-Engineering-Bemühungen bis zu einfachen „Ökosystem-Mitglied“-Einträgen. Sofern die Partnerschaft keinen überprüfbaren technischen Output erzeugt hat (eine geteilte Codebasis, gemeinsam veröffentlichte Forschung, ein gemeinsam gepflegtes Deployment), bleibt sie eine Assoziation statt Evidenz. Sie kann einen Tier-1-Befund stützen, falls einer existiert, aber sie kann keinen ersetzen.
Was ist mit Projekten, die KI-Features in ihrer Roadmap versprechen?
Ein Roadmap-Eintrag aus einer offiziellen Tier-1-Quelle (der eigene Blog, die Dokumentation oder ein Governance-Vorschlag des Projekts) wird über das AI_0-Flag erfasst, das „erklärte KI-Absicht“ festhält. Dies setzt ai_score auf mindestens 1 und unterscheidet das Projekt von solchen ohne jegliche KI-Erwähnung. Eine Roadmap ist jedoch ein Plan, keine Implementierung. Das AI_0-Flag ist das niedrigste mögliche positive Signal, und allein begrenzt es den DecAI Fit aufgrund der ai_score-Obergrenzenregeln auf maximal 3 von 6. Wenn die Roadmap-Meilensteine geliefert werden und überprüfbare Artefakte erscheinen, wird die Karte aktualisiert und höhere Flags können gesetzt werden.
Kann ein Projekt mehrere Anti-Muster zeigen und dennoch eine echte AI component haben?
Ja. Anti-Muster zeigen an, dass spezifische Artefakte keine Evidenz darstellen – sie beweisen nicht die Abwesenheit von Technologie. Ein Projekt könnte schlechte Marketingpraktiken und vage Metrikbehauptungen haben, während es gleichzeitig ein legitimes KI-System betreibt, das öffentlich nicht gut dokumentiert ist. DecAIHub bewertet, was zum Zeitpunkt der Überprüfung überprüfbar ist. Wenn die zugrunde liegende Technologie existiert, aber nicht extern inspizierbar ist, kann sie nicht bewertet werden – und das Projekt wird ermutigt, die Artefakte zu veröffentlichen, die zur Aktualisierung seiner Karte erforderlich sind.
Externe Referenzen
- OECD AI Policy Observatory — AI classification framework – eine internationale Ressource zum Verständnis, wie KI-Systeme über Jurisdiktionen hinweg definiert, klassifiziert und reguliert werden.
- Papers With Code — state-of-the-art benchmarks – eine Community-Ressource, die KI-Benchmark-Ergebnisse mit verlinktem Code und Methodik verfolgt; nützlich zum Verständnis, wie „Metriken mit Methodik“ in der Praxis aussehen.
- Stanford HAI — AI Index Report – ein jährlicher Bericht, der Trends in KI-Forschung, -Entwicklung und -Einsatz verfolgt; liefert Kontext zur Bewertung von KI-Behauptungen vor dem Hintergrund der breiteren Landschaft.
No comments to display
No comments to display