Что считается доказательством ИИ‑компонента
Что считается доказательством ИИ‑компонента
Когда DecAIHub оценивает, есть ли у проекта работающий ИИ‑компонент, он ищет верифицируемые артефакты — не маркетинговые тексты, не обещания, не ассоциации с брендами. Эта страница перечисляет виды доказательств, которые усиливают ось AI reality в оценке DecAI Fit, в порядке от наиболее сильных к наименее сильным.
Коротко: доказательство ИИ — это артефакты, которые можно проверить, протестировать или независимо верифицировать: код, документация, метрики с методологией, работающие демо и сторонние оценки.
Доказательства Tier-1 (наиболее сильные)
Источники Tier-1 — это артефакты, опубликованные или контролируемые самим проектом. Для оси AI reality наиболее сильные доказательства Tier-1 включают:
- Публичный репозиторий с кодом AI/ML — скрипты обучения модели, логика инференса, конвейеры данных, этапы предобработки. Репозиторий с коммитами, релизами и тестами значительно сильнее, чем репозиторий-заглушка с одним README.
- Техническая документация — описания архитектуры модели, форматов ввода/вывода, версий модели и истории обновлений. Это отвечает на вопросы «какая модель, как работает и какая версия запущена».
- Метрики качества с методологией — опубликованные бенчмарки или результаты оценки, указывающие, что было измерено, на каких данных, когда и с какой версией модели. Метрики без этого контекста не являются доказательством.
- Работающие демо или эндпоинты — общедоступный интерфейс, API или песочница, где можно протестировать ИИ‑компонент. Демо, обрабатывающее реальные входные данные и возвращающее ИИ-генерированные результаты, является прямым доказательством.
- Аудиторские отчёты или сторонние оценки — независимые оценки качества, справедливости, безопасности или производительности модели от признанной организации.
Паттерны, усиливающие доказательства Tier-1
Не все артефакты Tier-1 одинаково убедительны. Несколько наблюдаемых паттернов повышают достоверность доказательств:
- Глубина истории коммитов. Репозиторий с месяцами или годами инкрементальных коммитов, пулл-реквестов, код-ревью и версионных релизов демонстрирует устойчивые инженерные усилия. Единичная массовая загрузка несёт значительно меньший вес.
- Тестовое покрытие и CI-конвейеры. Автоматизированные тесты для инференса модели, валидации данных и интеграционных эндпоинтов указывают на систему продакшен-уровня, а не на proof-of-concept.
- Версионированные модели и журналы изменений. Когда документация отслеживает, какая версия модели развёрнута, что изменилось между версиями и почему, это сигнализирует о живой системе с активным циклом разработки.
- Воспроизводимые результаты. Если демо или API возвращает согласованные, объяснимые результаты для одних и тех же входных данных в разных сессиях, это сильнее, чем разовая демонстрация.
- Отделение логики ИИ от шаблонного кода. Кодовая база, в которой модули AI/ML чётко выделены — отдельно от фронтенд-шаблонов, деплой-скриптов или токен-контрактов — облегчает верификацию того, что именно делает ИИ‑компонент.
Доказательства Tier-2 (контекст, не доказательство)
Источники Tier-2 дают контекст, но сами по себе не доказывают наличие работающего ИИ‑компонента:
- Интервью или AMA, где команда описывает подход к ИИ, архитектуру или процесс обучения.
- Описания в агрегаторах (CoinGecko, DeFiLlama и др.), упоминающие возможности ИИ.
- Анонсы партнёрств с провайдерами ИИ или исследовательскими лабораториями.
Доказательства Tier-2 могут подтвердить находку Tier-1, но не могут её заменить. Партнёрство с ИИ-компанией не доказывает, что у проекта есть собственный работающий ИИ.
Когда доказательства Tier-2 имеют значение
Источники Tier-2 становятся релевантными, когда они подтверждают артефакты Tier-1 или заполняют пробелы, которые Tier-1 оставляет неоднозначными:
- Техническое интервью, где команда подробно разбирает архитектуру, описанную в документации, добавляет достоверности документам Tier-1.
- Листинг в агрегаторе, совпадающий с возможностями, описанными в whitepaper проекта, сигнализирует о согласованности.
- Доклад на конференции с живым демо, повторяющим поведение публичного API проекта, подтверждает, что демо не является постановкой.
Без базовых артефактов Tier-1, однако, даже убедительные источники Tier-2 остаются контекстом — ценным для понимания, но недостаточным для верификации.
Что не засчитывается
Некоторые артефакты выглядят как доказательство, но не демонстрируют наличие работающего ИИ‑компонента. К распространённым ложным сигналам относятся маркетинговые тексты, пустые репозитории, метрики без методологии и API-обёртки без собственной логики. Подробный перечень см. в Что не является доказательством ИИ.
Как DecAIHub фиксирует доказательства ИИ: флаги AI_0–AI_4
Ось AI reality использует пять бинарных флагов для фиксации обнаруженных доказательств:
| Флаг | Что проверяет | Значение |
|---|---|---|
| AI_0 | Есть ли хотя бы Tier-1 декларация намерения в области ИИ (дорожная карта, официальное обновление) | 1 / 0 |
| AI_1 | Есть ли описание того, что делает ИИ | 1 / 0 |
| AI_2 | Есть ли демо или работающие примеры | 1 / 0 |
| AI_3 | Есть ли метрики качества с контекстом (что, на каких данных, когда) | 1 / 0 |
| AI_4 | Есть ли техническое описание, архитектура или версии модели | 1 / 0 |
Чем больше флагов равны 1, тем выше ai_score и тем лучше DecAI Fit проекта. Если ни один флаг не установлен, ai_score = 0 и DecAI Fit не может превысить 0.
Как комбинации флагов соотносятся с уровнем уверенности
Отдельные флаги отвечают на узкие вопросы, но их комбинация рисует более полную картину:
| Установленные флаги | Типичная интерпретация |
|---|---|
| Только AI_0 | Намерение заявлено; работающий ИИ пока не верифицирован |
| AI_0 + AI_1 | ИИ описан словами; нет демо, метрик, архитектуры |
| AI_0 + AI_1 + AI_2 | Работающее демо есть; метрик и технической глубины пока нет |
| AI_0 + AI_1 + AI_2 + AI_4 | Демо и архитектура представлены; отсутствуют измерения качества |
| Все пять (AI_0–AI_4) | Наиболее сильный профиль доказательств: намерение, описание, демо, метрики и архитектура |
Проекту не обязательно соответствовать всем пяти флагам для получения ненулевого ai_score. Даже одного AI_0 (намерение с источником Tier-1) достаточно для установки ai_score = 1. Однако более высокие флаги поднимают потолок DecAI Fit.
Почему методология важна для метрик
Отдельно взятое число — «95 % accuracy», «низкая латентность», «state-of-the-art» — не является доказательством без контекста. DecAIHub считает метрики значимыми, только когда они отвечают на четыре вопроса: что было измерено (accuracy, F1, латентность, perplexity), на каких данных (публичный бенчмарк, собственный тестовый набор, продакшен-трафик), когда (дата оценки) и какая версия модели дала результат. Без этого метрика является заявлением, а не доказательством.
Тест четырёх вопросов
При оценке любой опубликованной метрики применяйте этот чек-лист:
- Что — названа ли метрика и определена ли она? «Accuracy» — неоднозначно; «top-1 classification accuracy» — конкретно.
- На каких данных — определён ли датасет для оценки? Публичный бенчмарк позволяет независимое воспроизведение; собственный тестовый набор — нет, но его наименование лучше, чем молчание.
- Когда — есть ли дата или тег релиза? Модели меняются со временем; метрика без временной отметки может не отражать текущую систему.
- Какая версия — указана ли версия модели или системы? Если проект выпустил несколько итераций модели, метрика должна быть привязана к конкретной.
Если любой из четырёх пунктов отсутствует, метрика в оценке DecAIHub переходит из категории «доказательство» в категорию «заявление». Она может по-прежнему фигурировать в карточке проекта как отмеченное заявление, но не будет засчитана для установки флага AI_3 в 1.
Как использовать этот чек-лист
При чтении карточки проекта проверьте, ссылается ли таблица доказательств на артефакты из списка Tier-1 выше. Если карточка показывает ai_score = 0 или отмечает подозрение на AI-washing, это означает, что такие артефакты не были найдены на дату верификации — это не обвинение в адрес проекта.
Когда появляются новые артефакты Tier-1, карточка обновляется и оценка может измениться.
Практические шаги для читателей
- Начните с таблицы доказательств. Ищите ссылки на репозитории, документацию или демо. Если таблица доказательств пуста или ссылается только на источники Tier-2/3, заявление об AI reality не верифицировано.
- Перейдите по ссылкам к артефактам. Ссылка на репозиторий настолько ценна, насколько ценно его содержимое. Откройте его и ищите код AI/ML, а не только README или деплой-скрипты.
- Проверьте дату верификации. Доказательство — это снимок. Карточка, верифицированная полгода назад, может не отражать текущее состояние проекта; поэтому DecAIHub применяет штраф за устаревание после 550 дней.
- Сверьтесь со списком антипаттернов. Если вы видите паттерны из Что не является доказательством ИИ, взвешивайте доказательства соответственно.
Что этот чек-лист сам по себе не доказывает
- Соответствие всем критериям доказательств не доказывает, что ИИ высокого качества или полезен конечным пользователям. Это доказывает, что артефакты существуют и могут быть проверены.
- Доказательства Tier-1 от самого проекта не доказывают независимость. Данные, предоставленные самим проектом, в идеале должны подкрепляться сторонней оценкой.
- Полная доказательная база не доказывает, что токен необходим. AI reality — одна ось DecAI Fit; Token necessity — другая.
Часто задаваемые вопросы
Что считается наиболее полным доказательством ИИ в криптопроекте?
Публичный репозиторий с кодом AI/ML с содержательной историей коммитов в сочетании с опубликованными метриками качества, включающими полную методологию (что было измерено, на каких данных, когда и какая версия модели). Когда оба существуют и подкреплены работающим демо или API-эндпоинтом, профиль доказательств наиболее полон. Ни один артефакт сам по себе не является решающим — именно сочетание кода, метрик и тестируемых выходных данных отличает верифицированный ИИ от неверифицированных заявлений.
Может ли у проекта быть настоящий ИИ без открытого исходного кода?
Да. Открытый исходный код — наиболее прозрачная форма доказательства, но не единственная. Проект может продемонстрировать ИИ через подробную техническую документацию, опубликованные бенчмарки с методологией, работающие API, возвращающие верифицируемые ИИ-генерированные результаты, или независимые сторонние оценки. Однако без хотя бы одного проверяемого артефакта — кода, демо или оценки — DecAIHub (как и любому другому) нечего верифицировать. Чем более закрыт проект, тем больше он опирается на подтверждение Tier-2 (интервью, данные агрегаторов, демонстрации на конференциях) для формирования доверия.
Доказывает ли работающее демо, что ИИ реален?
Работающее демо — это сильное доказательство, но само по себе оно не является окончательным подтверждением. Хорошо спроектированный фронтенд может имитировать ИИ-подобное поведение с помощью захардкоженных ответов, предвычисленных результатов или скрытых вызовов стороннего API. DecAIHub считает демо более сильным доказательством, когда оно сопровождается документацией API, идентификаторами версии модели или воспроизводимыми результатами на различных входных данных. Демо, принимающее произвольные пользовательские входные данные и возвращающее разнообразные, контекстно уместные результаты, убедительнее, чем управляемая демонстрация с заранее определёнными примерами.
Каково минимальное доказательство для ненулевого ai_score?
Минимум — это Tier-1 декларация намерения в области ИИ: пункт дорожной карты, официальный блог-пост или страница документации, явно заявляющая о планах, связанных с ИИ. Это устанавливает флаг AI_0 в 1 и даёт ai_score = 1. Хотя это самый низкий возможный ненулевой балл, он отличает проекты, официально заявившие об ИИ-направлении, от тех, которые вообще не упоминали ИИ. Для более высоких баллов проекту необходимо предоставить дополнительные артефакты: описания ИИ‑компонента (AI_1), демо (AI_2), метрики с методологией (AI_3) и детали технической архитектуры (AI_4).
Внешние источники
- CommonMark specification — стандарт разметки, используемый на всех вики-страницах DecAIHub, включая карточки проектов и объяснительные статьи.
- Model Cards for Model Reporting (Mitchell et al., 2019) — основополагающий фреймворк для документирования производительности, целевого назначения и ограничений ИИ-моделей; тесно связан с принципами прозрачности, лежащими в основе критериев доказательств DecAIHub.
- NIST AI Risk Management Framework — фреймворк правительства США для идентификации и управления рисками ИИ, включающий рекомендации по документации, тестированию и методологии оценки.
No comments to display
No comments to display