프로젝트에 정말 AI가 있는지 판별하는 방법

참고: 이 문서는 영문 원본의 자동 번역본입니다.

프로젝트에 정말 AI가 있는지 판별하는 방법

당신은 AI를 사용한다고 주장하는 크립토 프로젝트를 보고 있습니다. 웹사이트는 "AI 기반"이라고 말합니다. 피치덱은 신경망을 언급합니다. 토큰 이름에는 "AI"가 들어 있습니다. 그런데 그 주장 뒤에 진짜로 작동하는 AI 컴포넌트가 존재하는지, 아니면 "AI"가 그저 마케팅 라벨에 불과한지 어떻게 알 수 있을까요?

이것이 바로 DecAIHub가 답하기 위해 만들어진 핵심 질문입니다. 진짜 AI와 AI-washing의 차이는 표면에서는 보이지 않습니다. 마케팅 팀은 "AI"가 크립토에서 가장 강력한 키워드 중 하나임을 알고 있으며, 많은 프로젝트는 기술이 실제로 무엇을 하든 상관없이 이 단어를 사용합니다. 진짜 혁신은 공허한 주장과 나란히 놓여 있으며, 체계적인 방법 없이는 그 둘을 구별하는 데 프로젝트마다 수 시간의 독립적인 조사가 필요합니다. 이 가이드는 과대광고를 피하려는 초보자든, 빠른 선별 프레임워크가 필요한 숙련된 참여자든 모두에게 유효한 실용적 툴킷을 제공합니다.

요약하면: AI 컴포넌트 필드에서 구체성을 확인하고, ai_score에서 정량화된 판정을 보고, 증거 등급(tier)을 검토하고, 주장과 검증 가능한 산출물을 비교하고, 다섯 가지 질문 테스트를 적용하고, AI-washing을 시사하는 위험 신호를 살피세요.

다섯 가지 질문 테스트

전체 카드 검토에 들어가기 전에 빠른 진단을 수행하세요. 각 질문은 AI 검증의 특정 계층을 겨냥합니다.

#	질문	강한 답변	약한 답변
1	AI가 정확히 무엇을 하는가?	모델 유형, 작업, 메커니즘을 명시함	"우리는 모든 것을 최적화하기 위해 AI를 사용합니다"
2	작동하는 것을 어디서 볼 수 있는가?	라이브 데모, 공개 API, 기록된 출력	"곧 출시" 또는 산출물 없는 비공개 베타
3	코드나 모델은 어디에 있는가?	트레이닝/인퍼런스 코드가 있는 공개 저장소, 모델 카드	빈 저장소, 튜토리얼 포크, 공개된 것 없음
4	품질을 어떻게 측정하는가?	명시된 벤치마크, 데이터셋, 버전, 날짜	"업계 최고 정확도" 또는 지표 없음
5	AI를 제거하면 어떻게 되는가?	"제품은 그것 없이 작동할 수 없다"	"그래도 작동하지만, 좀 덜 똑똑할 뿐"

질문 1-2는 구체성과 존재를 테스트합니다: 프로젝트가 자신의 AI를 설명하고 시연할 수 있는가? 질문 3-4는 검증 가능성과 엄밀함을 테스트합니다: 외부인이 증거를 검토할 수 있는가? 질문 5는 **핵심성(centrality)**을 테스트합니다: AI가 아키텍처적으로 필수적인가, 아니면 장식적인가?

다섯 가지 모두에 강한 답변을 가진 프로젝트는 높은 ai_score를 받을 가능성이 큽니다. 약한 답변이 셋 이상이면 면밀한 검토가 필요합니다.

단계별 검증 가이드

1단계: AI 컴포넌트 필드 확인

프로젝트 패스포트의 AI 컴포넌트 필드는 프로젝트 내부의 구체적인 AI 기술을 설명합니다. 이는 실체를 판단하는 가장 빠른 단일 지표입니다.

inference engine for LLM routing이나 AI agent platform (workflows/tools/KB) 같은 구체적인 값은 AI가 실제로 무엇을 하는지 알려줍니다. 특수 값은 공백을 시사합니다: positioning only는 AI가 마케팅에 등장하지만 작동하는 컴포넌트가 확인되지 않았음을 의미하고, none이나 unknown은 가용한 소스에서 AI가 감지되지 않았음을 의미합니다. 이는 영구적인 판정이 아니라 검토 시점에 가용한 증거를 반영합니다. 증거의 부재가 기술의 부재가 아닌 이유를 참고하세요.

2단계: ai_score 확인

ai_score(0-3)는 프로젝트의 AI 주장에 대해 검증 가능한 증거가 얼마나 존재하는지를 정량화합니다. 이는 DecAI Fit 지표의 일부로, min(3, AI_0 + AI_1 + AI_2 + AI_3 + AI_4) — 3으로 상한이 정해진 다섯 개의 이진 플래그 — 로 계산됩니다.

ai_score	의미
0	검증된 AI 존재 없음. DecAI Fit이 0으로 강제됨.
1	Tier-1 수준의 의도 선언은 존재하지만, 작동하는 AI는 검증되지 않음.
2	부분적 증거: AI가 설명되어 있고 일부 산출물이나 데모가 존재함.
3	강한 증거: 공개 코드, 벤치마크, 아키텍처 문서, 작동하는 데모.

ai_score = 0이면 AI 주장은 현재 입증되지 않은 것입니다. 이는 프로젝트에 대한 비난이 아니라, Tier-1 소스가 그 주장을 확인하지 못한다는 의미입니다.

3단계: Tier-1 증거 찾기

**Tier-1 증거**는 프로젝트의 실제 현실에 가장 가까운 산출물로 구성됩니다:

AI 관련 코드가 있는 공개 코드 저장소: 모델 정의, 트레이닝 스크립트, 인퍼런스 파이프라인 — 단순한 README가 아님.
버전과 날짜와 함께 모델 아키텍처, 데이터 파이프라인, 또는 시스템 설계를 설명하는 기술 문서.
공개된 가중치, 모델 카드, 또는 Hugging Face 항목과 같은 모델 산출물.
방법론, 비교 기준선, 데이터셋 명세, 버전 정보가 있는 벤치마크.
AI 컴포넌트가 관찰 가능하고 테스트 가능한 출력을 만들어내는 작동하는 데모.

Tier-2(애그리게이터 설명, 인터뷰)는 유용한 맥락을 제공하지만 AI를 확인하는 유일한 근거가 되어서는 안 됩니다. Tier-3(인플루언서 게시물, PR 기사, 소문)는 최소한의 무게만 갖습니다.

4단계: 주장과 산출물을 교차 확인

프로젝트가 말하는 것과 독립적으로 검증할 수 있는 것을 비교하세요. "실시간 예측을 위한 독자 신경망"을 주장하는 프로젝트는 이 역량을 입증하는 코드, 문서, 또는 적어도 데모를 갖추고 있어야 합니다. 마케팅 언어는 야심차지만 검증 가능한 산출물이 빈약할 때, 그 격차 자체가 신호입니다.

흔한 위험 신호

특정 패턴은 AI 주장이 실제가 아닐 수 있음을 시사합니다. 이 중 어느 것도 그 자체로 프로젝트에 대한 비난은 아니지만, 각각은 더 깊은 조사를 요합니다.

마케팅뿐인 AI. 이름과 피치덱에는 "AI"가 있지만, 어디에도 아키텍처, 모델 이름, 데이터 파이프라인이 설명되지 않음. 이것이 AI-washing의 가장 흔한 형태입니다.
비어 있거나 무관한 저장소. GitHub 링크는 있지만 AI 관련 코드, 릴리스가 없거나, 주장된 컴포넌트와 무관한 코드가 들어 있음.
방법론 없는 지표. 벤치마크, 데이터셋, 평가 방법, 또는 버전을 명시하지 않은 "99% 정확도" 같은 주장.
순수 API 래퍼. "AI" 전체가 독자 로직, 파인튜닝, 또는 도메인 특화 처리가 그 위에 없이 서드파티 API를 호출하는 것에 불과함.
출시 후 AI 브랜딩. 토큰 출시 후에 프로젝트 이름에 "AI"가 추가되었고, 그에 상응하는 기술적 변화는 없음.
버전 관리나 타임라인 없음. AI 관련 주장에 날짜, 버전 번호, 또는 추적 가능한 개발 이력이 없음.
순환 증거. 프로젝트가 자체 마케팅 자료를 증거로 인용하거나, 프로젝트의 보도자료를 그대로 반복하는 기사를 참조함.
영원한 로드맵. AI 기능이 수개월간 존재했음에도 출시된 마일스톤이나 공개 산출물 없이 항상 "곧 출시" 상태임.
불일치하는 복잡성. 프로젝트가 고급 역량(검증 가능한 인퍼런스, 연합 학습)을 주장하지만 팀과 코드베이스가 그 복잡성에 부합하지 않음.

흔한 긍정 신호

진짜 AI 프로젝트는 식별 가능한 특징을 공유합니다. 프로젝트가 이러한 특징을 많이 보일수록, 그 AI 주장이 실질적일 가능성이 높습니다.

구체적이고 테스트 가능한 주장. 프로젝트가 기술 검토자가 평가할 수 있을 만큼 충분한 세부사항과 함께 모델 아키텍처, 트레이닝 접근법, 데이터 소스를 명시함.
활발하고 관련 있는 코드. 모델 트레이닝 또는 인퍼런스 코드, 의미 있는 커밋 이력, 테스트, 최근 활동이 있는 공개 저장소.
재현 가능한 지표. 성능 결과에 벤치마크 이름, 데이터셋, 방법론, 버전, 날짜가 포함됨.
아키텍처 문서. 기술 문서에 시스템 설계, 데이터 흐름, 그리고 시간에 따라 변화하는 버전화된 작성 이력이 포함됨.
작동하고 테스트 가능한 데모. 누구나 독립적으로 테스트할 수 있는 AI 출력을 만들어내는 라이브 애플리케이션이나 공개 API.
검증 가능한 AI/ML 배경을 가진 팀. 발표된 논문, 오픈소스 기여, 또는 검증 가능한 직업 이력.
모델 카드 또는 데이터 시트. 프로젝트가 모델 문서화에 대한 확립된 관행을 따름: 의도된 용도, 한계, 트레이닝 데이터, 평가 결과.

실제 세계의 패턴

직관을 기르기 위해 다음의 대조적인 원형(archetype)을 생각해 보세요. 특정 프로젝트의 이름은 거론하지 않으며, 목표는 구조적 차이를 인식하는 것입니다.

패턴 A: 강한 증거를 가진 진짜 AI. 모델 트레이닝 코드, 평가 스크립트, 문서화된 인퍼런스 파이프라인이 있는 활발한 저장소. 방법론과 함께 공개된 벤치마크. 관찰 가능한 AI 출력을 만들어내는 라이브 데모. ai_score는 3입니다.

패턴 B: 부분적 증거를 가진 초기 단계 AI. 공식 문서가 AI가 무엇을 할지를 AI 마일스톤이 포함된 로드맵과 함께 설명함. 프로토타입은 존재하지만 공개적으로 접근할 수 없음. 아직 벤치마크 없음. ai_score는 1-2입니다. 이는 AI-washing이 아니라, 증거가 아직 구체화되지 않은 초기 단계 프로젝트입니다.

패턴 C: 실체 없는 AI-washing. 브랜딩에서 "AI"가 두드러짐. 피치덱은 "독자 신경망"을 언급함. 마케팅을 넘어서는 기술 문서 없음. 저장소, 데모, 벤치마크, 또는 모델 산출물 없음. ai_score는 0입니다.

패턴 D: 독자 AI로 포장된 API 래퍼. AI 컴포넌트가 전적으로 서드파티 제공자에 대한 호출로 구성됨. 파인튜닝 없음, 맞춤 파이프라인 없음, 도메인 특화 처리 없음. 이는 프로젝트에 대한 비난이 아니지만, 이를 "독자 AI"라고 부르는 것은 기술적 현실을 왜곡합니다. 자동화 대 진짜 AI 컴포넌트를 참고하세요.

DecAIHub는 이 문제를 어떻게 해결하는가

DecAIHub는 "이 AI가 진짜인가?"에 답하는 것이 프로젝트마다 수 시간의 독립적인 조사를 요구해서는 안 된다는 이유로 존재합니다. 플랫폼은 체계적인 프레임워크를 사용해 진짜 AI를 AI-washing으로부터 분리합니다.

DecAI Fit

**DecAI Fit**는 프로젝트가 탈중앙화 AI의 원칙과 얼마나 잘 부합하는지를 측정하는 복합 지수(0-6)입니다. 이는 네 가지 차원을 결합합니다: AI reality, Onchain necessity, Token necessity, 그리고 Evidence.

핵심 규칙: ai_score = 0이면, 다른 차원과 무관하게 DecAI Fit = 0입니다. 검증된 AI가 없다는 것은 프로젝트가 탈중앙화 AI 분류 기준을 충족하지 못한다는 의미입니다. 이 단일 규칙이 채점 시스템에서 가장 흔한 형태의 AI-washing을 제거합니다.

AI reality 플래그 (AI_0 ~ AI_4)

AI reality는 각각 점진적으로 더 깊은 검증 계층을 포착하는 다섯 개의 이진 플래그로 구성됩니다:

플래그	무엇을 확인하는가	증거의 예
AI_0	AI 의도에 대한 Tier-1 선언	AI 계획을 언급하는 로드맵이나 공식 문서
AI_1	AI가 무엇을 하는지에 대한 설명	모델의 기능을 설명하는 기술 문서
AI_2	작동하는 데모 또는 예시	공개 데모, 라이브 API, 기록된 출력
AI_3	지표 및 벤치마크	버전이 명시된 데이터셋에서의 공개된 F1 점수
AI_4	아키텍처 및 모델 버전	아키텍처 다이어그램, 모델 카드, 버전 이력

다섯 플래그가 모두 1로 설정되면 진짜 AI에 대한 강하고 다층적인 증거를 의미합니다. AI_0 = 1만 있다면 아직 검증 가능한 것이 없는 선언된 의도만을 의미합니다.

Tier-1, Tier-2, Tier-3 증거 체계

프로젝트 카드의 모든 주장은 분류된 소스에 근거합니다:

Tier-1 (증거): 코드, 컨트랙트, 공식 문서, 감사, 온체인 사실. 가장 높은 가중치.
Tier-2 (맥락): 애그리게이터 설명, 생태계 카탈로그, 분석 대시보드, 인터뷰. 교차 확인에 유용하나, 단독 증거로는 불충분.
Tier-3 (잡음): 인플루언서 게시물, PR 기사, 소문, 출처 없는 주장. Tier-3 소스만 존재한다면 DecAI Fit은 2로 상한이 정해집니다.

이 위계는 마케팅 자료만으로는 프로젝트의 평가를 끌어올릴 수 없도록 보장합니다.

AI-washing 탐지

DecAIHub는 프로젝트에 비난하거나 면죄하는 라벨을 부여하지 않습니다. 대신 주장과 증거 사이의 격차를 측정합니다. 마케팅 주장이 검증 가능한 산출물을 크게 초과할 때, 이 격차는 카드에서 가시화됩니다: 대담한 AI 유스케이스가 positioning only나 ai_score = 0과 짝지어진 것은 측정 가능하고 객관적인 신호입니다. 독자는 스스로 결론을 내립니다.

빠른 검증 체크리스트

확인 항목	어디를 볼 것인가	무엇을 기대할 것인가
AI 컴포넌트 구체성	AI 컴포넌트 필드	유행어가 아닌 구체적 메커니즘
AI 점수	DecAI Fit의 ai_score	검증된 AI라면 0 초과
증거 등급	증거 표	강한 주장에 대한 Tier-1 산출물
코드 존재	연결된 저장소	커밋 이력이 있는 AI 관련 코드
지표 품질	문서, 벤치마크	방법론, 데이터셋, 버전, 날짜
데모 가용성	제품 링크, 공개 API	관찰 가능한 AI 출력
팀 AI 전문성	팀 섹션, 발표 논문	검증 가능한 ML/AI 배경
버전 관리	문서, 체인지로그	날짜, 버전 번호, 이력

검증만으로는 증명하지 못하는 것

철저한 검증에도 한계가 있습니다:

높은 ai_score가 AI가 좋다는 것을 의미하지는 않습니다. 그것은 검증 가능한 산출물이 존재한다는 의미입니다. 품질은 별개의 문제입니다.
높은 ai_score가 프로젝트가 성공할 것임을 의미하지는 않습니다. 기술적 가치와 생존 가능성은 다른 차원입니다.
낮은 ai_score는 프로젝트에 대한 비난이 아닙니다. 일부 프로젝트는 진짜 기술을 가지고 있지만 문서가 부실하거나 폐쇄적인 개발 모델을 가질 수 있습니다.
검증은 특정 시점을 반영합니다. 평가에는 날짜가 명시되며(Last verified), 새로운 증거가 나타나면 업데이트됩니다.
AI 검증은 비즈니스 모델, 팀 품질, 또는 시장 적합성을 평가하지 않습니다. 이들은 관련은 있지만 AI reality 평가의 범위 밖입니다.

자주 묻는 질문

크립토 프로젝트에 진짜 AI가 있는지 얼마나 빨리 검증할 수 있나요?

DecAIHub의 프로젝트 카드를 사용하면 기본 확인은 5분 미만이 걸립니다. AI 컴포넌트 필드, ai_score, 증거 등급을 보세요. AI 컴포넌트가 positioning only이고 ai_score = 0이라면, 이미 강한 신호를 가진 것입니다. 다섯 가지 질문 테스트와 저장소 검토를 포함한 더 깊은 확인은 15-30분이 걸립니다.

프로젝트에 GitHub에 AI 코드가 있지만 작동하는 제품이 없다면?

코드는 긍정적인 신호이지만 맥락이 필요합니다. 활발히 유지보수되고 있는가? 주장된 제품과 관련이 있는가? 2년간 업데이트되지 않은 트레이닝 스크립트가 있는 저장소나, 프로젝트가 명시한 기능과 무관해 보이는 저장소는 CI/CD와 최근 커밋이 있는 활발하고 잘 문서화된 코드베이스보다 약한 증거입니다.

데모가 있으면 AI가 진짜임을 증명하나요?

데모는 강한 증거이지만(AI_2 플래그를 설정함) 결정적이지는 않습니다. 뒤에서 서드파티 API를 사용하거나 좁은 프로토타입을 보여줄 수도 있습니다. 가장 강한 검증은 데모를 코드, 문서, 지표와 결합합니다: 일관된 이야기를 들려주는 여러 독립적 계층입니다.

오픈소스 코드 없이도 프로젝트가 DecAI Fit에서 좋은 점수를 받을 수 있나요?

네. 오픈소스 코드는 가장 강한 Tier-1 증거이지만 유일한 종류는 아닙니다. 프로젝트는 상세한 기술 문서, 공개된 벤치마크, 작동하는 데모, 모델 산출물을 통해 의미 있는 ai_score를 달성할 수 있습니다. 다만, Tier-1 증거가 전혀 없으면 거버넌스 상한이 최대 점수를 제한합니다.

크립토에서 가장 흔한 형태의 AI-washing은 무엇인가요?

가장 흔한 패턴은 마케팅뿐인 AI입니다: 이름과 자료에는 "AI"가 있지만 기술 설명, 코드, 데모, 또는 지표가 없는 경우. 두 번째로 흔한 것은 **API 래퍼**입니다: 파인튜닝이나 도메인 특화 로직 없이 서드파티 AI 제공자를 호출하고 이를 독자 기술로 포장하는 경우.

프로젝트가 진짜 AI를 가지고 있으면서도 낮은 DecAI Fit을 받는 것이 가능한가요?

네. DecAI Fit은 닫힌 문 뒤의 실제 기술 상태가 아니라 검증 가능한 증거를 측정합니다. 정교한 AI를 가졌지만 아무것도 공개하지 않는 프로젝트는 검증할 것이 없으므로 낮은 점수를 받습니다. DecAI Fit은 설계상 투명성을 보상합니다. 그런 프로젝트가 나중에 산출물을 공개하면 점수가 업데이트됩니다.

함께 보기

외부 참고 자료

Stanford HAI — Artificial Intelligence Index Report — AI 연구 및 산업 도입 현황에 대한 연례 데이터.
OECD AI Policy Observatory — 국제 AI 거버넌스 프레임워크와 정의.
MIT Technology Review — AI topic — AI의 발전과 동향에 대한 접근하기 쉬운 보도.
Hugging Face — Model Cards — 모델 정보와 평가 결과를 공개하기 위한 문서화 표준.
Papers With Code — AI 작업 전반의 벤치마크, 데이터셋, 최신 결과.