무엇이 AI 컴포넌트의 증거로 인정되는가
참고: 이 문서는 영문 원본의 자동 번역본입니다.
무엇이 AI 컴포넌트의 증거로 인정되는가
DecAIHub가 프로젝트에 작동하는 AI 컴포넌트가 있는지 평가할 때, 그것은 **검증 가능한 산출물(verifiable artifacts)**을 찾습니다 — 마케팅 문구가 아니라, 약속이 아니라, 브랜드 연관성이 아니라. 이 페이지는 DecAI Fit 점수의 AI reality 축을 강화하는 증거 유형을 가장 강한 것부터 가장 약한 것까지 순서대로 나열합니다.
요약하면: AI의 증거란 검사하거나, 테스트하거나, 독립적으로 검증할 수 있는 산출물을 의미합니다 — 코드, 문서, 방법론이 있는 지표, 작동하는 데모, 그리고 서드파티 평가.
Tier-1 증거 (가장 강함)
Tier-1 출처는 프로젝트 자체가 공개하거나 통제하는 산출물입니다. AI reality 축의 경우, 가장 강력한 Tier-1 증거에는 다음이 포함됩니다:
- AI/ML 코드가 있는 공개 리포지토리 — 모델 트레이닝 스크립트, 인퍼런스 로직, 데이터 파이프라인, 전처리 단계. 커밋, 릴리스, 테스트가 있는 리포지토리는 README만 있는 플레이스홀더 리포지토리보다 훨씬 강력합니다.
- 기술 문서 — 모델 아키텍처, 입/출력 형식, 모델 버전, 업데이트 이력에 대한 설명. 이것은 "어떤 모델이, 어떻게 작동하며, 어떤 버전이 실행 중인지"에 답합니다.
- 방법론이 있는 품질 지표 — 무엇이, 어떤 데이터에서, 언제, 어떤 버전의 모델로 측정되었는지를 명시하는 공개된 벤치마크나 평가 결과. 이 맥락이 없는 지표는 증거가 아닙니다.
- 작동하는 데모나 엔드포인트 — AI 컴포넌트를 테스트할 수 있는 공개적으로 접근 가능한 인터페이스, API, 또는 샌드박스. 실제 입력을 처리하고 AI 주도 출력을 반환하는 데모는 직접적인 증거입니다.
- 감사 보고서나 서드파티 평가 — 인정된 주체에 의한 모델 품질, 공정성, 안전성, 또는 성능에 대한 독립적 평가.
Tier-1 증거를 강화하는 패턴
모든 Tier-1 산출물이 동등하게 설득력 있는 것은 아닙니다. 여러 관찰 가능한 패턴이 증거를 더 신뢰할 만하게 만듭니다:
- 커밋 이력의 깊이. 수개월 또는 수년에 걸친 점진적 커밋, 풀 리퀘스트, 코드 리뷰, 버전이 매겨진 릴리스가 있는 리포지토리는 지속적인 엔지니어링 노력을 입증합니다. 단일 대량 업로드는 훨씬 적은 무게를 가집니다.
- 테스트 커버리지와 CI 파이프라인. 모델 인퍼런스, 데이터 검증, 통합 엔드포인트에 대한 자동화된 테스트는 개념 증명이 아니라 프로덕션급 시스템임을 나타냅니다.
- 버전이 매겨진 모델과 변경 로그. 문서가 어떤 모델 버전이 배포되었는지, 버전 간에 무엇이 바뀌었는지, 그리고 왜인지를 추적할 때, 그것은 활발한 개발 주기를 가진 살아있는 시스템을 시사합니다.
- 재현 가능한 출력. 데모나 API가 세션 전반에 걸쳐 동일한 입력에 대해 일관되고 설명 가능한 결과를 반환한다면, 이것은 일회성 쇼케이스보다 강력합니다.
- 보일러플레이트로부터 AI 로직의 분리. AI/ML 모듈이 명확히 식별 가능한 코드베이스 — 프론트엔드 스캐폴딩, 배포 스크립트, 또는 토큰 컨트랙트와 구별됨 — 는 AI 컴포넌트가 실제로 무엇을 하는지 검증하기 쉽게 만듭니다.
Tier-2 증거 (맥락이지 증명이 아님)
Tier-2 출처는 맥락을 제공하지만 그 자체로 작동하는 AI 컴포넌트를 증명하지는 않습니다:
- 팀이 AI 접근법, 아키텍처, 또는 트레이닝 과정을 설명하는 인터뷰나 AMA.
- AI 역량을 언급하는 애그리게이터 설명(CoinGecko, DeFiLlama 등).
- AI 제공자나 연구소와의 파트너십 발표.
Tier-2 증거는 Tier-1 발견을 뒷받침할 수 있지만 그것을 대체할 수는 없습니다. AI 회사와의 파트너십은 프로젝트가 자체적으로 작동하는 AI를 가지고 있음을 증명하지 않습니다.
Tier-2 증거가 중요한 경우
Tier-2 출처는 Tier-1 산출물을 입증하거나 Tier-1만으로는 모호하게 남는 간극을 메울 때 관련성을 갖습니다:
- 팀이 문서에 설명된 아키텍처를 차근차근 설명하는 기술 인터뷰는 Tier-1 문서에 신뢰성을 더합니다.
- 프로젝트 자체 백서에 설명된 역량과 일치하는 애그리게이터 리스팅은 일관성을 시사합니다.
- 프로젝트의 공개 API 동작을 반영하는 라이브 데모가 있는 컨퍼런스 발표는 그 데모가 스크립트가 아님을 강화합니다.
그러나 기반 Tier-1 산출물 없이는, 설득력 있는 Tier-2 출처조차도 맥락으로 남습니다 — 이해에는 가치 있지만 검증에는 불충분합니다.
무엇이 인정되지 않는가
일부 산출물은 증거처럼 보이지만 작동하는 AI 컴포넌트를 입증하지 않습니다. 흔한 거짓 신호에는 마케팅 문구, 빈 리포지토리, 방법론 없는 지표, 자체 소유 로직이 없는 API 래퍼가 포함됩니다. 자세한 목록은 무엇이 AI의 증거가 아닌가를 참조하세요.
DecAIHub가 AI 증거를 기록하는 방법: 플래그 AI_0부터 AI_4까지
AI reality 축은 어떤 증거가 발견되었는지 포착하기 위해 다섯 개의 이진 플래그를 사용합니다:
| 플래그 | 무엇을 확인하는가 | 값 |
|---|---|---|
| AI_0 | AI 의도에 대한 적어도 Tier-1 선언이 있는가(로드맵, 공식 업데이트) | 1 / 0 |
| AI_1 | AI가 무엇을 하는지에 대한 설명이 있는가 | 1 / 0 |
| AI_2 | 데모나 작동하는 예시가 있는가 | 1 / 0 |
| AI_3 | 맥락이 있는 품질 지표가 있는가(무엇을, 어떤 데이터에서, 언제) | 1 / 0 |
| AI_4 | 기술 설명, 아키텍처, 또는 모델 버전이 있는가 | 1 / 0 |
1과 같은 플래그가 많을수록 ai_score가 높아지고 프로젝트의 DecAI Fit이 좋아집니다. 어떤 플래그도 설정되지 않으면 ai_score = 0이고 DecAI Fit은 0을 초과할 수 없습니다.
플래그 조합이 신뢰도에 매핑되는 방식
개별 플래그는 좁은 질문에 답하지만, 그 조합은 더 완전한 그림을 그립니다:
| 설정된 플래그 | 일반적인 해석 |
|---|---|
| AI_0만 | 의도 선언됨; 아직 작동하는 AI 검증 안 됨 |
| AI_0 + AI_1 | AI가 말로 설명됨; 데모, 지표, 아키텍처 없음 |
| AI_0 + AI_1 + AI_2 | 작동하는 데모 존재; 여전히 지표나 기술적 깊이 없음 |
| AI_0 + AI_1 + AI_2 + AI_4 | 데모와 아키텍처 존재; 품질 측정 누락 |
| 다섯 개 모두 (AI_0부터 AI_4까지) | 가장 강력한 증거 프로필: 의도, 설명, 데모, 지표, 아키텍처 |
프로젝트가 0이 아닌 ai_score를 받기 위해 다섯 개의 플래그를 모두 충족할 필요는 없습니다. AI_0만(Tier-1 출처가 있는 의도)으로도 ai_score = 1이 설정됩니다. 그러나 더 높은 플래그는 DecAI Fit의 더 높은 상한에 기여합니다.
왜 지표에 방법론이 중요한가
독립적인 숫자 — "95% 정확도", "낮은 지연 시간", "최첨단" — 는 맥락 없이는 증거가 아닙니다. DecAIHub는 지표가 네 가지 질문에 답할 때만 의미 있다고 여깁니다: 무엇이 측정되었는지(정확도, F1, 지연 시간, 퍼플렉서티), 어떤 데이터에서(공개 벤치마크, 자체 소유 테스트 세트, 프로덕션 트래픽), 언제(평가 날짜), 그리고 어떤 버전의 모델이 결과를 생성했는지. 이것들이 없으면 지표는 증거가 아니라 주장입니다.
네 가지 질문 테스트
공개된 지표를 평가할 때 이 체크리스트를 적용하세요:
- 무엇 — 지표가 명명되고 정의되어 있는가? "정확도"는 모호하고, "top-1 분류 정확도"는 구체적입니다.
- 어떤 데이터에서 — 평가 데이터셋이 식별되어 있는가? 공개 벤치마크는 독립적 재현을 허용하고, 자체 소유 테스트 세트는 그렇지 않지만, 그것을 명명하는 것이 침묵보다 낫습니다.
- 언제 — 날짜나 릴리스 태그가 있는가? 모델은 시간이 지나며 바뀌고, 타임스탬프가 없는 지표는 현재 시스템을 반영하지 않을 수 있습니다.
- 어떤 버전 — 모델이나 시스템 버전이 명시되어 있는가? 프로젝트가 여러 모델 반복을 출시했다면, 지표는 특정 버전에 연결되어야 합니다.
이 네 가지 중 어느 하나라도 누락되면, 지표는 DecAIHub의 평가에서 "증거"에서 "주장"으로 떨어집니다. 그것은 여전히 기록된 주장으로 프로젝트 카드에 나타날 수 있지만, AI_3 플래그를 1로 설정하는 데 기여하지는 않습니다.
이 체크리스트를 사용하는 방법
프로젝트 카드를 읽을 때, 증거 표가 위의 Tier-1 목록의 산출물을 참조하는지 확인하세요. 카드가 ai_score = 0을 보여주거나 AI-washing 우려를 표시한다면, 그것은 검증 날짜 기준으로 이러한 산출물이 발견되지 않았음을 의미합니다 — 이는 프로젝트에 대한 고발이 아닙니다.
새로운 Tier-1 산출물이 나타나면 카드가 업데이트되고 점수가 변경될 수 있습니다.
독자를 위한 실용적 단계
- 증거 표부터 시작하세요. 리포지토리, 문서, 또는 데모에 대한 링크를 찾으세요. 증거 표가 비어 있거나 Tier-2/3 출처만 참조한다면, AI reality 주장은 미검증입니다.
- 산출물을 클릭해 들어가 보세요. 리포지토리 링크는 그 안에 있는 것만큼만 좋습니다. 그것을 열어 README나 배포 스크립트가 아니라 AI/ML 코드를 찾으세요.
- 검증 날짜를 확인하세요. 증거는 스냅샷입니다. 6개월 전에 검증된 카드는 프로젝트의 현재 상태를 반영하지 않을 수 있으며, 이것이 DecAIHub가 550일 후 노후화 페널티를 적용하는 이유입니다.
- 안티패턴 목록과 교차 참조하세요. 무엇이 AI의 증거가 아닌가의 패턴을 본다면, 그에 따라 증거의 무게를 조정하세요.
이 체크리스트만으로는 증명되지 않는 것
- 모든 증거 기준을 충족하는 것은 AI가 고품질이거나 최종 사용자에게 유용함을 증명하지 않습니다. 그것은 산출물이 존재하고 검사할 수 있음을 증명합니다.
- 프로젝트 자체의 Tier-1 증거는 독립성을 증명하지 않습니다. 자체 보고된 데이터는 이상적으로 서드파티 평가에 의해 입증되어야 합니다.
- 완전한 증거 기록은 토큰이 필요함을 증명하지 않습니다. AI reality는 DecAI Fit의 한 축이고, 토큰 필요성은 다른 축입니다.
자주 묻는 질문
크립토 프로젝트에서 AI의 가장 완전한 증거로 인정되는 것은 무엇인가요?
의미 있는 커밋 이력을 가진 AI/ML 코드가 포함된 공개 리포지토리와, 전체 방법론(무엇이 측정되었고, 어떤 데이터에서, 언제, 어떤 모델 버전)을 포함하는 공개된 품질 지표의 결합입니다. 이 둘이 모두 존재하고 작동하는 데모나 API 엔드포인트로 뒷받침될 때, 증거 프로필은 가장 완전합니다. 어떤 단일 산출물도 그 자체로 결정적이지 않습니다 — 코드, 지표, 테스트 가능한 출력의 조합이 검증된 AI를 미검증 주장과 구별합니다.
프로젝트가 오픈소스 코드 없이 실제 AI를 가질 수 있나요?
네. 오픈소스 코드는 가장 투명한 형태의 증거이지만 유일한 것은 아닙니다. 프로젝트는 상세한 기술 문서, 방법론이 있는 공개된 벤치마크, 검증 가능한 AI 주도 출력을 반환하는 작동하는 API, 또는 독립적인 서드파티 평가를 통해 AI를 입증할 수 있습니다. 그러나 적어도 검사 가능한 산출물 — 코드, 데모, 또는 평가 — 이 없으면 DecAIHub(또는 다른 누구든)가 검증할 것이 없습니다. 프로젝트가 더 폐쇄적일수록, 신뢰성을 구축하기 위해 Tier-2 입증(인터뷰, 애그리게이터 데이터, 컨퍼런스 시연)에 더 의존합니다.
작동하는 데모가 AI가 실제임을 증명하나요?
작동하는 데모는 강력한 증거이지만 그 자체로 결정적 증명은 아닙니다. 잘 설계된 프론트엔드는 하드코딩된 응답, 사전 계산된 결과, 또는 서드파티 API에 대한 숨겨진 호출을 사용하여 AI 같은 동작을 시뮬레이션할 수 있습니다. DecAIHub는 데모가 API 문서, 모델 버전 식별자, 또는 다양한 입력에 걸친 재현 가능한 출력을 동반할 때 더 강한 증거로 취급합니다. 임의의 사용자 입력을 받아 다양하고 맥락에 적절한 출력을 반환하는 데모는 미리 정해진 예시가 있는 안내된 쇼케이스보다 더 설득력 있습니다.
0이 아닌 ai_score에 필요한 최소 증거는 무엇인가요?
최소는 AI 의도에 대한 Tier-1 선언입니다 — AI 관련 계획을 명시적으로 진술하는 로드맵 항목, 공식 블로그 게시물, 또는 문서 페이지. 이것은 AI_0 플래그를 1로 설정하고 ai_score = 1을 생성합니다. 이것이 가능한 가장 낮은 0이 아닌 점수이지만, AI 방향에 공식적으로 전념한 프로젝트를 AI를 전혀 언급하지 않은 프로젝트와 구별합니다. 더 높은 점수에 도달하려면, 프로젝트는 추가 산출물을 제공해야 합니다: AI 컴포넌트 설명(AI_1), 데모(AI_2), 방법론이 있는 지표(AI_3), 기술 아키텍처 세부 정보(AI_4).
외부 참고 자료
- CommonMark specification — 프로젝트 카드와 익스플레이너를 포함한 모든 DecAIHub 위키 페이지에서 사용되는 마크업 표준.
- Model Cards for Model Reporting (Mitchell et al., 2019) — AI 모델 성능, 의도된 용도, 한계를 문서화하기 위한 기초 프레임워크로, DecAIHub의 증거 기준 뒤에 있는 투명성 원칙과 밀접하게 정렬됩니다.
- NIST AI Risk Management Framework — 문서화, 테스트, 평가 방법론에 대한 지침을 포함하여 AI 리스크를 식별하고 관리하기 위한 미국 정부 프레임워크.
No comments to display
No comments to display