AI/Inference
참고: 이 문서는 영문 원본의 자동 번역본입니다.
AI/Inference
AI/Inference는 학습된 AI 모델을 프로덕션에서 실행하는 데 초점을 맞춘 프로젝트를 그룹화합니다 — 모델이 입력 데이터를 받아 결과(예측, 분류, 생성된 이미지, 또는 텍스트 응답)를 산출하는 단계입니다. 이것이 AI의 "라스트 마일(last mile)"입니다: 모델이 실제로 유용한 무언가를 하는 순간.
DecAIHub 레지스트리에서 인퍼런스 중심 프로젝트는 종종 컴퓨트 공급자 및 인프라 계층과 겹칩니다. 구별 요소는 강조점입니다: AI/Inference 프로젝트는 단순히 원시 GPU 파워를 공급하는 것이 아니라 모델이 어떻게 서빙되고, 검증되고, 사용자에게 전달되는지에 구체적으로 관심을 둡니다.
레이턴시, 배칭, 버전 관리, 관측 가능성(observability)(감사를 위한 입력과 출력 로깅)은 이 카테고리에서 반복되는 주제입니다. 프로젝트는 API를 통합하는 개발자를 대상으로 하거나, 생성된 콘텐츠를 소비하는 최종 사용자를 대상으로 할 수 있습니다 — 공통된 핵심은 트레이닝 단계 자체가 아닌 학습된 모델의 프로덕션 사용입니다.
요약하면: AI/Inference는 프로덕션에서 AI 모델 출력을 서빙, 실행, 또는 검증하는 프로젝트를 다룹니다.
의미하는 바
**인퍼런스**는 데이터를 학습된 모델에 입력하여 결과를 얻는 과정입니다. 챗봇에 프롬프트를 입력하고 답변을 받을 때, 그 답변은 인퍼런스의 산물입니다. DeFi 프로토콜이 가격 예측 모델을 호출할 때, 반환된 예측은 인퍼런스 출력입니다.
이는 트레이닝(데이터로부터 학습하여 모델을 구축하고 개선하는 것) 및 컴퓨트(원시 하드웨어 제공)와 구별됩니다. 트레이닝은 배포 전에 일어나고; 컴퓨트는 자원이며; 인퍼런스는 완성된 모델을 사용하는 행위입니다.
크립토의 핵심 과제는 **검증 가능한 인퍼런스(verifiable inference)**입니다: 단일 서버를 신뢰하지 않고도 특정 모델이 특정 입력을 처리하여 특정 출력을 산출했음을 어떻게 증명할 것인가? 여러 접근법이 존재합니다:
- 다중 공급자 합의(Multi-provider consensus) — 동일한 입력이 여러 독립 공급자에게 전송되고, 출력이 비교됩니다; 일치는 신뢰도를 높입니다.
- zkML — 영지식 증명이 인퍼런스 결과와 함께 생성되어, 누구나 모델을 다시 실행하지 않고 정확성을 검증할 수 있습니다.
- TEE (신뢰 실행 환경, trusted execution environment) — 모델이 처리한 코드와 데이터를 증명(attest)하는 하드웨어 엔클레이브 내에서 실행됩니다.
AI/Inference 프로젝트에서 발견되는 일반적인 AI 컴포넌트에는 인퍼런스 엔드포인트, 모델 서빙 게이트웨이, 결과 검증 계층, 레이턴시 라우터, 그리고 버전과 출처를 추적하는 모델 레지스트리가 포함됩니다.
일반적인 하위 조합
DecAIHub는 복합 카테고리를 사용합니다. 아래는 AI/Inference 내에서 가장 빈번한 조합입니다.
| 하위 조합 | 의미하는 바 |
|---|---|
| AI/Inference | Infra | 탈중앙화 인퍼런스 네트워크 및 서빙 플랫폼 — 모델 공급자에게 요청을 라우팅하기 위한 인프라. |
| AI/Inference | AI/Compute | Infra | 자체 컴퓨트 계층도 포함하는 인퍼런스 인프라 — GPU를 공급하면서 모델 서빙에 특화된 프로젝트. |
| AI/Inference | AI/Agents | 인퍼런스가 자율 에이전트에 의해 소비되는 서비스로 패키징된 프로젝트. |
프로젝트 카드에서 무엇을 찾을 것인가
DecAIHub에서 AI/Inference 카드를 읽을 때 다음에 주의하세요:
- AI component — 카드가 구체적인 AI 컴포넌트(인퍼런스 엔드포인트, 모델 서빙, 결과 검증, 인퍼런스 컴포넌트)를 나열하는가, 아니면 모호한 "AI 인프라" 표현만 있는가?
- 검증 메커니즘 — 프로젝트가 인퍼런스 결과를 어떻게 검증하는지 설명하는가? 합의, zkML, TEE, 또는 재현성 보장에 대한 언급을 찾아보세요.
- 모델 투명성 — 어떤 모델이 실행되는지, 어떤 버전인지, 입력과 출력이 어떻게 보이는지 볼 수 있는가? 모든 모델 세부 정보를 숨기는 프로젝트는 검증을 어렵게 만듭니다.
- 증거 등급 — 공개 인퍼런스 API, 벤치마크 결과, 또는 온체인 증명 로그 같은 Tier-1 아티팩트가 있는가?
- AI reality 점수(
ai_score) — 타인의 오픈 모델을 실행하는 것은 유효한 인퍼런스이지만, 카드는 AI가 독자적인지 서드파티인지를 명확히 해야 합니다. AI reality를 참조하세요.
이 카테고리만으로는 증명되지 않는 것
AI/Inference로 라벨링된 프로젝트는 그 포지셔닝과 사용 가능한 아티팩트를 기반으로 인퍼런스 중심으로 분류된 것입니다. 라벨 단독으로는 다음이 확인되지 않습니다:
- 서빙되는 모델이 고품질이거나, 독자적이거나, 목적에 맞게 구축되었는지;
- 인퍼런스 결과가 실제로 온체인이나 암호학적 증명을 통해 검증되는지;
- 프로젝트가 서빙하는 모델을 구축하거나 학습시켰는지;
- 인퍼런스 서비스에 대한 의미 있는 수요가 있는지;
- 인퍼런스 파이프라인이 작동하는 데 토큰이 필요한지.
항상 프로젝트 카드의 전체 DecAI Fit 점수와 증거 블록을 확인하세요.
혼동하지 마세요
- AI/Compute — 원시 연산 자원을 제공합니다; 인퍼런스는 컴퓨트를 사용하지만, 두 카테고리는 서로 다른 관심사(모델 서빙 vs 하드웨어 공급)를 다룹니다. AI/Compute를 참조하세요.
- AI/Training — 데이터로부터 학습하여 모델을 구축하고 개선합니다; 트레이닝은 인퍼런스가 이후 실행하는 모델을 산출합니다. AI/Training을 참조하세요.
- AI/Agents — 인지하고, 결정하고, 행동하는 자율 소프트웨어입니다; 에이전트는 내부적으로 인퍼런스 엔드포인트를 호출할 수 있지만, 에이전트 카테고리는 모델 실행이 아닌 행동에 관한 것입니다. AI/Agents를 참조하세요.
- API 래퍼 — 자체 인퍼런스 로직, 검증, 또는 서빙 인프라를 추가하지 않고 단순히 서드파티 모델(예: OpenAI)로의 호출을 프록시하는 프로젝트. 자동화 vs 실제 AI를 참조하세요.
자주 묻는 질문
타인의 오픈 가중치 모델을 호스팅하는 것도 DecAIHub에서 "AI/Inference"인가요?
예, 제품이 명확히 프로덕션에서의 인퍼런스 서빙, 라우팅, 또는 검증에 관한 것이라면. 카드는 여전히 **출처(provenance)**를 명확히 해야 합니다 — 어떤 모델, 어떤 버전, 그리고 프로젝트가 얇은 프록시 이상으로 무엇을 추가하는지. AI reality를 참조하세요.
왜 인퍼런스와 컴퓨트 태그가 종종 함께 나타나나요?
인퍼런스에는 머신이 필요합니다. 공급(AI/Compute)과 서빙(이 카테고리)을 모두 소유한 프로젝트는 종종 복합 태그를 갖습니다. AI component 목록을 사용해 강조점이 하드웨어 대여인지, 모델 실행인지, 또는 둘 다인지 확인하세요.
"검증 가능" 주장에 대해 먼저 무엇을 확인해야 하나요?
문서화된 검증 메커니즘(합의, zkML, TEE)과 API, 로그, 또는 재현 가능한 벤치마크 같은 Tier-1 아티팩트를 찾아보세요 — 슬로건만이 아닙니다.
외부 참고 자료
- Inference (machine learning) — 인퍼런스가 트레이닝과 함께 ML 라이프사이클에 어떻게 들어맞는지에 대한 중립적 요약.
- NIST Artificial Intelligence Risk Management Framework (AI RMF 1.0) — 실제 환경에서 AI 시스템의 신뢰할 수 있는 배포와 모니터링에 대한 배경.
No comments to display
No comments to display