인퍼런스란 무엇인가

참고: 이 문서는 영문 원본의 자동 번역본입니다.

인퍼런스란 무엇인가

**인퍼런스(inference)**는 학습된 AI 모델을 새로운 데이터에 실행해 결과를 얻는 과정입니다. 모델이 이미지를 분류하거나, 한 문단의 텍스트를 생성하거나, 위험 점수를 예측하거나, 행동을 추천할 때, 그것은 인퍼런스를 수행하고 있는 것입니다. 학습이 모델이 배우는 방식이라면, 인퍼런스는 모델이 작동하는 방식입니다.

유용한 비유: 학습은 시험 공부입니다 — 교과서를 읽고, 연습 문제를 풀고, 패턴을 흡수합니다. 인퍼런스는 시험을 치르는 것입니다 — 배운 것을 실제 조건에서 새로운 문제에 적용합니다. AI 시스템이 프로덕션에서 출력을 산출할 때마다, 그것이 인퍼런스입니다.

요약: 학습은 시험 공부이고, 인퍼런스는 시험을 치르는 것입니다. AI 시스템이 프로덕션에서 출력을 산출할 때마다, 그것이 인퍼런스입니다.

인퍼런스가 단계별로 작동하는 방식

인퍼런스는 최종 사용자에게 즉각적으로 보이지만("질문을 입력했더니 답을 받았다"), 모델이 출력을 산출할 때마다 뒤에서는 구체적인 파이프라인이 실행됩니다.

입력

모든 것은 입력 데이터에서 시작됩니다 — 텍스트 프롬프트, 이미지, 숫자 집합, 블록체인 거래 해시, 오디오 클립, 또는 모델이 처리하도록 설계된 기타 구조화·비구조화 데이터.

전처리

원시 입력이 모델에 직접 공급되는 경우는 드뭅니다. 전처리 단계는 그것을 모델이 기대하는 형식으로 변환합니다. 텍스트 모델의 경우, 이는 토큰화를 의미합니다 — 텍스트를 토큰(하위 단어 단위)으로 분할하고 수치 ID로 변환합니다. 이미지 모델의 경우, 이는 크기 조정, 픽셀 값 정규화, 때로는 이미지 증강을 의미합니다. 전처리는 학습 시 사용된 단계와 정확히 일치해야 합니다; 그렇지 않으면 모델은 학습된 적 없는 형식의 데이터를 받게 됩니다.

순전파

전처리된 입력은 모델의 아키텍처를 통과합니다 — 모든 학습된 가중치와 활성화 함수를 거쳐 레이어별로. 이를 **순전파(forward pass)**라 부릅니다. 이 단계에서 모델은 학습 중 배운 패턴을 새 입력에 적용합니다. 가중치는 갱신되지 않고, 학습은 일어나지 않습니다. 모델은 기존 지식을 사용해 입력으로부터 출력을 계산할 뿐입니다.

대규모 언어 모델의 경우, 순전파는 가능한 다음 토큰에 대한 확률 분포를 산출합니다. 분류기의 경우, 각 클래스에 대한 확률을 산출합니다. 생성형 이미지 모델의 경우, 단계별로 노이즈가 제거된 이미지를 산출합니다.

출력

순전파는 원시 출력을 산출합니다 — 종종 숫자 벡터, 확률, 또는 토큰 시퀀스입니다. 이 원시 출력은 유용해지려면 해석되어야 합니다.

후처리

후처리는 원시 출력을 사람이 읽을 수 있거나 시스템이 사용할 수 있는 결과로 변환합니다. LLM의 경우, 이는 토큰 ID를 다시 텍스트로 디코딩하는 것을 의미합니다. 분류기의 경우, 확률 점수를 클래스 레이블("스팸" 대 "스팸 아님")로 매핑하는 것을 의미합니다. 스코어링 모델의 경우, 원시 값을 애플리케이션이 기대하는 점수 범위로 변환하는 것을 의미합니다.

요약하면:

단계	일어나는 일	예시(텍스트 모델)
입력	원시 데이터가 도착	사용자가 질문을 입력
전처리	데이터가 모델 형식으로 변환됨	텍스트가 수치 ID로 토큰화됨
순전파	모델이 학습된 가중치로 입력에서 출력을 계산	어휘에 대한 확률 분포
원시 출력	수치 결과가 산출됨	토큰 확률
후처리	출력이 사용 가능한 형태로 변환됨	토큰 ID가 다시 텍스트로 디코딩됨

인퍼런스의 유형

모든 인퍼런스가 같지는 않습니다. 배포 시나리오마다 서로 다른 기술 요구 사항과 트레이드오프가 생깁니다.

실시간 대 배치 인퍼런스

차원	실시간 인퍼런스	배치 인퍼런스
언제 실행되는가	요청별로 온디맨드	일정에 따라 또는 배치가 쌓일 때
지연 요구 사항	낮음(밀리초~초)	유연함(분~시간 허용)
사용 사례	챗봇, 실시간 스코어링, 인터랙티브 에이전트	보고서 생성, 대량 분류, 주기적 분석
비용 프로파일	요청당 높음(하드웨어가 항상 준비되어 있어야 함)	항목당 낮음(하드웨어를 버스트로 효율적으로 사용)

실시간 인퍼런스는 최종 사용자가 일반적으로 경험하는 것입니다 — 쿼리를 보내면 즉시 답을 받습니다. 배치 인퍼런스는 모델이 한 번에 수천 개의 데이터 포인트를 처리하는 백엔드 파이프라인에서 흔합니다(예: 지난 한 시간의 모든 거래를 사기 위험에 대해 스코어링).

엣지 대 클라우드 인퍼런스

클라우드 인퍼런스는 데이터센터의 중앙집중형 서버(또는 서버 클러스터)에서 실행됩니다. 강력한 하드웨어(고급 GPU, 대용량 메모리)를 제공하지만 네트워크 지연과 중앙 제공자에 대한 의존성을 도입합니다.
엣지 인퍼런스는 로컬 기기에서 실행됩니다 — 스마트폰, IoT 센서, 임베디드 하드웨어. 지연을 줄이고 데이터를 기기에 유지하지만, 기기의 연산 능력과 메모리에 의해 제한됩니다.

많은 프로덕션 시스템은 둘을 결합합니다: 빠른 초기 응답을 위해 경량 모델이 엣지에서 실행되고, 복잡한 쿼리는 클라우드 기반 모델로 전달됩니다.

온체인 대 오프체인 인퍼런스

이 구분은 크립토 AI에 특유한 것이며, DecAIHub가 프로젝트를 평가하는 방식의 핵심입니다:

오프체인 인퍼런스 — 모델이 전통적 서버나 GPU 클러스터에서 실행됩니다. 결과는 이후 블록체인에 게시될 수도, 안 될 수도 있습니다. 대규모 모델을 블록체인에서 직접 실행하는 것은 계산적으로 비현실적이므로, 이것이 크립토 AI 프로젝트에서 가장 흔한 구성입니다.
온체인 인퍼런스 — 모델(또는 그 연산의 검증 가능한 증명)이 블록체인의 실행 환경 내에서 실행됩니다. 비자명한 모델에 대한 진정한 온체인 인퍼런스는 스마트 컨트랙트 환경의 계산적 한계 때문에 극히 드뭅니다. 온체인 인퍼런스를 주장하는 프로젝트는 일반적으로 다음 접근법 중 하나를 사용합니다: 스마트 컨트랙트 내에서 매우 작은 모델을 실행, 인퍼런스가 오프체인에서 올바르게 수행되었다는 암호학적 증명(zkML 등)을 게시, 또는 오프체인 인퍼런스 결과가 증명되어 온체인에 기록되는 오라클형 메커니즘 사용.

온체인 인퍼런스와 오프체인 인퍼런스의 구분은 DecAI Fit의 온체인 필요성 축과 직접 관련됩니다.

크립토 AI에서 인퍼런스가 중요한 이유

프로젝트가 인공지능을 사용한다고 주장한다면, 인퍼런스는 어딘가에서 일어나고 있어야 합니다. 학습되었지만 결코 인퍼런스를 실행하지 않는 모델은 출력을 산출하지 않고 사용자에게 가치를 전달하지 않습니다. 인퍼런스는 AI가 개념이기를 멈추고 제품이 되기 시작하는 지점입니다.

DecAIHub 프로젝트 카드에서 AI 구성요소 필드는 종종 인퍼런스 관련 메커니즘을 언급합니다: inference engine, decentralized inference, LLM inference endpoints, model serving. 이들은 모델이 단지 주장된 것이 아니라 실제로 사용되고 있다는 구체적 지표입니다.

비용, 속도, 그리고 컴퓨트와의 연결

인퍼런스는 무료가 아닙니다. 모델을 실행하려면 컴퓨트 자원이 필요합니다 — 일반적으로 GPU 또는 TPU와 커스텀 ASIC 같은 특화 가속기. 인퍼런스 비용은 여러 요인에 따라 달라집니다:

요인	비용과 속도에 미치는 영향
모델 크기(파라미터 수)	큰 모델은 요청당 더 많은 메모리와 연산을 요구
입력 길이	긴 입력(예: 긴 텍스트 프롬프트)은 처리 시간을 늘림
출력 길이	자기회귀 모델(LLM)의 경우, 각 출력 토큰마다 순전파가 필요
배치 크기	여러 요청을 함께 처리하면 처리량은 향상되지만 지연이 추가됨
하드웨어	더 강력한 GPU는 시간을 줄이지만 비용이 더 듦
양자화	수치 정밀도를 낮추면(예: 32비트에서 8비트로) 일부 정확도를 희생하는 대신 메모리와 연산이 줄어듦

프로젝트는 여러 기법으로 인퍼런스를 최적화합니다:

양자화 — 더 적은 메모리와 연산을 사용하도록 가중치의 수치 정밀도를 낮춥니다.
증류(Distillation) — 더 큰 "교사" 모델을 모방하도록 더 작은 "학생" 모델을 학습시켜, 허용 가능한 품질 손실로 더 빠른 모델을 만듭니다.
배칭 — 여러 요청을 묶어 동시에 처리하고 연산 오버헤드를 공유합니다.
캐싱 — 반복되거나 유사한 쿼리에 대한 결과를 저장하고 재사용합니다.
하드웨어 선택 — 워크로드에 맞는 GPU, TPU, 또는 가속기를 선택합니다.

인퍼런스를 구동하는 컴퓨트 인프라는 크립토 AI의 주요 영역입니다. 많은 프로젝트가 인퍼런스 워크로드를 서빙하기 위해 특별히 GPU 네트워크를 구축하거나 조율하며, AI/Compute 또는 AI/Inference 카테고리에 속합니다.

탈중앙화 인퍼런스

전통적 AI에서 인퍼런스는 한 회사가 통제하는 중앙집중형 서버에서 실행됩니다. 탈중앙화 인퍼런스는 모델 서빙을 독립 제공자 네트워크 전반에 분산합니다. 이것은 크립토 AI 프로젝트의 AI/Inference 카테고리의 핵심 패턴입니다.

탈중앙화 인퍼런스는 중앙집중형 시스템에는 존재하지 않는 일련의 과제를 도입합니다:

출력 일관성 — 서로 다른 제공자가 동일한 입력에 대해 동일한(또는 충분히 유사한) 출력을 산출해야 합니다. 하드웨어 차이, 소프트웨어 버전, 수치 정밀도가 발산을 일으킬 수 있습니다.
검증 — 올바른 모델이 실제로 사용되었고, 입력이 변조되지 않았으며, 출력이 정직하게 계산되었음을 어떻게 증명하나? 접근법에는 멀티 제공자 합의(동일한 쿼리를 여러 노드에서 실행하고 결과 비교), 하드웨어 수준 보장을 제공하는 신뢰 실행 환경(TEE), 그리고 모델 가중치나 입력 데이터를 드러내지 않고 올바른 연산을 증명하는 **영지식 증명(zkML)**이 있습니다.
지연 — 분산 제공자에게 요청을 라우팅하면 중앙집중형 서버에 비해 네트워크 오버헤드가 추가됩니다.
결제 조율 — 제공자는 공정하게 보상받아야 하며, 이는 종종 검증된 인퍼런스 작업에 연결된 온체인 결제 메커니즘을 수반합니다.

이 메커니즘들은 AI 구성요소로서의 인퍼런스 페이지에서 자세히 설명됩니다.

DecAIHub 프로젝트 카드에서 나타나는 곳

인퍼런스는 DecAIHub 프로젝트 카드의 여러 부분에 나타납니다:

AI 구성요소 — "inference", "model serving", "LLM inference", "decentralized inference" 같은 인퍼런스 관련 값은 프로젝트의 핵심 AI 기능이 프로덕션에서 모델을 실행하는 것을 포함함을 나타냅니다.
카테고리 — AI/Inference 카테고리의 프로젝트는 인퍼런스 인프라나 서비스 제공에 특별히 집중합니다.
증거 표 — 인퍼런스에 대한 Tier-1 증거에는 공개 API 엔드포인트, 인퍼런스 벤치마크, 지연 측정값, 검증 가능한 컴퓨트 로그가 포함됩니다.
ai_score — 공개된 증거와 함께 작동하는 인퍼런스를 입증하는 프로젝트는, 모델이 실행됨을 보여주지 않고 모델만 설명하는 프로젝트보다 더 높은 ai_score를 받습니다.

프로젝트는 모델을 가지고 있다고 주장할 수 있지만, 프로덕션에서 인퍼런스가 일어나고 있다는 증거가 없다면 그 모델은 최종 사용자에게 어떤 가치도 제공하지 않습니다.

인퍼런스만으로는 증명되지 않는 것

API를 통해 제3자 모델에 인퍼런스를 실행하는 것(예: GPT나 Claude 호출)은 기술적으로 인퍼런스이지만 독점 AI 역량을 입증하지는 않습니다. API 래퍼란 무엇인가를 참고하세요.
인퍼런스는 모델이 실행됨을 증명할 뿐 — 모델이 고품질이거나 작업에 적합하다는 것을 증명하지는 않습니다. 품질에는 벤치마크와 지표가 필요합니다.
인퍼런스는 파이프라인이 작동하는 데 토큰이 필요하다거나 프로젝트가 온체인에 있어야 한다는 것을 증명하지 않습니다. 이들은 DecAI Fit의 별개 축입니다.
공개된 벤치마크나 방법론 없는 속도 주장은 검증할 수 없습니다. "가장 빠른 인퍼런스"라고 주장하려면 재현 가능한 증거가 필요합니다.
인퍼런스 엔드포인트의 존재가, 그 뒤의 모델이 오픈소스 모델의 호스팅된 복사본이 아니라 프로젝트가 구축한 것임을 증명하지는 않습니다.

항상 증거 표와 Tier-1/2/3 증거에서 뒷받침하는 산출물을 확인하세요.

혼동하지 마세요

**학습**은 모델을 만듭니다. 인퍼런스는 그것을 사용합니다. 둘은 AI 라이프사이클의 순차적 단계입니다.
**AI 구성요소로서의 인퍼런스**는 인퍼런스가 DecAIHub 프로젝트 카드에 구체적으로 어떻게 나타나는지를 설명합니다. 이 페이지는 개념 자체를 설명합니다.
**AI/Inference 카테고리**는 인퍼런스 인프라에 집중하는 프로젝트를 분류합니다. 인퍼런스 개념은 카테고리와 무관하게 모델을 실행하는 모든 프로젝트에 적용됩니다.
**컴퓨트**는 하드웨어를 제공합니다. 인퍼런스는 그 하드웨어 위에서 실행되는 워크로드입니다. 컴퓨트 네트워크는 학습과 인퍼런스 워크로드를 모두 서빙할 수 있습니다.
**AI 모델**은 산출물(학습된 가중치)입니다. 인퍼런스는 그 산출물을 사용해 출력을 산출하는 과정입니다.

자주 묻는 질문

학습과 인퍼런스의 차이는 무엇인가요?

학습은 모델을 데이터에 노출시키고 오차를 최소화하도록 가중치를 조정해 모델을 가르치는 과정입니다. 계산적으로 비싸며 일반적으로 한 번(또는 재학습을 위해 주기적으로) 일어납니다. 인퍼런스는 학습된 모델을 사용해 새 데이터에 출력을 산출하는 과정입니다. 사용자가 모델과 상호작용할 때마다 일어납니다. 학습은 모델을 만들고, 인퍼런스는 그것을 사용합니다.

인퍼런스 속도가 왜 중요한가요?

속도는 사용자 경험과 운영 비용을 결정합니다. 응답에 30초가 걸리는 챗봇은 실무에서 사용할 수 없습니다. 거래를 스코어링하는 데 몇 분이 걸리는 사기 탐지 시스템은 대응할 시점을 놓칩니다. 더 빠른 인퍼런스는 요청당 더 낮은 컴퓨트 비용을 의미하며, 이는 서비스의 경제적 생존력에 직접 영향을 줍니다 — 특히 제공자가 하드웨어 비용을 부담하는 탈중앙화 네트워크에서요.

탈중앙화 인퍼런스란 무엇인가요?

탈중앙화 인퍼런스는 단일 회사의 서버에 의존하는 대신 독립 컴퓨트 제공자 네트워크 전반에 모델 서빙을 분산합니다. 핵심 과제는 출력 일관성 보장, 올바른 모델이 실제로 사용되었는지 검증, 지연 관리, 결제 조율입니다. AI/Inference 카테고리의 크립토 AI 프로젝트는 종종 이 목적을 위해 특별히 인프라를 구축합니다.

인퍼런스가 실제로 일어나고 있는지 어떻게 검증하나요?

Tier-1 증거를 찾아보세요: 테스트 가능한 공개 API 엔드포인트, 인퍼런스 지연 벤치마크, 컴퓨트 로그, 인퍼런스 요청과 결과의 온체인 기록, 또는 검증 가능한 증명(TEE 증명 또는 zkML 증명 등). 이런 산출물 없이 "powered by AI" 같은 마케팅 주장은 실제 인퍼런스의 증거가 되지 않습니다.

인퍼런스 실행 비용은 얼마인가요?

비용은 모델 크기, 입력/출력 길이, 하드웨어, 최적화 기법에 따라 달라집니다. 대규모 언어 모델로 단일 쿼리를 실행하는 것은 제공자와 모델 크기에 따라 1센트의 일부에서 몇 센트가 들 수 있습니다. 탈중앙화 인퍼런스 네트워크의 경우 비용은 일반적으로 쿼리당 또는 컴퓨트 단위당 지불되며, 종종 네트워크의 네이티브 토큰이나 스테이블코인을 사용합니다. 인퍼런스의 경제성은 프로젝트의 AI 파이프라인이 대규모로 지속 가능한지를 결정하는 핵심 요인입니다.

함께 보기

외부 참고 자료

Hugging Face -- Inference Endpoints -- 프로덕션에서 모델을 배포하고 실행하기 위한 관리형 인프라.
Papers With Code -- Inference -- 모델 유형 전반에 걸친 효율적 인퍼런스의 벤치마크 결과와 방법.
Stanford HAI -- AI Index Report -- 인퍼런스 비용, 하드웨어 동향, 배포 패턴에 관한 연례 데이터.
Google AI Blog -- Efficient ML -- 양자화, 증류, 기타 인퍼런스 최적화 기법에 관한 연구.
Wikipedia -- Statistical inference -- 머신러닝에서 인퍼런스의 통계적 기초에 관한 배경.