Skip to main content

대규모 언어 모델(LLM)이란 무엇인가

참고: 이 문서는 영문 원본의 자동 번역본입니다.

대규모 언어 모델(LLM)이란 무엇인가

**대규모 언어 모델(large language model, LLM)**은 인간 언어를 이해하고 생성할 수 있도록 방대한 양의 텍스트로 트레이닝된 일종의 신경망입니다. 수십억 페이지의 책, 기사, 코드, 대화를 흡수한 극도로 박식한 어시스턴트를 상상해 보세요. 사람이 아는 방식으로 무언가를 "아는" 것이 아니라; 어떤 단어와 아이디어가 어떤 것을 뒤따르는 경향이 있는지에 대한 통계적 패턴을 학습하여, 일관된 문단을 작성하고, 질문에 답하고, 언어 간 번역하고, 문서를 요약하고, 심지어 다단계 문제를 추론할 수 있을 만큼 충분히 학습했습니다.

LLM의 정의적 속성(이자 한계)은 예측을 통해 작동한다는 것입니다. 문장의 시작이 주어지면, 모델은 가장 가능성 높은 다음 단어를 계산하고, 그다음 단어를, 그렇게 한 번에 하나의 토큰씩 계산합니다. 토큰은 대략 단어 또는 하위 단어입니다. 수천 개의 이 작은 예측을 연결하여, LLM은 에세이, 코드, 시, 또는 기술 분석을 만들어낼 수 있습니다 — 모두 각 작업에 대해 명시적으로 프로그래밍되지 않고도. 잘 알려진 LLM에는 GPT, Claude, Gemini, Mistral이 있습니다. 마케팅에서 "AI"를 언급하는 대부분의 크립토 AI 프로젝트는 내부적으로 LLM을 사용하고 있거나, 사용한다고 주장하거나, 서드파티 LLM을 자체 인터페이스 뒤에 감싸고 있습니다. LLM이 실제로 무엇이고 — 무엇이 아닌지 — 이해하는 것은 이러한 주장을 평가하는 데 필수적입니다.

요약하면: LLM은 대부분의 현대 텍스트 기반 AI 뒤의 엔진입니다. 크립토 AI에서 핵심 질문은 프로젝트가 "LLM을 사용하는지"가 아니라 어떻게 사용하고 그 위에 어떤 독자적 가치를 더하는지입니다.

작동 방식

LLM을 구축하고 사용하는 것은 여러 개별 단계를 포함합니다. 각 단계는 서로 다른 자원, 전문성, 데이터를 요구하며 — 각각은 크립토 AI 프로젝트를 평가할 때 서로 다른 AI 깊이 수준을 나타냅니다.

1단계: 사전 트레이닝

사전 트레이닝은 모델이 언어의 기본을 학습하는 곳입니다. 이 단계에서 LLM은 책, 웹사이트, 코드 저장소, 과학 논문, 기타 텍스트 소스에서 가져온 수십억 개의 토큰 — 단어와 하위 단어 — 을 읽습니다. 모델은 시퀀스에서 다음 토큰을 예측하는 데 점점 더 정확해지도록 내부 파라미터(가중치)를 조정합니다.

이 단계는 비쌉니다. 프런티어 LLM을 처음부터 트레이닝하려면 수주 또는 수개월 동안 실행되는 수천 개의 특수 GPU가 필요할 수 있으며, 결과 모델은 수백억 또는 수천억 개의 파라미터를 가질 수 있습니다. 소수의 조직 — 자원이 풍부한 AI 연구소 — 만이 정기적으로 LLM을 처음부터 사전 트레이닝합니다.

2단계: 파인튜닝

사전 트레이닝된 모델은 강력하지만 일반적입니다. **파인튜닝(fine-tuning)**은 특정 작업이나 도메인과 관련된 큐레이션된 더 작은 데이터셋에서 모델을 추가로 트레이닝하여 그 동작을 좁힙니다. 예를 들어, 의료 LLM은 임상 노트로 파인튜닝될 수 있고; DeFi 지향 모델은 스마트 컨트랙트 문서와 온체인 데이터로 파인튜닝될 수 있습니다.

파인튜닝은 사전 트레이닝보다 훨씬 적은 컴퓨트를 요구하지만 여전히 데이터 선택, 평가 지표, 그리고 치명적 망각(모델이 특화되면서 일반 능력을 잃는 것) 회피에 대한 전문성을 요구합니다.

3단계: 정렬 및 RLHF

현대 LLM은 보통 파인튜닝 후 정렬(alignment) 단계를 거칩니다. **인간 피드백 기반 강화 학습(RLHF)**이 가장 흔한 접근법입니다: 인간 평가자가 모델 출력의 순위를 매기고, 모델은 사람이 더 높게 평가하는 응답을 선호하도록 트레이닝됩니다. 정렬은 모델이 지시를 따르고, 유해한 요청을 거부하고, 그럴듯하게 들리는 헛소리가 아니라 진정으로 유용한 답변을 만들어내도록 하는 것입니다.

4단계: 인퍼런스

**인퍼런스**는 프로덕션 단계입니다 — 트레이닝된 LLM이 프롬프트를 받아 출력을 생성할 때. 사용자가 챗봇에 메시지를 보낼 때마다, 기저 LLM이 인퍼런스를 실행합니다: 프롬프트를 읽고, 파라미터 레이어를 통해 처리하고, 토큰 단위로 응답을 만들어냅니다.

인퍼런스는 컴퓨트(GPU 시간)를 소비하지만 쿼리당으로는 트레이닝보다 훨씬 적게 소비합니다. "LLM을 사용하는" 대부분의 프로젝트는 — 종종 자체 하드웨어를 실행하기보다 외부 제공자의 API를 호출하여 — 인퍼런스만 수행하고 있습니다.

파이프라인 한눈에 보기

단계 무엇이 일어나는가 일반적으로 누가 하는가 컴퓨트 비용
사전 트레이닝 수십억 토큰으로부터 언어 학습 주요 AI 연구소 매우 높음
파인튜닝 모델을 도메인이나 작업에 적응 AI 연구소, 자금이 풍부한 스타트업 중간
정렬 (RLHF) 모델을 안전하고 지시를 따르게 만듦 AI 연구소 중간
인퍼런스 사용자 프롬프트에 대한 응답 생성 API 키나 GPU를 가진 누구든 쿼리당 낮음

LLM의 핵심 특성

여러 속성이 특정 LLM이 얼마나 유능한지를 정의합니다:

  • 파라미터 수 — 모델 내 트레이닝 가능한 가중치의 수. 더 큰 모델은 일반적으로 더 많은 뉘앙스를 포착하지만 트레이닝과 실행에 더 많은 비용이 듭니다. 파라미터 수는 수십억(작은 오픈소스 모델)부터 1조 이상(프런티어 모델)까지 범위가 있습니다.
  • 컨텍스트 윈도(context window) — 모델이 단일 상호작용에서 처리할 수 있는 최대 토큰 수. 짧은 컨텍스트 윈도는 모델이 긴 대화의 시작을 "잊는다"는 것을 의미합니다. 현대 LLM은 수천 토큰부터 십만 토큰 이상까지의 컨텍스트 윈도를 제공합니다.
  • 아키텍처 — 대부분의 현대 LLM은 2017년에 도입된 트랜스포머(Transformer) 아키텍처 위에 구축됩니다. 트랜스포머는 셀프 어텐션(self-attention)이라는 메커니즘을 사용해 입력의 모든 토큰 간 관계를 가중하며, 이것이 텍스트의 장거리 의존성을 처리할 수 있게 해 줍니다.
  • 트레이닝 데이터 — 사전 트레이닝 중 사용된 데이터의 품질, 다양성, 최신성이 모델이 아는 것을 형성합니다. 영어 텍스트로만 트레이닝된 모델은 다른 언어에서 성능이 나쁠 것이고; 특정 연도에 지식 컷오프가 있는 모델은 이후의 사건을 알지 못할 것입니다.

실제 산업 예시

여러 잘 알려진 LLM이 이 분야의 다양한 접근법을 보여줍니다:

  • GPT (OpenAI) — API를 통해 제공되는 폐쇄 소스 멀티모달 LLM. 많은 크립토 AI 프로젝트가 제품에 대화형 또는 분석 기능을 추가하기 위해 GPT API를 호출합니다.
  • Claude (Anthropic) — 안전성과 정렬을 강하게 강조하는 폐쇄 소스 LLM. GPT처럼 일반적으로 API를 통해 접근됩니다.
  • DeepSeek-R1 (DeepSeek) — MIT 라이선스로 공개된 오픈 가중치 LLM. 강력한 추론 능력과 공개적 가용성은 이를 파인튜닝과, 모델을 로컬에서 실행하거나 더 깊은 AI 통합을 주장하려는 크립토 AI 프로젝트를 위한 인기 있는 베이스 모델로 만듭니다.
  • Mistral (Mistral AI) — 더 작은 파라미터 수에서 강한 성능으로 알려진 오픈 가중치 모델 계열로, GPU 예산이 제한된 프로젝트에 실용적입니다.

이 이름들은 크립토 AI 프로젝트 설명에 자주 등장합니다. 프로젝트가 "GPT를 사용한다"고 말할 때, 그것은 거의 항상 OpenAI API를 호출한다는 의미입니다. "DeepSeek을 파인튜닝했다"고 말할 때, 그것은 더 깊은 기술적 관여를 함의합니다 — 다만 그 주장은 여전히 검증 가능한 증거를 요구합니다.

오픈소스 대 폐쇄 소스 LLM

측면 오픈소스 / 오픈 가중치 폐쇄 소스
모델 가중치 다운로드 가능하게 공개됨 API 뒤에 숨겨짐
검사 누구나 연구, 감사, 또는 파인튜닝 가능 내부에 대한 외부 감사 불가능
커스터마이징 맞춤 데이터로 파인튜닝 가능, 로컬 실행 가능 API 파라미터(temperature, 시스템 프롬프트)로 제한
비용 구조 자체 GPU 하드웨어 또는 호스팅 필요 토큰당 지불 API 가격
예시 DeepSeek, Qwen, Mistral GPT, Claude, Gemini

크립토 AI 프로젝트에 이 구분은 중요합니다: 오픈 가중치 모델을 파인튜닝하고 트레이닝 세부사항을 공개한 프로젝트는 수정 없이 폐쇄 API를 호출하는 프로젝트보다 더 깊은 AI 깊이를 보여줍니다.

LLM이 크립토 AI에서 중요한 이유

많은 크립토 AI 프로젝트가 백서, 피치덱, 또는 제품 설명에서 LLM을 참조합니다. 주장은 매우 다양합니다:

  • "우리는 자체 LLM을 구축했다" — 상당한 컴퓨트와 전문성을 요구하는 사전 트레이닝이나 상당한 파인튜닝을 함의합니다. 이것이 가장 깊은 관여 수준입니다.
  • "우리는 DeFi를 위해 LLM을 파인튜닝했다" — 기존 베이스 모델의 도메인 특화 적응을 함의합니다. 원시 API 호출보다 신뢰할 만하지만, 세부사항이 중요합니다.
  • "우리는 LLM을 사용한다" — 종종 프로젝트 특화 프롬프트와 함께 외부 API(OpenAI나 Anthropic API 같은)를 호출하는 것을 의미합니다. 이것이 가장 얕은 AI 통합 수준입니다.

이 세 시나리오는 근본적으로 다른 AI 깊이 수준을 나타내며, DecAIHub는 증거 기반 방법론을 통해 이들을 그에 맞게 평가합니다.

API 사용 대 자체 구축

접근법 의미 AI 깊이
API 호출 프로젝트가 서드파티 LLM(예: OpenAI API)에 프롬프트를 보내고 응답을 반환 낮음 — AI는 제공자의 것
프롬프트 엔지니어링 프로젝트가 서드파티 LLM 위에 특화된 프롬프트, 체인, 또는 검색 파이프라인을 설계 낮음-중간 — 독자 로직은 존재하나 모델은 외부
파인튜닝 프로젝트가 오픈소스 베이스 모델(DeepSeek, Mistral, Qwen)을 자체 데이터셋에서 적응 중간-높음 — 프로젝트가 수정된 모델을 소유
사전 트레이닝 프로젝트가 자체 데이터와 컴퓨트로 모델을 처음부터 트레이닝 높음 — 모델의 완전한 소유권

사용자 프롬프트를 상업용 LLM에 전달하고 응답을 반환하는 API 래퍼는 온체인 트랜잭션 데이터로 DeepSeek을 파인튜닝한 프로젝트와 같지 않습니다. DecAIHub는 프로젝트 카드의 AI 컴포넌트 필드에서 이들을 구별합니다.

DecAIHub 프로젝트 카드에 나타나는 곳

DecAIHub에서 프로젝트 카드를 검토할 때, 여러 필드가 LLM 사용과 직접 관련됩니다:

  • AI 컴포넌트는 "LLM", "fine-tuned model", "prompt engineering", 또는 특정 모델 이름을 언급할 수 있습니다. 이 필드는 DecAIHub 검토자가 검증한 대로 프로젝트가 실제로 어떤 종류의 AI를 가지고 있는지 설명합니다.
  • AI 유스케이스는 LLM이 무엇에 사용되는지 설명합니다: 생성, 분류, 요약, 에이전트 추론 등. 프로젝트는 LLM을 좁은 작업(예: 의도 파싱)에 사용하거나 전체 제품의 핵심 엔진으로 사용할 수 있습니다.
  • ai_score(DecAI Fit의 일부)는 LLM 사용이 Tier-1, Tier-2, 또는 Tier-3 증거로 얼마나 잘 문서화되어 있는지를 반영합니다. LLM 사용을 주장하지만 검증 가능한 산출물을 제공하지 않는 프로젝트는 이 차원에서 낮은 점수를 받습니다.
  • AI reality 플래그(AI_0 ~ AI_4)는 검증 가능한 AI의 전반적 깊이를 나타내며, 많은 프로젝트에서 이는 그들의 LLM 통합에 의해 고정됩니다.

목표는 결코 서드파티 LLM을 사용한다고 프로젝트를 처벌하는 것이 아닙니다 — 많은 유효한 제품이 정확히 그렇게 합니다. 목표는 투명하게 API를 호출하는 프로젝트와 API 사용을 독자 AI 연구로 왜곡하는 프로젝트를 구별하는 것입니다.

LLM만으로는 증명하지 못하는 것

  • LLM API 키를 가진다는 것이 프로젝트가 "AI를 가지고 있다"는 것을 의미하지는 않습니다. 그것은 프로젝트가 다른 사람의 AI를 호출할 수 있다는 의미입니다.
  • 마케팅에서 "GPT"나 "Claude"를 언급하는 것이 독자 AI 작업을 증명하지는 않습니다. 수천 개의 애플리케이션이 같은 API를 사용합니다.
  • 파인튜닝된 모델조차 검증 가능한 산출물이 필요합니다: 트레이닝 데이터에 대한 설명, 평가 지표, 모델 버전 식별자, 그리고 배포 증거.
  • 큰 파라미터 수가 더 나은 모델을 보장하지는 않습니다. 트레이닝 품질, 데이터 큐레이션, 정렬이 원시 크기만큼이나 중요합니다.

혼동하지 마세요

  • 인퍼런스 — 트레이닝된 LLM을 실행하여 출력을 만드는 것. 인퍼런스는 LLM을 사용하는 한 단계이지 LLM 자체의 동의어가 아닙니다.
  • 트레이닝 — LLM을 구축하거나 적응시키는 과정. 트레이닝은 모델을 만들고, 인퍼런스는 그것을 사용합니다.
  • AI 에이전트 — LLM을 추론 핵심으로 사용할 수 있지만 인식, 기억, 도구 사용, 행동을 더하는 자율 시스템. LLM 자체는 에이전트가 아닙니다.
  • 자연어 처리 (NLP) — 더 넓은 컴퓨터 과학 분야. LLM은 NLP에 대한 하나의 (매우 성공적인) 접근법이지만, NLP는 키워드 추출, 규칙 기반 파싱, 통계적 분류기 같은 더 오래된 기법도 포함합니다.
  • 파운데이션 모델 (foundation model) — LLM을 포함하지만 이미지, 오디오, 영상, 또는 멀티모달 데이터로 트레이닝된 대형 모델도 아우르는 더 일반적인 용어. 모든 LLM은 파운데이션 모델이지만, 모든 파운데이션 모델이 LLM은 아닙니다.

자주 묻는 질문

LLM과 챗봇의 차이는 무엇인가요?

LLM은 모델입니다 — 텍스트를 처리하고 생성할 수 있는 트레이닝된 파라미터의 집합. 챗봇은 모델 위에 구축된 제품입니다. LLM은 엔진이고; 챗봇은 자동차입니다. 단일 LLM이 각각 고유한 프롬프트, 인터페이스, 성격을 가진 수천 개의 다른 챗봇을 구동할 수 있습니다. 반대로, 챗봇이 반드시 LLM을 사용하는 것은 아닙니다 — 오래된 챗봇은 스크립트된 규칙이나 단순한 패턴 매칭에 의존했습니다.

모든 AI 프로젝트가 LLM을 사용하나요?

아니요. 많은 크립토 AI 프로젝트는 다른 유형의 머신러닝을 사용합니다: NFT 생성을 위한 컴퓨터 비전 모델, 트레이딩 전략을 위한 강화 학습, 블록체인 분석을 위한 그래프 신경망, 또는 이상 탐지를 위한 전통적 ML. LLM은 텍스트 기반 애플리케이션에서 지배적이지만 유일한 종류의 AI는 아닙니다.

LLM을 파인튜닝한다는 것은 무슨 의미인가요?

파인튜닝은 사전 트레이닝된 LLM을 가져와 특정 작업과 관련된 더 작고 큐레이션된 데이터셋에서 트레이닝을 계속하는 것입니다. 목표는 모델을 특화시키는 것 — 예를 들어 DeFi 용어를 이해하거나, 스마트 컨트랙트를 파싱하거나, 특정 스타일로 응답을 생성하도록 가르치는 것 — 입니다. 파인튜닝은 처음부터 사전 트레이닝하는 것보다 비용 효율적이지만 여전히 기술적 역량, 적절한 데이터, 컴퓨트 자원을 요구합니다.

크립토 프로젝트가 자체 LLM을 구축했는지 API를 사용하는지 어떻게 알 수 있나요?

구체적인 증거를 찾으세요: 공개된 모델 가중치나 모델 카드, 문서화된 트레이닝 데이터, 평가 벤치마크, 그리고 파인튜닝 과정에 대한 설명. 프로젝트가 어떤 수정도 설명하지 않고 잘 알려진 모델 이름(GPT, Claude)만 참조한다면, 그것은 API를 사용하고 있을 가능성이 큽니다. DecAIHub는 이 구분을 AI 컴포넌트 필드와 증거 등급에서 포착합니다.

오픈소스 LLM이란 무엇인가요?

오픈소스(또는 오픈 가중치) LLM은 트레이닝된 파라미터가 다운로드, 연구, 수정을 위해 공개된 모델입니다. 예로는 DeepSeek, Qwen, Mistral이 있습니다. 이들은 누구나 모델을 파인튜닝하고, 배포하고, 검사할 수 있게 하여 투명성을 높이고 독립적 검증을 가능하게 합니다 — 둘 다 크립토 AI 공간에서 가치 있는 자질입니다.

LLM 크기(파라미터)는 왜 중요한가요?

더 많은 파라미터는 일반적으로 모델이 언어의 더 복잡한 패턴을 포착하게 하여, 어려운 작업에서 성능을 개선할 수 있습니다. 그러나 크기만으로는 결정적이지 않습니다. 잘 트레이닝된 작은 모델이 부실하게 트레이닝된 더 큰 모델을 능가할 수 있습니다. 가장 중요한 것은 파라미터 수, 데이터 품질, 트레이닝 방법론, 정렬 튜닝의 조합입니다.

함께 보기

외부 참고 자료

No comments to display

Back to top