Skip to main content

大規模言語モデル（LLM）とは

注：この文書は英語の原文からの自動翻訳です。

大規模言語モデル（LLM）とは

大規模言語モデル（LLM） は、人間の言語を理解し生成できるよう、膨大な量のテキストで訓練されたニューラルネットワークの一種です。数十億ページの本、記事、コード、会話を吸収した、極めて博識なアシスタントを想像してください。それは人間のように物事を「知っている」わけではありません。代わりに、どの単語やアイデアがどれに続きやすいかという統計的パターンを、首尾一貫した段落を書き、質問に答え、言語間で翻訳し、文書を要約し、さらには複数ステップの問題を推論できるほど十分に学習しています。

LLM の決定的な特性（そして限界）は、予測によって動作することです。文の冒頭を与えられると、モデルは最も確率の高い次の単語を計算し、次に、また次にと、一度に一つの トークン を計算します。トークンはおおよそ単語またはサブワードです。これらの小さな予測を何千も連鎖させることで、LLM はエッセイ、コード、詩、技術分析を生み出せます — すべてタスクごとに明示的にプログラムされることなく。よく知られた LLM には GPT、Claude、Gemini、Mistral があります。マーケティングで「AI」に言及するクリプト AI プロジェクトのほとんどは、内部で LLM を使っているか、使っていると主張しているか、サードパーティの LLM を自社のインターフェースの背後にラップしています。LLM が実際に何であるか — そして何でないか — を理解することは、これらの主張を評価するうえで不可欠です。

要約： LLM は、現代のテキストベースの AI のほとんどの背後にあるエンジンです。クリプト AI では、重要な問いは、プロジェクトが「LLM を使っている」かどうかではなく、どう使い、その上にどんな独自の価値を加えるか、です。

仕組み

LLM の構築と使用には、いくつかの異なる段階が関わります。各段階は異なるリソース、専門知識、データを必要とし — クリプト AI プロジェクトを評価するとき、それぞれが異なる AI の深さのレベルを表します。

段階 1：事前学習

事前学習は、モデルが言語の基礎を学ぶところです。このフェーズの間、LLM は数十億のトークン — 本、ウェブサイト、コードリポジトリ、科学論文、その他のテキストソースから引き出された単語とサブワード — を読みます。モデルは、系列の次のトークンを予測することにますます正確になるよう、内部パラメータ（重み）を調整します。

この段階は高価です。最先端の LLM をゼロから訓練するには、数週間または数か月にわたって稼働する数千の専用 GPU が必要になることがあり、結果として得られるモデルは数百億から数千億の パラメータ を持つかもしれません。LLM をゼロから日常的に事前学習するのは、十分なリソースを持つ AI ラボというほんの一握りの組織だけです。

段階 2：ファインチューニング

事前学習済みのモデルは強力ですが汎用的です。ファインチューニング は、特定のタスクやドメインに関連した、キュレートされた、より小さなデータセットでさらに訓練することで、モデルの振る舞いを絞り込みます。例えば、医療 LLM は臨床ノートでファインチューニングされ、DeFi 志向のモデルはスマートコントラクトのドキュメントとオンチェーンデータでファインチューニングされるかもしれません。

ファインチューニングは事前学習よりはるかに少ない計算で済みますが、それでもデータの選択、評価指標、そして破滅的忘却（モデルが特化する一方で一般的な能力を失うこと）の回避についての専門知識が必要です。

段階 3：アライメントと RLHF

現代の LLM は通常、ファインチューニングの後にアライメントのフェーズを経ます。人間のフィードバックからの強化学習（RLHF） が最も一般的なアプローチです：人間の評価者がモデルの出力をランク付けし、モデルは人間がより高く評価する応答を好むよう訓練されます。アライメントは、モデルが指示に従い、有害な要求を拒否し、もっともらしいだけのナンセンスではなく真に有用な答えを生み出すようにするものです。

段階 4：推論

推論 は本番のフェーズです — 訓練された LLM がプロンプトを受け取り、出力を生成するときです。ユーザーがチャットボットにメッセージを送るたびに、基礎となる LLM が推論を実行します：プロンプトを読み、それをパラメータの層を通して処理し、トークンごとに応答を生み出します。

推論は計算（GPU 時間）を要しますが、クエリあたりではトレーニングよりはるかに少なくて済みます。「LLM を使う」ほとんどのプロジェクトは推論を行うだけで — 多くの場合、自前のハードウェアを動かすのではなく、外部プロバイダーの API を呼び出しています。

パイプラインの一覧

段階 何が起きるか 通常誰が行うか 計算コスト
事前学習 数十億のトークンから言語を学ぶ 大手 AI ラボ 非常に高い
ファインチューニング モデルをドメインやタスクに適応させる AI ラボ、十分な資金を持つスタートアップ 中
アライメント（RLHF） モデルを安全で指示に従うものにする AI ラボ 中
推論 ユーザーのプロンプトに応答を生成する API キーまたは GPU を持つ誰でも クエリあたり低い

LLM の主要な特性

特定の LLM がどれだけ有能かを定義する、いくつかの特性があります。

  • パラメータ数 — モデル内の訓練可能な重みの数。より大きなモデルは一般により多くのニュアンスを捉えますが、訓練と実行のコストが高くなります。パラメータ数は、数十億（小さなオープンソースモデル）から一兆超（最先端モデル）まで幅があります。
  • コンテキストウィンドウ — モデルが単一のやり取りで処理できるトークンの最大数。短いコンテキストウィンドウは、モデルが長い会話の冒頭を「忘れる」ことを意味します。現代の LLM は、数千トークンから十万超までのコンテキストウィンドウを提供します。
  • アーキテクチャ — 現代の LLM のほとんどは、2017 年に導入された Transformer アーキテクチャの上に構築されています。Transformer は、入力中のすべてのトークン間の関係を重み付けする自己注意（self-attention）と呼ばれる仕組みを使い、これがテキストの長距離依存を扱えるようにしています。
  • トレーニングデータ — 事前学習に使われたデータの品質、多様性、新しさが、モデルが何を知っているかを形作ります。英語のテキストだけで訓練されたモデルは他の言語で性能が低く、ある年に知識のカットオフを持つモデルはそれ以降の出来事を知りません。

実際の業界の例

いくつかのよく知られた LLM が、この分野におけるアプローチの幅を示しています。

  • GPT（OpenAI） — API を通じて利用できる、クローズドソースのマルチモーダル LLM。多くのクリプト AI プロジェクトは、会話的または分析的な機能を製品に加えるために GPT API を呼び出します。
  • Claude（Anthropic） — 安全性とアライメントを強く重視するクローズドソースの LLM。GPT と同様、通常は API 経由でアクセスされます。
  • DeepSeek-R1（DeepSeek） — MIT ライセンスの下でリリースされたオープンウェイトの LLM。その強い推論能力とオープンな利用可能性により、ファインチューニングや、ローカルでモデルを実行したり、より深い AI 統合を主張したりしたいクリプト AI プロジェクトにとって人気のベースモデルになっています。
  • Mistral（Mistral AI） — より小さなパラメータ数で強い性能を発揮することで知られるオープンウェイトモデルのファミリーで、限られた GPU 予算のプロジェクトにとって実用的です。

これらの名前はクリプト AI のプロジェクト説明に頻繁に現れます。プロジェクトが「GPT を使う」と言うとき、それはほぼ常に OpenAI API を呼び出すことを意味します。「DeepSeek をファインチューニングした」と言うときは、より深い技術的関与を含意します — とはいえ、その主張も検証可能なエビデンスを必要とします。

オープンソース vs クローズドソースの LLM

観点 オープンソース / オープンウェイト クローズドソース
モデルの重み ダウンロード用に公開されている API の背後に隠されている
検査 誰でも研究、監査、ファインチューニングできる 内部の外部監査は不可能
カスタマイズ カスタムデータでファインチューニングでき、ローカルで実行できる API パラメータ（温度、システムプロンプト）に限定される
コスト構造 自前の GPU ハードウェアまたはホスティングが必要 トークンあたりの API 課金
例 DeepSeek, Qwen, Mistral GPT, Claude, Gemini

クリプト AI プロジェクトにとって、この区別は重要です：オープンウェイトのモデルをファインチューニングしてトレーニングの詳細を公開したプロジェクトは、修正なしにクローズドな API を呼び出すだけのプロジェクトより多くの AI の深さを実証します。

なぜ LLM がクリプト AI で重要なのか

多くのクリプト AI プロジェクトは、ホワイトペーパー、ピッチデック、製品説明で LLM に言及します。その主張は幅広く異なります。

  • 「自前の LLM を構築した」 — 相当な計算と専門知識を要する事前学習または大幅なファインチューニングを含意します。これは最も深い関与のレベルです。
  • 「DeFi のために LLM をファインチューニングした」 — 既存のベースモデルのドメイン固有の適応を含意します。生の API 呼び出しより信頼できますが、詳細が重要です。
  • 「LLM を使う」 — しばしばプロジェクト固有のプロンプトで外部 API（OpenAI や Anthropic の API など）を呼び出すことを意味します。これは AI 統合の最も浅いレベルです。

これら三つのシナリオは根本的に異なる AI の深さのレベルを表しており、DecAIHub はエビデンスベースの方法論を通じてそれらをそれに応じて評価します。

API を使う vs 自前で構築する

アプローチ 意味 AI の深さ
API 呼び出し プロジェクトがサードパーティの LLM（例：OpenAI API）にプロンプトを送り、応答を返す 低 — AI はプロバイダーのもの
プロンプトエンジニアリング プロジェクトがサードパーティの LLM の上に特化したプロンプト、チェーン、検索パイプラインを設計する 低〜中 — 独自のロジックは存在するがモデルは外部
ファインチューニング プロジェクトがオープンソースのベースモデル（DeepSeek、Mistral、Qwen）を自前のデータセットで適応させる 中〜高 — プロジェクトが修正したモデルを所有する
事前学習 プロジェクトが自前のデータと計算でモデルをゼロから訓練する 高 — モデルの完全な所有

ユーザーのプロンプトを商用の LLM に渡して応答を返す API ラッパー は、オンチェーンのトランザクションデータで DeepSeek をファインチューニングしたプロジェクトとは同じではありません。DecAIHub は、プロジェクトカードの AI component フィールドでこれらを区別します。

DecAIHub のプロジェクトカードのどこに現れるか

DecAIHub でプロジェクトカードをレビューするとき、いくつかのフィールドが LLM の使用に直接関連します。

  • AI component は、「LLM」「fine-tuned model」「prompt engineering」または特定のモデル名に言及するかもしれません。このフィールドは、DecAIHub のレビュアーによって検証された、プロジェクトが実際にどんな種類の AI を持つかを記述します。
  • AI use case は、LLM が何に使われるかを記述します：生成、分類、要約、エージェントの推論など。プロジェクトは LLM を狭いタスク（例：意図解析）に使うこともあれば、製品全体の中核エンジンとして使うこともあります。
  • ai_score（DecAI Fit の一部）は、LLM の使用が Tier-1、Tier-2、Tier-3 エビデンス でどれだけ文書化されているかを反映します。LLM の使用を主張するが検証可能なアーティファクトを提供しないプロジェクトは、この次元で低スコアになります。
  • AI reality フラグ（AI_0 から AI_4）は、検証可能な AI の全体的な深さを示し、多くのプロジェクトでそれは LLM の統合によって支えられています。

目的は、サードパーティの LLM を使うことでプロジェクトを罰することでは決してありません — 多くの正当な製品がまさにそれを行います。目的は、透明性をもって API を呼び出すプロジェクトと、API の使用を独自の AI 研究として偽るプロジェクトを区別することです。

LLM だけでは証明できないこと

  • LLM の API キーを持つことは、プロジェクトが「AI を持つ」ことを意味しません。それは、プロジェクトが他者の AI を呼び出せることを意味します。
  • マーケティングで「GPT」や「Claude」に言及することは、独自の AI 作業を証明しません。何千ものアプリケーションが同じ API を使っています。
  • ファインチューニングされたモデルでさえ、検証可能なアーティファクトが必要です：トレーニングデータの記述、評価指標、モデルのバージョン識別子、デプロイのエビデンス。
  • 大きなパラメータ数は、より良いモデルを保証しません。トレーニングの品質、データのキュレーション、アライメントは、生のサイズと少なくとも同じくらい重要です。

混同しないでください

  • 推論 — 訓練された LLM を実行して出力を生み出すこと。推論は LLM を使う一つのステップであり、LLM そのものの同義語ではありません。
  • トレーニング — LLM を構築または適応させるプロセス。トレーニングはモデルを生み出し、推論はそれを使います。
  • AI エージェント — LLM を推論の中核として使うかもしれない自律的なシステムですが、認識、記憶、ツール使用、アクションを加えます。LLM だけではエージェントではありません。
  • 自然言語処理（NLP） — コンピュータサイエンスのより広範な分野。LLM は NLP への（非常に成功した）一つのアプローチですが、NLP にはキーワード抽出、ルールベースの構文解析、統計的分類器のような古い技術も含まれます。
  • 基盤モデル — LLM を含むが、画像、音声、動画、マルチモーダルデータで訓練された大規模モデルもカバーする、より一般的な用語。すべての LLM は基盤モデルですが、すべての基盤モデルが LLM なわけではありません。

よくある質問

LLM とチャットボットの違いは何ですか？

LLM はモデル — テキストを処理し生成できる、訓練されたパラメータの集まり — です。チャットボットは、モデルの上に構築された製品です。LLM はエンジンで、チャットボットは車です。単一の LLM は、それぞれ独自のプロンプト、インターフェース、人格を持つ何千もの異なるチャットボットを駆動できます。逆に、チャットボットが必ずしも LLM を使うわけではありません — 古いチャットボットはスクリプト化されたルールや単純なパターンマッチングに依拠していました。

すべての AI プロジェクトは LLM を使っていますか？

いいえ。多くのクリプト AI プロジェクトは、他の種類の機械学習を使います：NFT 生成のためのコンピュータビジョンモデル、トレーディング戦略のための強化学習、ブロックチェーン分析のためのグラフニューラルネットワーク、異常検出のための従来の ML など。LLM はテキストベースのアプリケーションで支配的ですが、唯一の種類の AI ではありません。

LLM をファインチューニングするとはどういう意味ですか？

ファインチューニングは、事前学習済みの LLM を取り、特定のタスクに関連した、より小さくキュレートされたデータセットでそのトレーニングを継続します。目的はモデルを特化させることです — 例えば、DeFi の用語を理解させたり、スマートコントラクトを解析させたり、特定のスタイルで応答を生成させたりします。ファインチューニングはゼロからの事前学習より費用対効果が高いですが、それでも技術的スキル、適切なデータ、計算リソースが必要です。

クリプトプロジェクトが自前の LLM を構築したのか API を使ったのかをどう見分けられますか？

具体的なエビデンスを探してください：公開されたモデルの重みやモデルカード、文書化されたトレーニングデータ、評価ベンチマーク、ファインチューニングプロセスの記述。プロジェクトが、修正を一切記述せずによく知られたモデル名（GPT、Claude）に言及するだけなら、おそらく API を使っています。DecAIHub は、この区別を AI component フィールドと エビデンスの Tier で捉えます。

オープンソースの LLM とは何ですか？

オープンソース（またはオープンウェイト）の LLM は、訓練されたパラメータがダウンロード、研究、修正のために公開されているモデルです。例には DeepSeek、Qwen、Mistral があります。誰でもモデルをファインチューニング、デプロイ、検査でき、透明性を高め、独立した検証を可能にします — どちらもクリプト AI 空間で価値ある性質です。

なぜ LLM のサイズ（パラメータ）が重要なのですか？

より多くのパラメータは、一般にモデルが言語のより複雑なパターンを捉えられるようにし、難しいタスクでの性能を向上させうるからです。しかし、サイズだけでは決定的ではありません。よく訓練された小さなモデルは、不十分に訓練された大きなモデルを上回ることがあります。最も重要なのは、パラメータ数、データの品質、トレーニングの方法論、アライメントの調整の組み合わせです。

関連ページ

外部リンク

No comments to display

Back to top