AI/Training
注:この文書は英語の原文からの自動翻訳です。
AI/Training
AI/トレーニングは、AI モデルの構築 に焦点を当てたプロジェクトをまとめます — データとコンピューティングが組み合わさって、学習されたパターンを持つモデルを生み出す、AI ライフサイクルの作成段階です。推論がトレーニング済みのモデルを使う行為であるならば、トレーニング はそれを作る行為です。
DecAIHub レジストリでは、AI/トレーニングは AI/コンピューティングや AI/エージェントよりも一般的ではありません。これはタスクの難しさを反映しています。有用なモデルをトレーニングするには、大規模なデータセット、相当なコンピューティング、専門的な知識、厳密な評価が必要です。「AI をトレーニングする」と主張するのは簡単ですが、検証可能で再現可能なトレーニング結果を示すのは困難です。
要約: AI/トレーニングは、構造化された学習プロセスを通じて AI モデルを構築、ファインチューニング、または改善するプロジェクトをカバーします。
それが意味すること
トレーニング とは、データセットをモデルアーキテクチャに供給し、モデルがパターンを認識し、予測を行い、または出力を生成することを学習するまで、モデルのパラメータを調整するプロセスです。このプロセスは数時間から数週間かかることがあり、相当な計算資源を必要とします。
クリプト AI では、トレーニングに焦点を当てたプロジェクトは、このプロセスの一部を分散化しようと試みます。複数の参加者がコンピューティングとデータを提供する分散型トレーニングネットワークを構築するものもあります。事前学習済みモデルを特定のタスク向けにカスタマイズするファインチューニングサービスを提供するものもあります。より小さなサブセットは、生データを中央集約せずに複数のノードにわたってトレーニングが行われる 連合学習(federated learning) に取り組んでいます。
トレーニングを検証可能にするのは、具体的な成果物の存在です:モデルが時間をかけてどう改善したかを示すトレーニングログ、文書化された変更を伴うモデルのバージョン、モデルが何から学習したかを規定するデータセットの説明、モデル品質を測定するベンチマーク結果、そして他者が検証できる再現可能な実験。
AI/トレーニングプロジェクトで見られる典型的な AI component には、分散型トレーニングのオーケストレーター、連合学習フレームワーク、ファインチューニングサービス、AutoML システム、トレーニングパイプライン、そしてデータからトレーニング、デプロイまでの系譜を追跡するモデルレジストリが含まれます。
トレーニングはリソース集約的でリモートでの検証が難しいため、AI/トレーニングプロジェクトは特有の検証の課題を抱えます:有用なトレーニングが、シミュレートされたり簡単に複製されたりするのではなく、分散型ネットワーク上で実際に行われたことをどう証明するか、という課題です。
カテゴリを比較する読者は、トレーニング がデプロイの上流にあることを覚えておくべきです:プロジェクトはトレーニングがうまくできても、製品化で失敗することがあり、逆に強力な製品の物語は、モデルが説明どおりにトレーニングされたというエビデンスの代わりにはなりません。
なぜトレーニングは分散化が難しいのか
中央集権的なラボは、データ、GPU、監視を一箇所に集約できます。分散型トレーニングは、異なるハードウェア、インセンティブ、開示レベルを持つかもしれない参加者間で、信頼、タイミング、フォールトトレランスを調整しなければなりません。だからこそ多くのプロトコルは、トレーニングがネットワーク全体でどう実行されるかを説明する際に、生のコンピューティングだけでなく、オーケストレーション、チェックポイント、アテステーション を強調します。
レジストリの観点からは、同じラベルが非常に異なる深さの作業をカバーし得ます:完全なカスタム事前学習の取り組み、オープンな重みに対する真剣なファインチューニングプログラム、または主にサードパーティ API をラップする薄いワークフローなどです。カテゴリは 意図 を伝え、カードとエビデンスは 深さ を伝えます。
一般的なサブ組み合わせ
DecAIHub は複合カテゴリを使います。以下は AI/トレーニング内で最も頻繁な組み合わせです。
| サブ組み合わせ | それが意味すること |
|---|---|
| AI/Training | Infra | トレーニングインフラ — モデルのトレーニングを大規模にオーケストレーションするためのプラットフォームとツール。 |
| AI/Compute | AI/Training | コンピューティングとトレーニングの組み合わせ — GPU リソースを供給し、かつトレーニングワークロードに特化するプロジェクト(例:Bittensor)。 |
| AI/Data | AI/Training | Infra | フルパイプラインのプロジェクト — データソーシング、モデルのトレーニング、インフラを単一のプロトコルに組み合わせたもの。 |
| AI/Training | AI/Inference | モデルの構築と本番での提供の両方をカバーするプロジェクト。 |
プロジェクトカードで何を見るべきか
DecAIHub で AI/トレーニングのカードを読むときは、以下に注目してください。
- AI component — カードは具体的な AI component(分散型トレーニング、連合学習、ファインチューニング、AutoML、トレーニング component)を列挙しているか、それとも漠然とした「我々は AI をトレーニングする」という主張だけか?
- トレーニングの成果物 — トレーニングログ、モデルのバージョン履歴、データセットのドキュメント、または公開されたベンチマーク結果といった Tier-1 の成果物はあるか?
- モデルの品質 — プロジェクトは生み出すモデルのベンチマークや品質指標を示しているか?その結果を既知のベースラインと比較できるか?
- AI reality スコア(
ai_score) — プロジェクトは検証可能なトレーニングの成果を示しているか、それとも単にモデルをトレーニングすると主張するだけか?AI realityを参照してください。 - Onchain necessity(
onchain_score) — ブロックチェーンはトレーニングの調整、インセンティブの分配、またはモデルの検証で役割を果たしているか、それともトークンの発行に限定されているか?
このカテゴリだけでは証明できないこと
AI/トレーニングとラベル付けされたプロジェクトは、そのポジショニングと利用可能な成果物に基づいて、トレーニングに焦点を当てているものとして 分類 されています。ラベルだけでは以下を確認できません。
- トレーニングされたモデルが有用、正確、または確立された代替物と競合できること;
- モデルが、公開されている重みの些末なファインチューニングではなく、専有のものであること;
- トレーニングプロセスが、単一のクラスタ上で実行されるのではなく、真に分散化されていること;
- トレーニングデータセットが高品質で、倫理的に調達され、適切に文書化されていること;
- トレーニングプロセスが機能するためにトークンが必要であること。
常にプロジェクトカードの完全な DecAI Fit スコアとエビデンスブロックを確認してください。
混同しないでください
- AI/コンピューティング — 生の計算資源を提供します。トレーニングはコンピューティングを必要としますが、ハードウェアの供給ではなくモデルの構築に焦点を当てた別個の活動です。AI/コンピューティングを参照してください。
- AI/推論 — トレーニング済みのモデルを本番で実行します。推論はトレーニング完了後に起こることです。AI/推論を参照してください。
- AI/データ — データを収集し準備します。トレーニングはデータを消費しますが、これらのカテゴリは異なる関心事(モデルの構築 vs データセットの供給)に対処します。AI/データを参照してください。
- API 経由のファインチューニング — 最小限のデータでサードパーティのモデルをファインチューニングするために API を呼び出すことは、意味のあるトレーニングを構成しないかもしれません。この区別は、カスタマイズの深さと、プロジェクトがモデル品質の改善を示すかどうかに依存します。
よくある質問
カード上で AI/トレーニングは AI/コンピューティングとどう違いますか?
AI/コンピューティング は、多くのワークロードのための ハードウェア や 計算能力 の供給を強調します。AI/トレーニング は、学習ループ、データセット、評価を通じた モデルの構築または適応 を強調します。プロジェクトは両方を行うことができます。複合ラベルがその重なりを表します。
連合学習は常にデータがユーザーのデバイスから決して出ないことを意味しますか?
必ずしもそうではありません。連合のセットアップはさまざまです:生データをローカルに保ち勾配や更新のみを共有するものもあれば、ハイブリッドな信頼モデルを使うものもあります。レジストリのカテゴリは アプローチ を示します。プライバシーとデータ処理の主張は、ドキュメントとエビデンスに照らして確認する必要があります。
プロジェクトがベンチマークの数値を公開していれば、それで十分ですか?
ベンチマークは役立ちますが、再現可能な 条件(データ分割、モデルのバージョン、トレーニング予算)に結びついているべきです。何が強力な裏付けとして数えられるかについては、ベンチマークと品質指標と Tier-1 エビデンスを参照してください。
外部リンク
- PyTorch — Training with PyTorch — 多くのプロジェクトの説明に現れる トレーニングループ、チェックポイント、最適化の概念についての、広く使われ、ベンダー中立的な入門。
- Google Machine Learning Crash Course — Training and test sets — 汎化、データ分割、そしてなぜトレーニング指標だけでは不十分なのかについての、短い概念的な基礎。
No comments to display
No comments to display