Skip to main content

Çıkarım (inference) nedir

Not: Bu belge orijinal İngilizce versiyonun otomatik bir çevirisidir.

Çıkarım (inference) nedir

Çıkarım (inference), bir sonuç elde etmek için eğitilmiş bir AI modelini yeni veriler üzerinde çalıştırma sürecidir. Bir model bir görüntüyü sınıflandırdığında, bir paragraf metin ürettiğinde, bir risk puanı tahmin ettiğinde veya bir eylem önerdiğinde çıkarım yapıyordur. Eğitim (training) modelin nasıl öğrendiğiyse, çıkarım nasıl çalıştığıdır.

Faydalı bir benzetme: eğitim, sınava çalışmaktır — ders kitapları okumak, alıştırma problemleri çözmek, kalıpları özümsemek. Çıkarım, sınava girmektir — öğrenilenleri gerçek koşullar altında yeni sorulara uygulamak. Bir AI sistemi üretimde her çıktı ürettiğinde, bu çıkarımdır.

Kısaca: eğitim sınava çalışmaktır; çıkarım sınava girmektir. Bir AI sistemi üretimde her çıktı ürettiğinde, bu çıkarımdır.

Çıkarım adım adım nasıl çalışır

Çıkarım, son kullanıcıya anlık görünse de ("bir soru yazdım ve bir cevap aldım"), bir model her çıktı ürettiğinde perde arkasında somut bir hat çalışır.

Girdi

Her şey girdi verisiyle başlar — bir metin istemi, bir görüntü, bir sayı kümesi, bir blok zinciri işlem karması, bir ses klibi veya modelin işlemek üzere tasarlandığı herhangi bir yapılandırılmış ya da yapılandırılmamış veri.

Ön işleme

Ham girdi nadiren modele doğrudan verilir. Bir ön işleme adımı, girdiyi modelin beklediği biçime dönüştürür. Bir metin modeli için bu, token'laştırma anlamına gelir — metni token'lara (alt kelime birimlerine) bölmek ve sayısal kimliklere dönüştürmek. Bir görüntü modeli için bu; yeniden boyutlandırma, piksel değerlerini normalleştirme ve bazen görüntüyü zenginleştirme anlamına gelir. Ön işleme, eğitim sırasında kullanılan adımlarla tam olarak eşleşmelidir; aksi hâlde model, hiçbir zaman işlemek üzere eğitilmediği bir biçimde veri alır.

İleri geçiş (forward pass)

Ön işlenmiş girdi, modelin mimarisinden — katman katman, öğrenilmiş tüm ağırlıklar ve aktivasyon fonksiyonları boyunca — geçirilir. Buna ileri geçiş (forward pass) denir. Bu adım sırasında model, eğitimde öğrendiği kalıpları yeni girdiye uygular. Hiçbir ağırlık güncellenmez; hiçbir öğrenme gerçekleşmez. Model, mevcut bilgisini kullanarak girdiden bir çıktı hesaplar yalnızca.

Bir büyük dil modeli için ileri geçiş, olası sonraki token'lar üzerinde bir olasılık dağılımı üretir. Bir sınıflandırıcı için her sınıfa ilişkin olasılıklar üretir. Üretken bir görüntü modeli için adım adım gürültüden arındırılmış bir görüntü üretir.

Çıktı

İleri geçiş bir ham çıktı üretir — çoğunlukla bir sayı vektörü, olasılıklar veya bir token dizisi. Bu ham çıktının faydalı hale gelmesi için yorumlanması gerekir.

Son işleme

Son işleme, ham çıktıyı insan tarafından okunabilir veya sistem tarafından kullanılabilir bir sonuca dönüştürür. Bir LLM için bu, token kimliklerini yeniden metne çözmek anlamına gelir. Bir sınıflandırıcı için olasılık puanlarını sınıf etiketlerine ("spam" veya "spam değil") eşlemek anlamına gelir. Bir puanlama modeli için ham bir değeri uygulamanın beklediği puan aralığına dönüştürmek anlamına gelir.

Özetle:

Adım Ne olur Örnek (metin modeli)
Girdi Ham veri gelir Kullanıcı bir soru yazar
Ön işleme Veri model biçimine dönüştürülür Metin sayısal kimliklere token'laştırılır
İleri geçiş Model öğrenilmiş ağırlıkları kullanarak girdiden çıktı hesaplar Sözcük dağarcığı üzerinde olasılık dağılımı
Ham çıktı Sayısal sonuç üretilir Token olasılıkları
Son işleme Çıktı kullanılabilir biçime dönüştürülür Token kimlikleri yeniden metne çözülür

Çıkarım türleri

Tüm çıkarımlar aynı değildir. Farklı dağıtım senaryoları, farklı teknik gereksinimler ve ödünleşimler yaratır.

Gerçek zamanlı ve toplu çıkarım karşılaştırması

Boyut Gerçek zamanlı çıkarım Toplu çıkarım
Ne zaman çalışır İstek başına, talep üzerine Bir programa göre veya bir yığın biriktiğinde
Gecikme gereksinimi Düşük (milisaniyelerden saniyelere) Esnek (dakikalar ile saatler kabul edilebilir)
Kullanım senaryosu Sohbet botları, canlı puanlama, etkileşimli ajanlar Rapor üretimi, toplu sınıflandırma, periyodik analitik
Maliyet profili İstek başına daha yüksek (donanım her an hazır olmalı) Öğe başına daha düşük (donanım yoğun aralıklarla verimli kullanılır)

Gerçek zamanlı çıkarım, son kullanıcıların tipik olarak deneyimlediği şeydir — bir sorgu gönderir ve hemen bir cevap alırlar. Toplu çıkarım, bir modelin binlerce veri noktasını aynı anda işlediği arka uç hatlarında yaygındır (ör. dolandırıcılık riski için son bir saatteki tüm işlemleri puanlamak).

Uç (edge) ve bulut çıkarımı karşılaştırması

  • Bulut çıkarımı, bir veri merkezindeki merkezi sunucularda (veya sunucu kümelerinde) çalışır. Güçlü donanım (üst düzey GPU'lar, büyük bellek) sunar ancak ağ gecikmesi ve merkezi bir sağlayıcıya bağımlılık getirir.
  • Uç çıkarımı, yerel cihazlarda çalışır — akıllı telefonlar, IoT sensörleri, gömülü donanım. Gecikmeyi azaltır ve veriyi cihazda tutar, ancak cihazın hesaplama gücü ve belleğiyle sınırlıdır.

Birçok üretim sistemi ikisini birleştirir: hafif modeller hızlı ilk yanıtlar için uçta çalışırken, karmaşık sorgular bulut tabanlı modellere iletilir.

Zincir üstü ve zincir dışı çıkarım karşılaştırması

Bu ayrım kripto AI'ya özgüdür ve DecAIHub'ın projeleri değerlendirme biçiminin merkezindedir:

  • Zincir dışı çıkarım — model geleneksel sunucularda veya GPU kümelerinde çalışır. Sonuçlar daha sonra bir blok zincirine gönderilebilir veya gönderilmeyebilir. Büyük modelleri doğrudan bir blok zincirinde çalıştırmak hesaplama açısından pratik olmadığından, bu kripto AI projelerinde en yaygın kurulumdur.
  • Zincir üstü çıkarım — model (veya hesaplamasının doğrulanabilir bir kanıtı) blok zincirinin yürütme ortamında çalışır. Önemsiz olmayan modeller için gerçek zincir üstü çıkarım, akıllı sözleşme ortamlarının hesaplama sınırlamaları nedeniyle son derece nadirdir. Zincir üstü çıkarım iddia eden projeler tipik olarak şu yaklaşımlardan birini kullanır: bir akıllı sözleşme içinde çok küçük bir model çalıştırmak, çıkarımın zincir dışında doğru yapıldığına dair kriptografik bir kanıt (zkML gibi) yayımlamak veya zincir dışı çıkarım sonuçlarının tasdik edilip zincir üstünde kaydedildiği bir oracle benzeri mekanizma kullanmak.

Zincir üstü ile zincir dışı çıkarım ayrımı, DecAI Fit içindeki Onchain necessity ekseniyle doğrudan ilgilidir.

Çıkarım kripto AI'da neden önemlidir

Bir proje yapay zekâ kullandığını iddia ediyorsa, çıkarım bir yerlerde gerçekleşiyor olmalıdır. Eğitilmiş ama hiç çıkarım çalıştırmayan bir model, çıktı üretmez ve kullanıcılara değer sunmaz. Çıkarım, AI'nın bir kavram olmaktan çıkıp bir ürün olmaya başladığı noktadır.

DecAIHub proje kartlarında AI component alanı sıklıkla çıkarımla ilgili mekanizmalardan söz eder: çıkarım motorları, merkeziyetsiz çıkarım, LLM çıkarım uç noktaları, model sunumu. Bunlar, bir modelin yalnızca iddia edilmediğinin — fiilen kullanıldığının — somut göstergeleridir.

Maliyet, hız ve hesaplama bağlantısı

Çıkarım ücretsiz değildir. Bir model çalıştırmak hesaplama kaynakları gerektirir — tipik olarak GPU'lar veya TPU'lar ve özel ASIC'ler gibi uzmanlaşmış hızlandırıcılar. Çıkarımın maliyeti birkaç etkene bağlıdır:

Etken Maliyet ve hıza etkisi
Model boyutu (parametre sayısı) Daha büyük modeller istek başına daha fazla bellek ve hesaplama gerektirir
Girdi uzunluğu Daha uzun girdiler (ör. uzun metin istemleri) işleme süresini artırır
Çıktı uzunluğu Otoregresif modellerde (LLM'ler) her çıktı token'ı bir ileri geçiş gerektirir
Yığın boyutu Birden çok isteği birlikte işlemek verimi artırabilir ancak gecikme ekler
Donanım Daha güçlü GPU'lar süreyi kısaltır ama maliyeti artırır
Niceleme (quantization) Sayısal hassasiyeti düşürmek (ör. 32 bitten 8 bite) bir miktar doğruluk pahasına bellek ve hesaplamayı azaltır

Projeler çıkarımı birkaç teknikle optimize eder:

  • Niceleme — daha az bellek ve hesaplama kullanmak için ağırlıkların sayısal hassasiyetini düşürmek.
  • Damıtma (distillation) — daha büyük bir "öğretmen" modeli taklit etmesi için daha küçük bir "öğrenci" model eğitmek; kabul edilebilir kalite kaybıyla daha hızlı bir model üretmek.
  • Yığınlama (batching) — birden çok isteği eşzamanlı işlemek ve hesaplama yükünü paylaştırmak için gruplandırmak.
  • Önbellekleme — tekrarlanan veya benzer sorgular için sonuçları depolamak ve yeniden kullanmak.
  • Donanım seçimi — iş yükü için doğru GPU, TPU veya hızlandırıcıyı seçmek.

Çıkarımı çalıştıran hesaplama altyapısı, kripto AI'da önemli bir alandır. Birçok proje, AI/Compute veya AI/Inference kategorilerine girerek özellikle çıkarım iş yüklerine hizmet etmek için GPU ağları kurar veya koordine eder.

Merkeziyetsiz çıkarım

Geleneksel AI'da çıkarım, tek bir şirketin kontrolündeki merkezi sunucularda çalışır. Merkeziyetsiz çıkarım, model sunumunu bağımsız sağlayıcılardan oluşan bir ağa dağıtır. Bu, kripto AI projelerinin AI/Inference kategorisindeki temel desendir.

Merkeziyetsiz çıkarım, merkezi sistemlerde bulunmayan bir dizi zorluk getirir:

  • Çıktı tutarlılığı — farklı sağlayıcılar aynı girdi için özdeş (veya yeterince benzer) çıktılar üretmelidir. Donanım farklılıkları, yazılım sürümleri ve sayısal hassasiyet sapmaya neden olabilir.
  • Doğrulama — doğru modelin gerçekten kullanıldığını, girdinin kurcalanmadığını ve çıktının dürüstçe hesaplandığını nasıl kanıtlarsınız? Yaklaşımlar arasında çok sağlayıcılı konsensüs (aynı sorguyu birden çok düğümde çalıştırıp sonuçları karşılaştırmak), donanım düzeyinde garantiler sağlayan güvenilir yürütme ortamları (TEE) ve model ağırlıklarını veya girdi verisini ifşa etmeden doğru hesaplamayı kanıtlayan sıfır bilgi kanıtları (zkML) yer alır.
  • Gecikme — istekleri dağıtık sağlayıcılara yönlendirmek, merkezi sunuculara kıyasla ağ yükü ekler.
  • Ödeme koordinasyonu — sağlayıcıların adil biçimde ödüllendirilmesi gerekir; bu da çoğunlukla doğrulanmış çıkarım işine bağlı zincir üstü ödeme mekanizmalarını içerir.

Bu mekanizmalar AI component olarak çıkarım (inference) sayfasında ayrıntılı olarak açıklanmıştır.

DecAIHub proje kartlarında nerede görünür

Çıkarım, bir DecAIHub proje kartının birden çok bölümünde ortaya çıkar:

  • AI component — "inference", "model serving", "LLM inference" veya "decentralized inference" gibi çıkarımla ilgili değerler, projenin temel AI işlevinin modelleri üretimde çalıştırmayı içerdiğini gösterir.
  • Kategori — AI/Inference kategorisindeki projeler, özellikle çıkarım altyapısı veya hizmetleri sağlamaya odaklanır.
  • Kanıt tablosu — çıkarım için Tier-1 kanıtı; herkese açık API uç noktalarını, çıkarım benchmark'larını, gecikme ölçümlerini ve doğrulanabilir hesaplama günlüklerini içerir.
  • ai_score — yayımlanmış kanıtla çalışan çıkarım gösteren bir proje, çalıştığını göstermeden yalnızca bir model tanımlayan bir projeden daha yüksek ai_score alır.

Bir proje bir modele sahip olduğunu iddia edebilir; ancak çıkarımın üretimde gerçekleştiğine dair kanıt yoksa, model son kullanıcılara hiçbir değer sağlamaz.

Çıkarım tek başına neyi kanıtlamaz

  • Üçüncü taraf bir model üzerinde API aracılığıyla çıkarım çalıştırmak (ör. GPT veya Claude'u çağırmak) teknik olarak çıkarımdır ancak tescilli AI yeteneğini göstermez. Bkz. API wrapper nedir.
  • Çıkarım bir modelin çalıştığını kanıtlar — modelin yüksek kaliteli veya göreve uygun olduğunu kanıtlamaz. Kalite, benchmark'lar ve metrikler gerektirir.
  • Çıkarım, hattın işlemesi için bir token'ın gerekli olduğunu veya projenin zincir üstünde olması gerektiğini kanıtlamaz. Bunlar DecAI Fit içinde ayrı eksenlerdir.
  • Yayımlanmış benchmark'lar veya metodoloji olmadan hız iddiaları doğrulanamaz. "En hızlı çıkarım" iddiası, yeniden üretilebilir kanıt gerektirir.
  • Bir çıkarım uç noktasının varlığı, arkasındaki modelin açık kaynaklı bir modelin barındırılan bir kopyası olmak yerine proje tarafından geliştirildiğini kanıtlamaz.

Destekleyici eserler için her zaman kanıt tablosunu ve Tier-1/2/3 kanıtını kontrol edin.

Karıştırmayın

  • Eğitim (training) modeli üretir. Çıkarım onu kullanır. Bunlar AI yaşam döngüsünün ardışık aşamalarıdır.
  • AI component olarak çıkarım (inference), çıkarımın özellikle DecAIHub proje kartlarında nasıl göründüğünü açıklar. Bu sayfa kavramın kendisini açıklar.
  • AI/Inference kategorisi, çıkarım altyapısına odaklanan projeleri sınıflandırır. Çıkarım kavramı, kategorisinden bağımsız olarak model çalıştıran her proje için geçerlidir.
  • Hesaplama (compute) donanımı sağlar. Çıkarım, bu donanımda çalışan iş yüküdür. Bir hesaplama ağı hem eğitim hem çıkarım iş yüklerine hizmet edebilir.
  • AI modeli eserin kendisidir (eğitilmiş ağırlıklar). Çıkarım, bu eseri çıktı üretmek için kullanma sürecidir.

Sık sorulan sorular

Eğitim ile çıkarım arasındaki fark nedir?

Eğitim, bir modeli veriyle karşılaştırıp hataları en aza indirmek için ağırlıklarını ayarlayarak öğretme sürecidir. Hesaplama açısından pahalıdır ve tipik olarak bir kez (veya yeniden eğitim için periyodik olarak) gerçekleşir. Çıkarım, eğitilmiş modeli yeni veriler üzerinde çıktı üretmek için kullanma sürecidir. Bir kullanıcı modelle her etkileşime girdiğinde gerçekleşir. Eğitim modeli yaratır; çıkarım onu kullanır.

Çıkarım hızı neden önemlidir?

Hız, kullanıcı deneyimini ve işletme maliyetini belirler. Yanıt vermesi 30 saniye süren bir sohbet botu pratikte kullanılamaz. Bir işlemi puanlaması dakikalar süren bir dolandırıcılık tespit sistemi, harekete geçme penceresini kaçırır. Daha hızlı çıkarım ayrıca istek başına daha düşük hesaplama maliyeti anlamına gelir; bu da bir hizmetin ekonomik uygulanabilirliğini doğrudan etkiler — özellikle donanım maliyetini sağlayıcıların üstlendiği merkeziyetsiz ağlarda.

Merkeziyetsiz çıkarım nedir?

Merkeziyetsiz çıkarım, model sunumunu tek bir şirketin sunucularına dayanmak yerine bağımsız hesaplama sağlayıcılarından oluşan bir ağa dağıtır. Kilit zorluklar; çıktı tutarlılığını sağlamak, doğru modelin gerçekten kullanıldığını doğrulamak, gecikmeyi yönetmek ve ödemeleri koordine etmektir. AI/Inference kategorisindeki kripto AI projeleri, çoğunlukla tam da bu amaç için altyapı kurar.

Çıkarımın gerçekten gerçekleştiğini nasıl doğrulayabilirsiniz?

Tier-1 kanıtı arayın: test edilebilen herkese açık API uç noktaları, çıkarım gecikme benchmark'ları, hesaplama günlükleri, çıkarım isteklerinin ve sonuçlarının zincir üstü kayıtları veya doğrulanabilir kanıtlar (TEE tasdikleri veya zkML kanıtları gibi). Bu eserlerin hiçbiri olmadan "powered by AI" gibi pazarlama iddiaları, gerçek çıkarımın kanıtını oluşturmaz.

Çıkarım çalıştırmanın maliyeti nedir?

Maliyet; model boyutuna, girdi/çıktı uzunluğuna, donanıma ve optimizasyon tekniklerine bağlıdır. Büyük bir dil modelinde tek bir sorgu çalıştırmak, sağlayıcıya ve model boyutuna bağlı olarak bir kuruşun kesirlerinden birkaç kuruşa kadar mal olabilir. Merkeziyetsiz çıkarım ağlarında maliyetler tipik olarak sorgu başına veya hesaplama birimi başına ödenir; çoğunlukla ağın yerel token'ı veya bir stablecoin kullanılır. Çıkarımın ekonomisi, bir projenin AI hattının ölçekte sürdürülebilir olup olmadığında kilit bir etkendir.

Ayrıca bakınız

Dış kaynaklar

No comments to display

Back to top