Apakah itu inferens

Nota: Dokumen ini adalah terjemahan automatik daripada versi asal bahasa Inggeris.

Apakah itu inferens

Inferens ialah proses menjalankan model AI terlatih pada data baharu untuk mendapatkan hasil. Apabila model mengklasifikasikan imej, menjana perenggan teks, meramalkan skor risiko, atau mengesyorkan tindakan, ia sedang melakukan inferens. Jika latihan ialah cara model belajar, inferens ialah cara ia bekerja.

Analogi yang berguna: latihan ialah belajar untuk peperiksaan -- membaca buku teks, menyelesaikan soalan latihan, menyerap corak. Inferens ialah menduduki peperiksaan -- menerapkan apa yang dipelajari kepada soalan baharu dalam keadaan sebenar. Setiap kali sistem AI menghasilkan output dalam produksi, itulah inferens.

Ringkasnya: latihan ialah belajar untuk peperiksaan; inferens ialah menduduki peperiksaan. Setiap kali sistem AI menghasilkan output dalam produksi, itulah inferens.

Cara inferens berfungsi langkah demi langkah

Walaupun inferens kelihatan serta-merta kepada pengguna akhir ("Saya menaip soalan dan mendapat jawapan"), satu saluran paip konkrit berjalan di belakang tabir setiap kali model menghasilkan output.

Input

Segalanya bermula dengan data input -- prom teks, imej, satu set nombor, hash transaksi blockchain, klip audio, atau apa-apa data berstruktur atau tidak berstruktur lain yang direka untuk diproses oleh model.

Prapemprosesan

Input mentah jarang disuap terus kepada model. Langkah prapemprosesan mengubahnya kepada format yang dijangkakan oleh model. Bagi model teks, ini bermakna tokenisasi -- memecahkan teks kepada token (unit sub-perkataan) dan menukarnya kepada ID berangka. Bagi model imej, ini bermakna mengubah saiz, menormalkan nilai piksel, dan kadangkala mengaugmentasi imej. Prapemprosesan mesti sepadan tepat dengan langkah yang digunakan semasa latihan; jika tidak, model menerima data dalam format yang tidak pernah dilatih untuk dikendalikannya.

Laluan hadapan

Input yang telah diprapemproses dilalukan melalui seni bina model -- lapisan demi lapisan, melalui semua pemberat yang dipelajari dan fungsi pengaktifan. Ini dipanggil laluan hadapan (forward pass). Semasa langkah ini, model menerapkan corak yang dipelajarinya semasa latihan kepada input baharu. Tiada pemberat dikemas kini; tiada pembelajaran berlaku. Model hanya mengira output daripada input menggunakan pengetahuan sedia adanya.

Bagi model bahasa besar, laluan hadapan menghasilkan taburan kebarangkalian ke atas token seterusnya yang mungkin. Bagi pengklasifikasi, ia menghasilkan kebarangkalian bagi setiap kelas. Bagi model imej generatif, ia menghasilkan imej yang dinyahhingar langkah demi langkah.

Output

Laluan hadapan menghasilkan output mentah -- selalunya vektor nombor, kebarangkalian, atau jujukan token. Output mentah ini perlu ditafsir untuk menjadi berguna.

Pascapemprosesan

Pascapemprosesan menukar output mentah kepada hasil yang boleh dibaca manusia atau boleh digunakan sistem. Bagi LLM, ini bermakna menyahkod ID token kembali kepada teks. Bagi pengklasifikasi, ia bermakna memetakan skor kebarangkalian kepada label kelas ("spam" vs "bukan spam"). Bagi model penskoran, ia bermakna menukar nilai mentah kepada julat skor yang dijangkakan oleh aplikasi.

Secara ringkas:

Langkah	Apa yang berlaku	Contoh (model teks)
Input	Data mentah tiba	Pengguna menaip soalan
Prapemprosesan	Data diubah kepada format model	Teks ditokenkan kepada ID berangka
Laluan hadapan	Model mengira output daripada input menggunakan pemberat yang dipelajari	Taburan kebarangkalian ke atas perbendaharaan kata
Output mentah	Hasil berangka dihasilkan	Kebarangkalian token
Pascapemprosesan	Output ditukar kepada bentuk boleh guna	ID token dinyahkod kembali kepada teks

Jenis-jenis inferens

Tidak semua inferens sama. Senario penggunaan yang berbeza mewujudkan keperluan teknikal dan pertukaran yang berbeza.

Inferens masa nyata vs kelompok

Dimensi	Inferens masa nyata	Inferens kelompok
Bila ia berjalan	Atas permintaan, per permintaan	Mengikut jadual atau apabila kelompok terkumpul
Keperluan kependaman	Rendah (milisaat hingga saat)	Fleksibel (minit hingga jam boleh diterima)
Kes penggunaan	Bot sembang, penskoran langsung, ejen interaktif	Penjanaan laporan, klasifikasi pukal, analitik berkala
Profil kos	Lebih tinggi per permintaan (perkakasan mesti sentiasa sedia)	Lebih rendah per item (perkakasan digunakan dengan cekap secara ledakan)

Inferens masa nyata ialah apa yang biasanya dialami pengguna akhir -- mereka menghantar pertanyaan dan menerima jawapan serta-merta. Inferens kelompok lazim dalam saluran paip bahagian belakang di mana model memproses ribuan titik data sekaligus (cth., menskor semua transaksi dari jam yang lalu untuk risiko penipuan).

Inferens pinggir vs awan

Inferens awan berjalan pada pelayan terpusat (atau kluster pelayan) di pusat data. Ia menawarkan perkakasan berkuasa (GPU mewah, memori besar) tetapi memperkenalkan kependaman rangkaian dan kebergantungan pada penyedia pusat.
Inferens pinggir berjalan pada peranti tempatan -- telefon pintar, penderia IoT, perkakasan terbenam. Ia mengurangkan kependaman dan mengekalkan data pada peranti tetapi dihadkan oleh kuasa pengkomputeran dan memori peranti.

Banyak sistem produksi menggabungkan kedua-duanya: model ringan berjalan di pinggir untuk respons awal yang pantas, sementara pertanyaan kompleks dimajukan kepada model berasaskan awan.

Inferens di atas rantaian vs luar rantaian

Perbezaan ini khusus untuk AI kripto dan menjadi teras cara DecAIHub menilai projek:

Inferens luar rantaian -- model berjalan pada pelayan tradisional atau kluster GPU. Hasilnya mungkin atau mungkin tidak diserahkan kepada blockchain selepas itu. Ini persediaan paling biasa dalam projek AI kripto kerana menjalankan model besar terus pada blockchain tidak praktikal dari segi pengkomputeran.
Inferens di atas rantaian -- model (atau bukti boleh disahkan bagi pengiraannya) dilaksanakan dalam persekitaran pelaksanaan blockchain. Inferens di atas rantaian sebenar untuk model bukan remeh amat jarang berlaku disebabkan batasan pengkomputeran persekitaran kontrak pintar. Projek yang mendakwa inferens di atas rantaian biasanya menggunakan salah satu pendekatan ini: menjalankan model yang sangat kecil dalam kontrak pintar, menyerahkan bukti kriptografi (seperti zkML) bahawa inferens telah dilakukan dengan betul di luar rantaian, atau menggunakan mekanisme seakan-oracle di mana hasil inferens luar rantaian diatestasi dan direkodkan di atas rantaian.

Perbezaan antara inferens di atas rantaian dan luar rantaian adalah secara langsung relevan kepada paksi Onchain necessity dalam DecAI Fit.

Mengapa inferens penting dalam AI kripto

Jika sesebuah projek mendakwa menggunakan kecerdasan buatan, inferens mesti berlaku di suatu tempat. Model yang dilatih tetapi tidak pernah menjalankan inferens tidak menghasilkan output dan tidak memberikan nilai kepada pengguna. Inferens ialah titik di mana AI berhenti menjadi konsep dan mula menjadi produk.

Dalam kad projek DecAIHub, medan AI component sering menyebut mekanisme berkaitan inferens: enjin inferens, inferens ternyahpusat, titik akhir inferens LLM, penyajian model. Ini penunjuk konkrit bahawa sebuah model benar-benar sedang digunakan -- bukan sekadar didakwa.

Kos, kelajuan, dan kaitan pengkomputeran

Inferens tidak percuma. Menjalankan model memerlukan sumber pengkomputeran -- biasanya GPU atau pemecut khusus seperti TPU dan ASIC tersuai. Kos inferens bergantung pada beberapa faktor:

Faktor	Kesan ke atas kos dan kelajuan
Saiz model (bilangan parameter)	Model lebih besar memerlukan lebih banyak memori dan pengkomputeran per permintaan
Panjang input	Input lebih panjang (cth., prom teks yang panjang) meningkatkan masa pemprosesan
Panjang output	Bagi model autoregresif (LLM), setiap token output memerlukan satu laluan hadapan
Saiz kelompok	Memproses berbilang permintaan bersama boleh meningkatkan daya pemprosesan tetapi menambah kependaman
Perkakasan	GPU lebih berkuasa mengurangkan masa tetapi lebih mahal
Pengkuantuman	Mengurangkan kepersisan berangka (cth., daripada 32-bit kepada 8-bit) memotong memori dan pengkomputeran dengan kos sedikit ketepatan

Projek mengoptimumkan inferens melalui beberapa teknik:

Pengkuantuman -- mengurangkan kepersisan berangka pemberat untuk menggunakan kurang memori dan pengkomputeran.
Penyulingan -- melatih model "pelajar" yang lebih kecil untuk meniru model "guru" yang lebih besar, menghasilkan model yang lebih pantas dengan kehilangan kualiti yang boleh diterima.
Pengelompokan -- mengumpulkan berbilang permintaan bersama untuk memprosesnya serentak dan berkongsi overhed pengkomputeran.
Caching -- menyimpan dan menggunakan semula hasil untuk pertanyaan yang berulang atau serupa.
Pemilihan perkakasan -- memilih GPU, TPU, atau pemecut yang tepat untuk beban kerja.

Infrastruktur pengkomputeran yang menjana inferens ialah bidang utama dalam AI kripto. Banyak projek membina atau menyelaraskan rangkaian GPU khusus untuk menyajikan beban kerja inferens, tergolong dalam kategori AI/Compute atau AI/Inference.

Inferens ternyahpusat

Dalam AI tradisional, inferens berjalan pada pelayan terpusat yang dikawal oleh satu syarikat. Inferens ternyahpusat mengagihkan penyajian model merentas rangkaian penyedia bebas. Ini corak teras dalam kategori AI/Inference projek AI kripto.

Inferens ternyahpusat memperkenalkan satu set cabaran yang tidak wujud dalam sistem terpusat:

Konsistensi output -- penyedia yang berbeza mesti menghasilkan output yang serupa (atau cukup serupa) untuk input yang sama. Perbezaan perkakasan, versi perisian, dan kepersisan berangka boleh menyebabkan penyimpangan.
Verifikasi -- bagaimana anda membuktikan bahawa model yang betul benar-benar digunakan, bahawa input tidak diusik, dan bahawa output dikira dengan jujur? Pendekatan termasuk konsensus berbilang penyedia (menjalankan pertanyaan yang sama pada berbilang nod dan membandingkan hasil), persekitaran pelaksanaan dipercayai (TEE) yang memberikan jaminan peringkat perkakasan, dan bukti pengetahuan sifar (zkML) yang membuktikan pengiraan yang betul tanpa mendedahkan pemberat model atau data input.
Kependaman -- menghalakan permintaan kepada penyedia teragih menambah overhed rangkaian berbanding pelayan terpusat.
Penyelarasan pembayaran -- penyedia perlu diberi pampasan secara adil, yang sering melibatkan mekanisme pembayaran di atas rantaian yang terikat kepada kerja inferens yang disahkan.

Mekanisme-mekanisme ini diterangkan secara terperinci di halaman Inferens sebagai AI component.

Di mana ia muncul dalam kad projek DecAIHub

Inferens muncul di beberapa bahagian kad projek DecAIHub:

AI component -- nilai berkaitan inferens seperti "inference," "model serving," "LLM inference," atau "decentralized inference" menunjukkan bahawa fungsi AI teras projek melibatkan menjalankan model dalam produksi.
Kategori -- projek dalam kategori AI/Inference memberi tumpuan khusus kepada penyediaan infrastruktur atau perkhidmatan inferens.
Jadual bukti -- bukti Tier-1 untuk inferens termasuk titik akhir API awam, penanda aras inferens, ukuran kependaman, dan log pengkomputeran yang boleh disahkan.
ai_score -- projek yang menunjukkan inferens berfungsi dengan bukti yang diterbitkan menerima ai_score lebih tinggi daripada projek yang hanya menerangkan model tanpa menunjukkan ia berjalan.

Sesebuah projek boleh mendakwa mempunyai model, tetapi jika tiada bukti bahawa inferens berlaku dalam produksi, model itu tidak memberikan nilai kepada pengguna akhir.

Apa yang tidak dibuktikan oleh inferens sahaja

Menjalankan inferens pada model pihak ketiga melalui API (cth. memanggil GPT atau Claude) secara teknikal ialah inferens tetapi tidak menunjukkan keupayaan AI proprietari. Lihat Apakah itu pembalut API.
Inferens membuktikan model berjalan -- ia tidak membuktikan model itu berkualiti tinggi atau sesuai dengan tugas. Kualiti memerlukan penanda aras dan metrik.
Inferens tidak membuktikan bahawa token diperlukan untuk saluran paip berfungsi atau bahawa projek itu perlu berada di atas rantaian. Ini paksi berasingan dalam DecAI Fit.
Dakwaan kelajuan tanpa penanda aras atau metodologi yang diterbitkan tidak boleh disahkan. Mendakwa "inferens terpantas" memerlukan bukti yang boleh diulang.
Kewujudan titik akhir inferens tidak membuktikan model di sebaliknya dibina oleh projek itu dan bukannya salinan terhos bagi model sumber terbuka.

Sentiasa semak jadual bukti dan bukti Tier-1/2/3 untuk artifak sokongan.

Jangan kelirukan dengan

Latihan menghasilkan model. Inferens menggunakannya. Ia peringkat berurutan dalam kitaran hayat AI.
Inferens sebagai AI component menerangkan bagaimana inferens muncul dalam kad projek DecAIHub secara khusus. Halaman ini menerangkan konsep itu sendiri.
Kategori AI/Inference mengklasifikasikan projek yang memberi tumpuan kepada infrastruktur inferens. Konsep inferens terpakai kepada mana-mana projek yang menjalankan model, tanpa mengira kategorinya.
Pengkomputeran menyediakan perkakasan. Inferens ialah beban kerja yang berjalan di atas perkakasan itu. Rangkaian pengkomputeran boleh menyajikan kedua-dua beban kerja latihan dan inferens.
Model AI ialah artifak (pemberat terlatih). Inferens ialah proses menggunakan artifak itu untuk menghasilkan output.

Soalan lazim

Apakah perbezaan antara latihan dan inferens?

Latihan ialah proses mengajar model dengan mendedahkannya kepada data dan melaraskan pemberatnya untuk meminimumkan ralat. Ia mahal dari segi pengkomputeran dan biasanya berlaku sekali (atau secara berkala untuk latihan semula). Inferens ialah proses menggunakan model terlatih untuk menghasilkan output pada data baharu. Ia berlaku setiap kali pengguna berinteraksi dengan model. Latihan mencipta model; inferens menggunakannya.

Mengapa kelajuan inferens penting?

Kelajuan menentukan pengalaman pengguna dan kos operasi. Bot sembang yang mengambil masa 30 saat untuk merespons tidak boleh digunakan dalam praktik. Sistem pengesanan penipuan yang mengambil masa beberapa minit untuk menskor transaksi terlepas tetingkap untuk bertindak. Inferens yang lebih pantas juga bermakna kos pengkomputeran lebih rendah per permintaan, yang secara langsung mempengaruhi daya maju ekonomi sesuatu perkhidmatan -- terutamanya bagi rangkaian ternyahpusat di mana penyedia menanggung kos perkakasan.

Apakah itu inferens ternyahpusat?

Inferens ternyahpusat mengagihkan penyajian model merentas rangkaian penyedia pengkomputeran bebas dan bukannya bergantung pada pelayan satu syarikat. Cabaran utamanya ialah memastikan konsistensi output, mengesahkan bahawa model yang betul benar-benar digunakan, mengurus kependaman, dan menyelaraskan pembayaran. Projek AI kripto dalam kategori AI/Inference sering membina infrastruktur khusus untuk tujuan ini.

Bagaimana anda boleh mengesahkan bahawa inferens benar-benar berlaku?

Cari bukti Tier-1: titik akhir API awam yang boleh diuji, penanda aras kependaman inferens, log pengkomputeran, rekod di atas rantaian bagi permintaan dan hasil inferens, atau bukti yang boleh disahkan (seperti atestasi TEE atau bukti zkML). Dakwaan pemasaran seperti "powered by AI" tanpa mana-mana artifak ini tidak merupakan bukti inferens sebenar.

Apakah kos menjalankan inferens?

Kos bergantung pada saiz model, panjang input/output, perkakasan, dan teknik pengoptimuman. Menjalankan satu pertanyaan melalui model bahasa besar boleh menelan kos daripada pecahan sen hingga beberapa sen bergantung pada penyedia dan saiz model. Bagi rangkaian inferens ternyahpusat, kos biasanya dibayar per pertanyaan atau per unit pengkomputeran, sering menggunakan token asli rangkaian atau stablecoin. Ekonomi inferens ialah faktor utama sama ada saluran paip AI sesebuah projek mampan pada skala.

Lihat juga

Rujukan luaran

Hugging Face -- Inference Endpoints -- infrastruktur terurus untuk menggunakan dan menjalankan model dalam produksi.
Papers With Code -- Inference -- keputusan penanda aras dan kaedah untuk inferens cekap merentas jenis model.
Stanford HAI -- AI Index Report -- data tahunan tentang kos inferens, tren perkakasan, dan corak penggunaan.
Google AI Blog -- Efficient ML -- penyelidikan tentang pengkuantuman, penyulingan, dan teknik pengoptimuman inferens yang lain.
Wikipedia -- Statistical inference -- latar belakang asas statistik inferens dalam pembelajaran mesin.