Apa itu inferensi
Catatan: Dokumen ini adalah terjemahan otomatis dari versi asli bahasa Inggris.
Apa itu inferensi
Inferensi adalah proses menjalankan model AI terlatih pada data baru untuk mendapatkan hasil. Ketika sebuah model mengklasifikasikan gambar, menghasilkan satu paragraf teks, memprediksi skor risiko, atau merekomendasikan tindakan, model itu sedang melakukan inferensi. Jika pelatihan adalah cara model belajar, inferensi adalah cara model bekerja.
Analogi yang berguna: pelatihan adalah belajar untuk ujian — membaca buku teks, mengerjakan soal latihan, menyerap pola. Inferensi adalah mengikuti ujiannya — menerapkan apa yang telah dipelajari pada pertanyaan baru dalam kondisi nyata. Setiap kali sistem AI menghasilkan output dalam produksi, itulah inferensi.
Singkatnya: pelatihan adalah belajar untuk ujian; inferensi adalah mengikuti ujiannya. Setiap kali sistem AI menghasilkan output dalam produksi, itulah inferensi.
Cara kerja inferensi langkah demi langkah
Meskipun inferensi tampak seketika bagi pengguna akhir ("saya mengetik pertanyaan dan mendapat jawaban"), sebuah pipeline yang konkret berjalan di balik layar setiap kali model menghasilkan output.
Input
Semuanya dimulai dari data input — prompt teks, gambar, sekumpulan angka, hash transaksi blockchain, klip audio, atau data terstruktur maupun tak terstruktur lain yang dirancang untuk diproses oleh model.
Praproses
Input mentah jarang diumpankan langsung ke model. Langkah praproses mengubahnya menjadi format yang diharapkan model. Untuk model teks, ini berarti tokenisasi — memecah teks menjadi token (unit sub-kata) dan mengonversinya menjadi ID numerik. Untuk model gambar, ini berarti mengubah ukuran, menormalkan nilai piksel, dan kadang mengaugmentasi gambar. Praproses harus sama persis dengan langkah-langkah yang dipakai saat pelatihan; jika tidak, model menerima data dalam format yang tidak pernah dilatihkan kepadanya.
Forward pass
Input yang telah dipraproses dilewatkan melalui arsitektur model — lapis demi lapis, melalui semua bobot yang dipelajari dan fungsi aktivasi. Ini disebut forward pass. Pada langkah ini, model menerapkan pola yang dipelajarinya selama pelatihan pada input baru. Tidak ada bobot yang diperbarui; tidak ada pembelajaran yang terjadi. Model hanya menghitung output dari input memakai pengetahuan yang sudah dimilikinya.
Untuk large language model, forward pass menghasilkan distribusi probabilitas atas token berikutnya yang mungkin. Untuk classifier, ia menghasilkan probabilitas tiap kelas. Untuk model gambar generatif, ia menghasilkan gambar yang di-denoise langkah demi langkah.
Output
Forward pass menghasilkan output mentah — sering berupa vektor angka, probabilitas, atau urutan token. Output mentah ini perlu ditafsirkan agar menjadi berguna.
Pascaproses
Pascaproses mengonversi output mentah menjadi hasil yang dapat dibaca manusia atau dipakai sistem. Untuk LLM, ini berarti men-decode ID token kembali menjadi teks. Untuk classifier, ini berarti memetakan skor probabilitas ke label kelas ("spam" vs "bukan spam"). Untuk model skoring, ini berarti mengonversi nilai mentah ke rentang skor yang diharapkan aplikasi.
Ringkasnya:
| Langkah | Apa yang terjadi | Contoh (model teks) |
|---|---|---|
| Input | Data mentah tiba | Pengguna mengetik pertanyaan |
| Praproses | Data diubah ke format model | Teks ditokenisasi menjadi ID numerik |
| Forward pass | Model menghitung output dari input memakai bobot yang dipelajari | Distribusi probabilitas atas kosakata |
| Output mentah | Hasil numerik dihasilkan | Probabilitas token |
| Pascaproses | Output dikonversi ke bentuk yang dapat dipakai | ID token di-decode kembali menjadi teks |
Jenis-jenis inferensi
Tidak semua inferensi sama. Skenario deployment yang berbeda menciptakan kebutuhan teknis dan trade-off yang berbeda.
Inferensi real-time vs batch
| Dimensi | Inferensi real-time | Inferensi batch |
|---|---|---|
| Kapan berjalan | Sesuai permintaan, per request | Terjadwal atau saat batch terkumpul |
| Kebutuhan latensi | Rendah (milidetik hingga detik) | Fleksibel (menit hingga jam masih dapat diterima) |
| Kasus penggunaan | Chatbot, skoring langsung, agen interaktif | Pembuatan laporan, klasifikasi massal, analitik berkala |
| Profil biaya | Lebih tinggi per request (perangkat keras harus selalu siap) | Lebih rendah per item (perangkat keras dipakai efisien dalam ledakan) |
Inferensi real-time adalah yang biasanya dialami pengguna akhir — mereka mengirim kueri dan langsung menerima jawaban. Inferensi batch umum di pipeline backend di mana model memproses ribuan titik data sekaligus (mis. menskor semua transaksi satu jam terakhir untuk risiko penipuan).
Inferensi edge vs cloud
- Inferensi cloud berjalan di server terpusat (atau klaster server) di pusat data. Ia menawarkan perangkat keras yang kuat (GPU kelas atas, memori besar) tetapi menambahkan latensi jaringan dan ketergantungan pada penyedia pusat.
- Inferensi edge berjalan di perangkat lokal — smartphone, sensor IoT, perangkat keras tertanam. Ia mengurangi latensi dan menjaga data tetap di perangkat tetapi dibatasi oleh daya komputasi dan memori perangkat.
Banyak sistem produksi menggabungkan keduanya: model ringan berjalan di edge untuk respons awal yang cepat, sementara kueri kompleks diteruskan ke model berbasis cloud.
Inferensi on-chain vs off-chain
Pembedaan ini spesifik untuk AI kripto dan sentral bagi cara DecAIHub mengevaluasi proyek:
- Inferensi off-chain — model berjalan di server tradisional atau klaster GPU. Hasilnya bisa saja diposting ke blockchain setelahnya, bisa juga tidak. Ini adalah pengaturan paling umum di proyek AI kripto karena menjalankan model besar langsung di blockchain secara komputasi tidak praktis.
- Inferensi on-chain — model (atau bukti yang dapat diverifikasi atas komputasinya) dieksekusi di dalam lingkungan eksekusi blockchain. Inferensi on-chain sejati untuk model non-trivial sangat langka karena keterbatasan komputasi lingkungan smart contract. Proyek yang mengklaim inferensi on-chain biasanya memakai salah satu pendekatan berikut: menjalankan model yang sangat kecil di dalam smart contract, memposting bukti kriptografis (seperti zkML) bahwa inferensi dilakukan dengan benar secara off-chain, atau memakai mekanisme mirip oracle di mana hasil inferensi off-chain diatestasi dan dicatat on-chain.
Pembedaan antara inferensi on-chain dan off-chain langsung relevan dengan sumbu Onchain necessity dalam DecAI Fit.
Mengapa inferensi penting dalam AI kripto
Jika sebuah proyek mengklaim menggunakan kecerdasan buatan, inferensi pasti terjadi di suatu tempat. Model yang dilatih tetapi tidak pernah menjalankan inferensi tidak menghasilkan output dan tidak memberikan nilai bagi pengguna. Inferensi adalah titik di mana AI berhenti menjadi konsep dan mulai menjadi produk.
Di kartu proyek DecAIHub, field AI component sering menyebut mekanisme terkait inferensi: mesin inferensi, inferensi terdesentralisasi, endpoint inferensi LLM, penyajian model. Ini adalah indikator konkret bahwa sebuah model benar-benar digunakan — bukan sekadar diklaim.
Biaya, kecepatan, dan kaitannya dengan komputasi
Inferensi tidak gratis. Menjalankan model membutuhkan sumber daya komputasi — biasanya GPU atau akselerator khusus seperti TPU dan ASIC kustom. Biaya inferensi bergantung pada beberapa faktor:
| Faktor | Dampak pada biaya dan kecepatan |
|---|---|
| Ukuran model (jumlah parameter) | Model yang lebih besar membutuhkan lebih banyak memori dan komputasi per request |
| Panjang input | Input yang lebih panjang (mis. prompt teks panjang) menambah waktu pemrosesan |
| Panjang output | Untuk model autoregresif (LLM), setiap token output membutuhkan satu forward pass |
| Ukuran batch | Memproses beberapa request bersamaan dapat meningkatkan throughput tetapi menambah latensi |
| Perangkat keras | GPU yang lebih kuat mengurangi waktu tetapi lebih mahal |
| Kuantisasi | Mengurangi presisi numerik (mis. dari 32-bit ke 8-bit) memangkas memori dan komputasi dengan mengorbankan sedikit akurasi |
Proyek mengoptimalkan inferensi melalui beberapa teknik:
- Kuantisasi — mengurangi presisi numerik bobot agar memakai lebih sedikit memori dan komputasi.
- Distilasi — melatih model "murid" yang lebih kecil untuk meniru model "guru" yang lebih besar, menghasilkan model yang lebih cepat dengan penurunan kualitas yang dapat diterima.
- Batching — mengelompokkan beberapa request untuk diproses bersamaan dan berbagi overhead komputasi.
- Caching — menyimpan dan memakai ulang hasil untuk kueri yang berulang atau serupa.
- Pemilihan perangkat keras — memilih GPU, TPU, atau akselerator yang tepat untuk beban kerjanya.
Infrastruktur komputasi yang menenagai inferensi adalah area besar dalam AI kripto. Banyak proyek membangun atau mengoordinasikan jaringan GPU khusus untuk melayani beban kerja inferensi, masuk ke kategori AI/Compute atau AI/Inference.
Inferensi terdesentralisasi
Dalam AI tradisional, inferensi berjalan di server terpusat yang dikendalikan satu perusahaan. Inferensi terdesentralisasi mendistribusikan penyajian model ke jaringan penyedia independen. Ini adalah pola inti dalam kategori AI/Inference proyek AI kripto.
Inferensi terdesentralisasi memunculkan serangkaian tantangan yang tidak ada di sistem terpusat:
- Konsistensi output — penyedia yang berbeda harus menghasilkan output yang identik (atau cukup serupa) untuk input yang sama. Perbedaan perangkat keras, versi perangkat lunak, dan presisi numerik dapat menyebabkan divergensi.
- Verifikasi — bagaimana membuktikan bahwa model yang benar memang dipakai, input tidak dimanipulasi, dan output dihitung dengan jujur? Pendekatannya mencakup konsensus multi-penyedia (menjalankan kueri yang sama di beberapa node dan membandingkan hasilnya), trusted execution environment (TEE) yang memberikan jaminan tingkat perangkat keras, dan bukti zero-knowledge (zkML) yang membuktikan komputasi yang benar tanpa mengungkap bobot model atau data input.
- Latensi — merutekan request ke penyedia terdistribusi menambah overhead jaringan dibandingkan server terpusat.
- Koordinasi pembayaran — penyedia perlu dikompensasi secara adil, yang sering melibatkan mekanisme pembayaran on-chain yang terikat pada kerja inferensi terverifikasi.
Mekanisme-mekanisme ini dijelaskan secara terperinci di halaman Inferensi sebagai AI component.
Di mana ia muncul dalam kartu proyek DecAIHub
Inferensi muncul di beberapa bagian kartu proyek DecAIHub:
- AI component — nilai terkait inferensi seperti "inference," "model serving," "LLM inference," atau "decentralized inference" menunjukkan bahwa fungsi AI inti proyek melibatkan menjalankan model dalam produksi.
- Kategori — proyek dalam kategori AI/Inference berfokus khusus pada penyediaan infrastruktur atau layanan inferensi.
- Tabel bukti — bukti Tier-1 untuk inferensi mencakup endpoint API publik, benchmark inferensi, pengukuran latensi, dan log komputasi yang dapat diverifikasi.
- ai_score — proyek yang mendemonstrasikan inferensi yang berfungsi dengan bukti terpublikasi menerima ai_score lebih tinggi daripada yang hanya mendeskripsikan model tanpa menunjukkan bahwa model itu berjalan.
Sebuah proyek dapat mengklaim memiliki model, tetapi jika tidak ada bukti bahwa inferensi terjadi dalam produksi, model itu tidak memberikan nilai bagi pengguna akhir.
Apa yang tidak dibuktikan oleh inferensi semata
- Menjalankan inferensi pada model pihak ketiga via API (mis. memanggil GPT atau Claude) secara teknis adalah inferensi tetapi tidak menunjukkan kemampuan AI proprietary. Lihat Apa itu API wrapper.
- Inferensi membuktikan sebuah model berjalan — ia tidak membuktikan modelnya berkualitas tinggi atau cocok untuk tugasnya. Kualitas membutuhkan benchmark dan metrik.
- Inferensi tidak membuktikan bahwa token diperlukan agar pipeline berfungsi atau bahwa proyek perlu berada on-chain. Ini adalah sumbu terpisah dalam DecAI Fit.
- Klaim kecepatan tanpa benchmark atau metodologi yang dipublikasikan tidak dapat diverifikasi. Mengklaim "inferensi tercepat" membutuhkan bukti yang dapat direproduksi.
- Keberadaan endpoint inferensi tidak membuktikan bahwa model di baliknya dibangun oleh proyek itu alih-alih salinan yang di-hosting dari model open-source.
Selalu periksa tabel bukti dan bukti Tier-1/2/3 untuk artefak pendukung.
Jangan bingung dengan
- Pelatihan menghasilkan model. Inferensi menggunakannya. Keduanya tahapan berurutan dari siklus hidup AI.
- Inferensi sebagai AI component menggambarkan bagaimana inferensi muncul secara khusus di kartu proyek DecAIHub. Halaman ini menjelaskan konsepnya sendiri.
- Kategori AI/Inference mengklasifikasikan proyek yang berfokus pada infrastruktur inferensi. Konsep inferensi berlaku untuk proyek mana pun yang menjalankan model, apa pun kategorinya.
- Komputasi menyediakan perangkat keras. Inferensi adalah beban kerja yang berjalan di atas perangkat keras itu. Jaringan komputasi dapat melayani beban kerja pelatihan maupun inferensi.
- Model AI adalah artefaknya (bobot terlatih). Inferensi adalah proses memakai artefak itu untuk menghasilkan output.
Pertanyaan yang sering diajukan
Apa perbedaan antara pelatihan dan inferensi?
Pelatihan adalah proses mengajari model dengan mengeksposnya pada data dan menyesuaikan bobotnya untuk meminimalkan kesalahan. Prosesnya mahal secara komputasi dan biasanya terjadi sekali (atau berkala untuk pelatihan ulang). Inferensi adalah proses memakai model terlatih untuk menghasilkan output pada data baru. Ia terjadi setiap kali pengguna berinteraksi dengan model. Pelatihan menciptakan model; inferensi menggunakannya.
Mengapa kecepatan inferensi penting?
Kecepatan menentukan pengalaman pengguna dan biaya operasional. Chatbot yang butuh 30 detik untuk merespons praktis tidak bisa dipakai. Sistem deteksi penipuan yang butuh bermenit-menit untuk menskor transaksi kehilangan jendela untuk bertindak. Inferensi yang lebih cepat juga berarti biaya komputasi per request yang lebih rendah, yang langsung memengaruhi kelayakan ekonomi layanan — terutama untuk jaringan terdesentralisasi di mana penyedia menanggung biaya perangkat keras.
Apa itu inferensi terdesentralisasi?
Inferensi terdesentralisasi mendistribusikan penyajian model ke jaringan penyedia komputasi independen alih-alih bergantung pada server satu perusahaan. Tantangan kuncinya adalah memastikan konsistensi output, memverifikasi bahwa model yang benar memang dipakai, mengelola latensi, dan mengoordinasikan pembayaran. Proyek AI kripto dalam kategori AI/Inference sering membangun infrastruktur khusus untuk tujuan ini.
Bagaimana cara memverifikasi bahwa inferensi benar-benar terjadi?
Cari bukti Tier-1: endpoint API publik yang dapat diuji, benchmark latensi inferensi, log komputasi, catatan on-chain atas request dan hasil inferensi, atau bukti yang dapat diverifikasi (seperti atestasi TEE atau bukti zkML). Klaim pemasaran seperti "powered by AI" tanpa satu pun artefak ini bukan bukti inferensi yang nyata.
Berapa biaya menjalankan inferensi?
Biaya bergantung pada ukuran model, panjang input/output, perangkat keras, dan teknik optimasi. Menjalankan satu kueri melalui large language model bisa berbiaya dari pecahan sen hingga beberapa sen tergantung penyedia dan ukuran model. Untuk jaringan inferensi terdesentralisasi, biaya biasanya dibayar per kueri atau per unit komputasi, sering memakai token native jaringan atau stablecoin. Ekonomi inferensi adalah faktor kunci apakah pipeline AI sebuah proyek berkelanjutan dalam skala besar.
Lihat juga
- Apa itu pelatihan
- Apa itu model AI
- Inferensi sebagai AI component
- Komputasi sebagai AI component
- Kategori AI/Inference
- Cara mengetahui apakah proyek benar-benar memiliki AI
- Apa itu DecAI Fit
- Apa itu API wrapper
- Apa itu AI component
Referensi eksternal
- Hugging Face -- Inference Endpoints -- infrastruktur terkelola untuk men-deploy dan menjalankan model dalam produksi.
- Papers With Code -- Inference -- hasil benchmark dan metode untuk inferensi yang efisien di berbagai jenis model.
- Stanford HAI -- AI Index Report -- data tahunan tentang biaya inferensi, tren perangkat keras, dan pola deployment.
- Google AI Blog -- Efficient ML -- riset tentang kuantisasi, distilasi, dan teknik optimasi inferensi lainnya.
- Wikipedia -- Statistical inference -- latar belakang landasan statistik inferensi dalam machine learning.
No comments to display
No comments to display