Apa itu dataset

Catatan: Dokumen ini adalah terjemahan otomatis dari versi asli bahasa Inggris.

Apa itu dataset

Dataset adalah kumpulan data terstruktur yang digunakan untuk melatih, mengevaluasi, atau menguji sebuah model AI. Dataset adalah bahan mentah yang menjadi landasan kerja machine learning. Tanpa dataset, tidak ada yang dapat dipelajari oleh model dan tidak ada cara untuk mengukur apakah model tersebut bekerja.

Bayangkan dataset sebagai buku pelajaran bagi seorang siswa. Jika buku pelajaran itu penuh kesalahan, kehilangan sejumlah bab, atau ditulis dalam bahasa yang tidak dikuasai siswa, siswa tersebut akan belajar dengan buruk — tidak peduli seberapa berbakat dia. Prinsip yang sama berlaku untuk AI: kualitas, ukuran, relevansi, dan struktur dataset menentukan batas atas dari apa yang dapat dicapai model mana pun. Arsitektur yang brilian tetapi dilatih dengan data buruk akan menghasilkan keluaran yang buruk. Inilah asal mula prinsip garbage in, garbage out, yang tetap menjadi satu aturan terpenting dalam machine learning terapan.

Singkatnya: dataset adalah kumpulan contoh terorganisir yang menjadi sumber belajar sebuah model AI — dan kualitas data tersebut secara langsung menentukan kualitas model.

Bagaimana dataset dibangun

Dataset yang sudah jadi mungkin tampak seperti satu file atau basis data yang tertata rapi, tetapi untuk sampai ke sana diperlukan pipeline bertahap. Setiap tahap melibatkan keputusan yang memengaruhi model akhir.

Pengumpulan

Data harus dikumpulkan dari sumber yang relevan dengan tugasnya. Untuk sebuah large language model, ini bisa berarti merayapi web, mengagregasi buku dan makalah akademik, atau mengambil data dari repositori kode. Untuk model yang spesifik kripto, ini bisa berarti mengumpulkan riwayat transaksi blockchain, dokumentasi protokol, proposal tata kelola, atau sentimen media sosial. Pilihan sumber menentukan apa yang dapat dan tidak dapat dipelajari model. Model yang hanya dilatih pada teks bahasa Inggris akan gagal menangani kueri multibahasa. Model yang hanya dilatih pada data pasar historis akan melewatkan mekanika protokol yang baru.

Pembersihan

Data mentah hasil pengumpulan bersifat bising. Data tersebut mengandung duplikat, format yang rusak, kesalahan pengodean, spam, informasi identitas pribadi, serta konten yang tidak relevan atau berbahaya. Pembersihan data menghapus atau memperbaiki masalah-masalah ini. Langkah umum meliputi deduplikasi (menghapus catatan yang nyaris identik), normalisasi (menstandarkan format, tanggal, dan satuan), penyaringan (menghapus contoh berkualitas rendah atau di luar cakupan), dan anonimisasi (menghapus data pribadi demi mematuhi regulasi privasi). Pembersihan memang melelahkan tetapi krusial — model yang dilatih pada data yang belum dibersihkan akan mempelajari derau bersama dengan sinyalnya.

Pelabelan

Untuk supervised learning — pendekatan pelatihan yang paling umum — setiap contoh dalam dataset perlu dilengkapi jawaban yang benar. Sebuah foto memerlukan tanda seperti "kucing" atau "anjing". Sebuah transaksi memerlukan label seperti "penipuan" atau "sah". Sebuah kalimat memerlukan skor sentimen. Proses ini disebut pelabelan (atau anotasi).

Pelabelan itu mahal dan padat karya. Biasanya dibutuhkan anotator manusia yang meninjau contoh satu per satu dan memberi label sesuai pedoman yang terperinci. Kualitas dijaga melalui redundansi (beberapa anotator per contoh) dan metrik kesepakatan antaranotator. Beberapa proyek AI kripto membangun jaringan pelabelan terdesentralisasi tempat kontributor menganotasi data dan memperoleh imbalan token — meskipun kualitas label yang diberi insentif harus diverifikasi dengan cermat.

Untuk tugas yang tidak memerlukan label atau labelnya tidak praktis diperoleh, self-supervised learning mengekstraksi sinyal pelatihan dari struktur data itu sendiri (misalnya, memprediksi kata berikutnya dalam sebuah kalimat, atau merekonstruksi bagian gambar yang disamarkan).

Pembagian

Sebelum pelatihan dimulai, dataset dibagi menjadi subset-subset yang tidak saling tumpang tindih:

Bagian	Tujuan	Proporsi tipikal
Training set	Model belajar dari data ini	70-90%
Validation set	Digunakan selama pelatihan untuk memantau kemajuan dan menyetel hyperparameter	5-15%
Test set	Digunakan hanya sekali, setelah pelatihan, untuk mengukur performa akhir	5-15%

Set validasi dan set uji tidak boleh bocor ke dalam pelatihan. Jika model melihat data uji selama pelatihan, hasil evaluasi menjadi tidak bermakna — model secara efektif telah menghafal jawabannya. Pemisahan ini adalah syarat fundamental bagi benchmark dan metrik kualitas yang dapat dipercaya.

Pembuatan versi

Dataset tidak statis. Ia bertumbuh seiring data baru dikumpulkan, menyusut ketika contoh bermasalah dihapus, dan berevolusi ketika pedoman pelabelan berubah. Pembuatan versi dataset melacak perubahan-perubahan ini sehingga proses pelatihan dapat direproduksi dan dibandingkan. Model yang dilatih pada versi 2.3 sebuah dataset seharusnya menghasilkan keluaran yang berbeda dari model yang dilatih pada versi 1.0, dan perbedaannya harus dapat ditelusuri. Alat seperti DVC (Data Version Control), Hugging Face Datasets, dan Git LFS membantu tim mengelola versi dataset secara sistematis.

Jenis-jenis dataset

Dataset berbeda-beda menurut cara pelabelannya, siapa pembuatnya, dan untuk apa digunakan. Memahami jenis-jenis ini membantu ketika mengevaluasi klaim AI dalam proyek kripto.

Berlabel vs tanpa label

Dataset berlabel menyertakan jawaban yang benar untuk setiap contoh. Dataset gambar berlabel memasangkan setiap gambar dengan label kelas; dataset teks berlabel memasangkan setiap kalimat dengan skor sentimen atau tag entitas. Data berlabel memungkinkan supervised learning, paradigma pelatihan yang paling umum dan paling dipahami.
Dataset tanpa label adalah kumpulan mentah tanpa anotasi — teks web, gambar, log transaksi, pembacaan sensor. Data ini digunakan dalam unsupervised learning (menemukan struktur tanpa panduan) dan sebagai titik awal bagi self-supervised learning, yaitu cara LLM modern dilatih awal (pre-trained). Model belajar dengan memprediksi bagian dari inputnya sendiri (misalnya prediksi kata berikutnya), bukan dari label eksternal.

Sebagian besar sistem AI praktis menggunakan keduanya: pra-pelatihan pada data tanpa label berskala masif, lalu fine-tuning pada dataset berlabel yang lebih kecil dan spesifik untuk domainnya.

Publik vs proprietary

Dataset publik tersedia secara terbuka untuk riset dan pengembangan. Contoh terkenal meliputi ImageNet (14 juta gambar berlabel dalam lebih dari 20.000 kategori), Common Crawl (data web mentah berukuran petabita yang menjadi fondasi banyak LLM), dan The Pile (korpus teks beragam sebesar 825 GB yang disusun oleh EleutherAI khusus untuk pelatihan model bahasa). Dataset publik menurunkan hambatan masuk tetapi tersedia bagi semua orang — dataset ini sendiri tidak memberikan keunggulan kompetitif.
Dataset proprietary dikumpulkan, dikurasi, atau dilisensikan oleh organisasi tertentu dan tidak dibagikan secara publik. Sebuah perusahaan analitik kripto mungkin membangun dataset proprietary berisi transaksi DeFi berlabel. Data proprietary dapat memberi keunggulan kompetitif yang nyata, tetapi klaim "data proprietary" sulit diverifikasi dari luar. Tanpa pengungkapan sumber, metodologi, atau statistik sampel, klaim tersebut tidak dapat diverifikasi.

Dataset sintetis

Data sintetis dihasilkan oleh algoritma atau model AI lain, bukan dikumpulkan dari sumber dunia nyata. Sebuah model generatif dapat menghasilkan gambar realistis, sampel teks, atau pola transaksi yang memperkaya dataset asli. Data sintetis berguna ketika data asli langka, mahal untuk dikumpulkan, atau dibatasi oleh regulasi privasi. Namun, data sintetis membawa risiko: jika generatornya memiliki bias, data sintetisnya mewarisi bias tersebut; dan model yang dilatih sepenuhnya pada data sintetis dapat mengalami lingkaran umpan balik (kadang disebut "model collapse") di mana kesalahan menumpuk dari generasi ke generasi.

Dataset benchmark

Dataset benchmark adalah set evaluasi terstandar yang dirancang untuk mengukur kapabilitas tertentu. Dataset ini mencakup set uji tetap dengan jawaban benar yang sudah diketahui. Model dievaluasi terhadap benchmark ini untuk menghasilkan skor yang dapat dibandingkan. Contohnya meliputi:

Benchmark	Domain	Apa yang diukur
ImageNet	Visi komputer	Akurasi klasifikasi gambar
GLUE / SuperGLUE	Bahasa alami	Pemahaman bahasa lintas berbagai tugas
MMLU	Pengetahuan umum	Akurasi multi-tugas pada 57 bidang
HumanEval	Pembuatan kode	Kebenaran fungsional kode yang dihasilkan
Common Crawl	Teks web	Digunakan sebagai data pelatihan; skala dan cakupan

Hasil benchmark muncul di kartu proyek DecAIHub sebagai bukti untuk flag AI_3 (metrik/benchmark/kualitas) dalam algoritma DecAI Fit.

Mengapa dataset penting dalam AI kripto

Kualitas data menentukan kualitas model. Model yang dilatih pada data yang bising, bias, atau tidak relevan akan menghasilkan keluaran yang bising, bias, atau tidak relevan — tidak peduli seberapa canggih arsitekturnya. Bagi proyek AI kripto, hal ini punya implikasi konkret:

Agen yang dilatih pada dokumentasi protokol yang usang akan memberi jawaban yang salah tentang parameter kontrak saat ini.
Penganalisis sentimen yang hanya dilatih pada teks bahasa Inggris akan gagal di komunitas kripto multibahasa.
Model risiko yang dilatih pada data on-chain yang tidak lengkap akan melewatkan pola transaksi yang kritis.

Saat mengevaluasi klaim AI sebuah proyek, dataset adalah bagian yang krusial. Proyek yang menjelaskan sumber datanya, metode pengumpulannya, dan kontrol kualitasnya menunjukkan kedalaman AI yang lebih besar daripada proyek yang menyebut "AI" tanpa menjelaskan dari apa modelnya belajar.

Data terdesentralisasi dalam AI kripto

Beberapa pola dalam kategori AI/Data menghubungkan dataset dengan mekanika blockchain dan token:

Marketplace data — platform tempat penyedia data menjual atau melisensikan dataset, dengan penyelesaian on-chain dan pelacakan provenans.
Pengumpulan data berinsentif — proyek yang memberi imbalan token kepada pengguna karena berkontribusi data (melabeli gambar, menganotasi teks, membagikan pembacaan sensor).
Dataset terfederasi — data yang tetap terdistribusi di antara para peserta dan tidak pernah dikumpulkan di satu lokasi. Model dilatih di tempat data berada menggunakan federated learning.
Data DAO — organisasi terdesentralisasi yang secara kolektif mengelola, mengkurasi, dan memonetisasi dataset bersama.

Model-model ini berupaya menyelesaikan masalah yang nyata: data berlabel berkualitas tinggi itu mahal dan sering dikendalikan oleh segelintir perusahaan besar. Insentif token berpotensi mendemokratisasi kontribusi data — meskipun kualitas data yang diberi insentif harus diverifikasi dengan cermat.

Pengumpulan dan pelabelan data

Data mentah jarang datang dalam kondisi siap untuk pelatihan. Data tersebut harus dikumpulkan, dibersihkan, diformat, dan sering kali dilabeli oleh pekerja manusia atau sistem otomatis. Pipeline ini — pengumpulan dan pelabelan data — sendiri merupakan AI component yang nyata dan muncul di kartu proyek DecAIHub.

Pelabelan dalam skala besar itu mahal dan padat karya. Beberapa proyek AI kripto membangun jaringan pelabelan terdesentralisasi tempat kontributor menganotasi data dan memperoleh imbalan token. Kualitas label biasanya dijaga melalui redundansi (beberapa pelabel per contoh) dan mekanisme konsensus.

Di mana dataset muncul dalam kartu proyek DecAIHub

Dataset muncul di beberapa bagian kartu proyek DecAIHub:

AI component — nilai terkait data seperti "data collection", "data labeling", atau "training data pipeline" menunjukkan bahwa proyek benar-benar bekerja dengan dataset, bukan hanya memakai model siap pakai.
Kategori — proyek dalam kategori AI/Data berfokus khusus pada infrastruktur data, marketplace, atau koordinasi data terdesentralisasi.
Tabel bukti — bukti Tier-1 untuk kualitas dataset mencakup data card yang dipublikasikan, statistik sampel, dokumentasi metodologi pengumpulan, informasi lisensi, dan tautan ke dataset atau repositori data yang dapat diakses publik.
ai_score — dalam algoritma DecAI Fit, proyek yang menunjukkan kerja data nyata dengan bukti yang dipublikasikan berkontribusi pada ai_score yang lebih tinggi. Sekadar mengklaim "data proprietary" tanpa artefak yang dapat diverifikasi tidak demikian.

Apa yang tidak dibuktikan oleh dataset semata

Memiliki data tidak berarti AI yang menggunakannya nyata atau bagus. Sebuah proyek dapat mengumpulkan dataset masif tetapi tetap tidak punya model yang berfungsi, tidak punya pipeline inferensi, dan tidak punya keluaran yang berguna.
Ukuran dataset bukan indikator kualitas. Sejuta contoh yang salah label lebih buruk daripada seribu contoh yang dikurasi dengan baik.
Mengklaim "data proprietary" bukanlah bukti. Tanpa pengungkapan sumber data, metodologi pengumpulan, atau hasil evaluasi, klaim tersebut tidak dapat diverifikasi. Periksa kerangka bukti Tier-1/2/3.
Dataset tidak menjelaskan mengapa token dibutuhkan. Penyimpanan dan akses data pada dasarnya tidak memerlukan blockchain atau token.
Mengumpulkan data bukanlah pelatihan. Proyek dengan dataset besar tetapi tanpa model, tanpa pipeline pelatihan, dan tanpa endpoint inferensi adalah proyek data, bukan proyek AI.

Jangan bingung dengan

Pelatihan adalah proses yang mengonsumsi dataset. Dataset adalah masukan; pelatihan adalah operasinya.
Pengumpulan dan pelabelan data adalah pipeline yang menghasilkan dataset. Keduanya berkaitan tetapi merupakan tahap yang terpisah.
Kategori AI/Data mengklasifikasikan proyek yang berfokus pada infrastruktur data. Dataset adalah konsep yang digunakan di semua kategori AI.
AI component mendeskripsikan mekanisme tempat kerja AI berlangsung. Dataset menjadi masukan bagi mekanisme tersebut, tetapi bukan mekanismenya sendiri.
Benchmark dan metrik kualitas menggunakan dataset tertentu untuk evaluasi, tetapi benchmark adalah prosedur evaluasinya, bukan datasetnya.

Pertanyaan yang sering diajukan

Apa yang membuat sebuah dataset bagus?

Dataset yang bagus relevan dengan tugasnya, cukup besar untuk mencakup ruang masalah, dilabeli secara akurat (jika supervised), bebas dari bias sistematis, dan terdokumentasi dengan baik. Dokumentasi harus mencakup sumber data, metodologi pengumpulan, pedoman pelabelan, keterbatasan yang diketahui, dan riwayat versi. Dalam praktiknya, dataset yang lebih kecil tetapi dikurasi dengan cermat sering mengungguli dataset yang lebih besar tetapi bising. Prinsipnya sederhana: model hanya bisa sebaik data yang menjadi sumber belajarnya.

Apa itu data poisoning?

Data poisoning adalah serangan yang disengaja di mana pihak lawan menyuntikkan contoh berbahaya ke dalam dataset pelatihan untuk merusak perilaku model. Misalnya, penyerang dapat menambahkan gambar dengan label salah agar sebuah pengklasifikasi salah mengenali input tertentu, atau menyuntikkan teks bias agar model bahasa menghasilkan keluaran yang merugikan. Data poisoning adalah kekhawatiran serius bagi pengumpulan data terdesentralisasi, di mana kontributor mungkin anonim dan terdorong insentif. Mekanisme pertahanannya meliputi pelabelan redundan, deteksi anomali, sistem reputasi kontributor, dan pelacakan provenans data secara kriptografis.

Bolehkah menggunakan data berhak cipta untuk melatih AI?

Ini adalah pertanyaan hukum yang masih aktif tanpa jawaban universal. Sejumlah gugatan berprofil tinggi sedang menguji apakah pelatihan pada materi berhak cipta termasuk fair use. Beberapa yurisdiksi memberikan pengecualian eksplisit untuk text and data mining bagi tujuan riset. Dalam praktiknya, sebagian besar large language model dilatih pada data hasil perayapan web yang mencakup konten berhak cipta. Proyek yang mengungkapkan sumber data dan ketentuan lisensinya menunjukkan transparansi yang lebih besar daripada yang tidak. DecAIHub mengevaluasi transparansi data sebagai bagian dari kerangka bukti, tetapi tidak membuat penetapan hukum tentang hak cipta.

Apa itu dataset sintetis?

Dataset sintetis dihasilkan oleh algoritma atau model AI lain, bukan dikumpulkan dari sumber dunia nyata. Data sintetis digunakan untuk memperkaya dataset asli, mengisi celah ketika data asli langka, atau melindungi privasi dengan mengganti catatan sensitif dengan pengganti yang realistis tetapi artifisial. Risikonya adalah data sintetis dapat mewarisi dan memperkuat bias dari model generatornya. Model yang dilatih secara eksklusif pada data sintetis juga dapat mengalami "model collapse" — degradasi kualitas progresif ketika setiap generasi data sintetis makin menjauh dari distribusi aslinya.

Bagaimana DecAIHub mengevaluasi kualitas dataset?

DecAIHub tidak menilai dataset secara langsung. Sebaliknya, DecAIHub mengevaluasi apakah sebuah proyek menyediakan bukti kerja data yang dapat diverifikasi sebagai bagian dari penilaian DecAI Fit secara keseluruhan. Bukti yang berkontribusi pada ai_score meliputi data card yang dipublikasikan, metodologi pengumpulan yang terdokumentasi, statistik sampel, repositori publik, dan hasil benchmark pada set evaluasi yang diakui. Klaim "data proprietary" atau "dataset masif" tanpa artefak pendukung dianggap tidak dapat diverifikasi dan tidak menaikkan skor. Kerangka bukti Tier-1/2/3 mendefinisikan apa yang dihitung sebagai bukti.

Lihat juga

Referensi eksternal

Hugging Face -- Datasets -- repositori terbuka terbesar untuk dataset machine learning, dengan pencarian, penyaringan, pratinjau, dan dokumentasi untuk ribuan dataset.
Papers With Code -- Datasets -- katalog dataset yang terhubung dengan hasil benchmark dan makalah riset, dapat dicari berdasarkan tugas dan domain.
Stanford HAI -- AI Index Report -- data tahunan tentang pertumbuhan dataset, tren tata kelola data, dan peran data dalam kemajuan AI.
Google Research -- Dataset Search -- mesin pencari khusus untuk dataset yang dipublikasikan di seluruh web, termasuk sumber akademik, pemerintahan, dan komersial.
Wikipedia -- Training data -- penjelasan mendasar tentang pembagian data pelatihan, validasi, dan uji serta perannya dalam machine learning.