Apakah itu set data

Nota: Dokumen ini adalah terjemahan automatik daripada versi asal bahasa Inggeris.

Apakah itu set data

Set data ialah koleksi data berstruktur yang digunakan untuk melatih, menilai, atau menguji sesebuah model AI. Ia adalah bahan mentah yang menggerakkan pembelajaran mesin. Tanpa set data, tiada apa-apa untuk dipelajari oleh model dan tiada cara untuk mengukur sama ada ia berfungsi.

Bayangkan set data sebagai buku teks untuk seorang pelajar. Jika buku teks itu penuh dengan kesilapan, kehilangan bab, atau ditulis dalam bahasa yang tidak difahami pelajar, pelajar itu akan belajar dengan buruk — tidak kira betapa berbakatnya mereka. Prinsip yang sama terpakai kepada AI: kualiti, saiz, kaitan, dan struktur set data menetapkan had atas bagi apa yang boleh dicapai oleh mana-mana model. Seni bina yang cemerlang tetapi dilatih pada data yang buruk akan menghasilkan keputusan yang buruk. Inilah asal usul prinsip garbage in, garbage out, yang kekal sebagai peraturan tunggal paling penting dalam pembelajaran mesin gunaan.

Ringkasnya: set data ialah himpunan contoh yang teratur yang menjadi sumber pembelajaran model AI — dan kualiti data itu secara langsung menentukan kualiti model.

Bagaimana set data dibina

Set data yang siap mungkin kelihatan seperti satu fail tunggal atau pangkalan data yang tersusun kemas, tetapi untuk sampai ke situ memerlukan saluran paip berbilang peringkat. Setiap peringkat memperkenalkan keputusan yang mempengaruhi model akhir.

Pengumpulan

Data mesti dikumpulkan daripada sumber yang berkaitan dengan tugas. Untuk sesebuah model bahasa besar, ini mungkin bermakna merangkak web, mengagregat buku dan kertas akademik, atau mengikis repositori kod. Untuk model khusus kripto, ia mungkin bermakna mengumpul sejarah transaksi blockchain, dokumentasi protokol, cadangan tadbir urus, atau sentimen media sosial. Pilihan sumber menentukan apa yang model boleh dan tidak boleh pelajari. Model yang dilatih hanya pada teks bahasa Inggeris akan gagal pada pertanyaan berbilang bahasa. Model yang dilatih hanya pada data pasaran sejarah akan terlepas mekanik protokol yang baharu.

Pembersihan

Data mentah yang dikumpul adalah bising. Ia mengandungi pendua, pemformatan yang rosak, ralat pengekodan, spam, maklumat yang boleh mengenal pasti individu, dan kandungan yang tidak berkaitan atau berbahaya. Pembersihan data membuang atau membetulkan isu-isu ini. Langkah biasa termasuk penyahduaan (membuang rekod yang hampir serupa), penormalan (menyeragamkan format, tarikh, dan unit), penapisan (membuang contoh berkualiti rendah atau di luar skop), dan penyahnamaan (membuang data peribadi untuk mematuhi peraturan privasi). Pembersihan adalah membosankan tetapi kritikal — model yang dilatih pada data yang tidak dibersihkan akan mempelajari hingar bersama-sama isyarat.

Pelabelan

Untuk pembelajaran terselia — pendekatan latihan yang paling biasa — setiap contoh dalam set data memerlukan jawapan yang betul dilampirkan padanya. Sekeping foto memerlukan tag seperti "kucing" atau "anjing." Sesuatu transaksi memerlukan label seperti "penipuan" atau "sah." Sesuatu ayat memerlukan skor sentimen. Proses ini dipanggil pelabelan (atau anotasi).

Pelabelan adalah mahal dan memerlukan banyak tenaga kerja. Ia biasanya memerlukan anotator manusia yang menyemak contoh satu demi satu dan menetapkan label mengikut garis panduan yang terperinci. Kualiti dipastikan melalui lewahan (berbilang anotator bagi setiap contoh) dan metrik persetujuan antara anotator. Sesetengah projek AI kripto membina rangkaian pelabelan terdesentralisasi di mana penyumbang menganotasi data dan memperoleh ganjaran token — walaupun kualiti label yang diberi insentif mesti disahkan dengan teliti.

Untuk tugas di mana label tidak diperlukan atau tidak praktikal untuk diperoleh, pembelajaran selia kendiri mengekstrak isyarat latihan daripada struktur data itu sendiri (contohnya, meramalkan perkataan seterusnya dalam ayat, atau membina semula bahagian imej yang ditutup).

Pembahagian

Sebelum latihan bermula, set data dibahagikan kepada subset yang tidak bertindih:

Bahagian	Tujuan	Kadar tipikal
Set latihan	Model belajar daripada data ini	70-90%
Set pengesahan	Digunakan semasa latihan untuk memantau kemajuan dan menala hiperparameter	5-15%
Set ujian	Digunakan sekali sahaja, selepas latihan, untuk mengukur prestasi akhir	5-15%

Set pengesahan dan set ujian tidak boleh sama sekali bocor ke dalam latihan. Jika model melihat data ujian semasa latihan, keputusan penilaian menjadi tidak bermakna — model secara berkesan telah menghafal jawapannya. Pemisahan ini merupakan keperluan asas untuk penanda aras dan metrik kualiti yang boleh dipercayai.

Pemversian

Set data tidak statik. Ia berkembang apabila data baharu dikumpul, mengecil apabila contoh yang bermasalah dibuang, dan berevolusi apabila garis panduan pelabelan berubah. Pemversian set data menjejaki perubahan ini supaya larian latihan boleh dihasilkan semula dan dibandingkan. Model yang dilatih pada versi 2.3 sesuatu set data sepatutnya menghasilkan keputusan yang berbeza daripada model yang dilatih pada versi 1.0, dan perbezaan itu sepatutnya boleh dijejaki. Alat seperti DVC (Data Version Control), Hugging Face Datasets, dan Git LFS membantu pasukan mengurus versi set data secara sistematik.

Jenis set data

Set data berbeza mengikut cara ia dilabel, siapa yang menciptanya, dan untuk apa ia digunakan. Memahami jenis-jenis ini membantu semasa menilai dakwaan AI dalam projek kripto.

Berlabel vs tanpa label

Set data berlabel menyertakan jawapan yang betul untuk setiap contoh. Set data imej berlabel memasangkan setiap imej dengan label kelas; set data teks berlabel memasangkan setiap ayat dengan skor sentimen atau tag entiti. Data berlabel membolehkan pembelajaran terselia, paradigma latihan yang paling biasa dan paling difahami.
Set data tanpa label ialah koleksi mentah tanpa anotasi — teks web, imej, log transaksi, bacaan penderia. Ia digunakan dalam pembelajaran tanpa selia (mencari struktur tanpa panduan) dan sebagai titik permulaan untuk pembelajaran selia kendiri, iaitu cara LLM moden dipralatih. Model belajar dengan meramalkan bahagian daripada inputnya sendiri (contohnya, ramalan perkataan seterusnya) dan bukannya daripada label luaran.

Kebanyakan sistem AI praktikal menggunakan kedua-duanya: pralatihan pada data tanpa label yang sangat besar, kemudian penalaan halus pada set data berlabel yang lebih kecil khusus untuk domain berkenaan.

Awam vs proprietari

Set data awam tersedia secara terbuka untuk penyelidikan dan pembangunan. Contoh yang terkenal termasuk ImageNet (14 juta imej berlabel merentas 20,000+ kategori), Common Crawl (berpetabait data web mentah yang digunakan sebagai asas bagi banyak LLM), dan The Pile (korpus teks pelbagai bersaiz 825 GB yang dihimpunkan oleh EleutherAI khusus untuk latihan model bahasa). Set data awam merendahkan halangan kemasukan tetapi tersedia untuk semua orang — ia tidak memberikan kelebihan daya saing dengan sendirinya.
Set data proprietari dikumpul, dikurasi, atau dilesenkan oleh organisasi tertentu dan tidak dikongsi secara awam. Sebuah syarikat analitik kripto mungkin membina set data proprietari transaksi DeFi yang berlabel. Data proprietari boleh memberikan kelebihan daya saing yang tulen, tetapi dakwaan "data proprietari" sukar disahkan dari luar. Tanpa pendedahan sumber, metodologi, atau statistik sampel, dakwaan itu tidak boleh disahkan.

Set data sintetik

Data sintetik dijana oleh algoritma atau model AI lain dan bukannya dikumpul daripada sumber dunia sebenar. Model generatif mungkin menghasilkan imej yang realistik, sampel teks, atau corak transaksi yang menambah set data sebenar. Data sintetik berguna apabila data sebenar sukar didapati, mahal untuk dikumpul, atau disekat oleh peraturan privasi. Walau bagaimanapun, data sintetik membawa risiko: jika penjananya mempunyai bias, data sintetik mewarisinya; dan model yang dilatih sepenuhnya pada data sintetik boleh membentuk gelung maklum balas (kadangkala dipanggil "model collapse") di mana ralat terkumpul merentas generasi.

Set data penanda aras

Set data penanda aras ialah set penilaian piawai yang direka untuk mengukur keupayaan tertentu. Ia merangkumi set ujian tetap dengan jawapan betul yang diketahui. Model dinilai terhadap penanda aras ini untuk menghasilkan skor yang boleh dibandingkan. Contohnya termasuk:

Penanda aras	Domain	Apa yang diukur
ImageNet	Penglihatan komputer	Ketepatan pengelasan imej
GLUE / SuperGLUE	Bahasa semula jadi	Pemahaman bahasa merentas pelbagai tugas
MMLU	Pengetahuan am	Ketepatan berbilang tugas merentas 57 subjek
HumanEval	Penjanaan kod	Ketepatan berfungsi kod yang dijana
Common Crawl	Teks web	Digunakan sebagai data latihan; skala dan liputan

Keputusan penanda aras muncul dalam kad projek DecAIHub sebagai bukti untuk bendera AI_3 (metrik/penanda aras/kualiti) dalam algoritma DecAI Fit.

Mengapa set data penting dalam AI kripto

Kualiti data menentukan kualiti model. Model yang dilatih pada data yang bising, berat sebelah, atau tidak relevan akan menghasilkan output yang bising, berat sebelah, atau tidak relevan — tidak kira betapa canggihnya seni binanya. Bagi projek AI kripto, ini mempunyai implikasi yang konkrit:

Ejen yang dilatih pada dokumentasi protokol yang lapuk akan memberikan jawapan yang salah tentang parameter kontrak semasa.
Penganalisis sentimen yang dilatih hanya pada teks bahasa Inggeris akan gagal pada komuniti kripto berbilang bahasa.
Model risiko yang dilatih pada data on-chain yang tidak lengkap akan terlepas corak transaksi yang kritikal.

Semasa menilai dakwaan AI sesuatu projek, set data ialah bahagian yang kritikal. Projek yang menerangkan sumber data, kaedah pengumpulan, dan kawalan kualitinya menunjukkan kedalaman AI yang lebih tinggi berbanding projek yang menyebut "AI" tanpa menjelaskan daripada apa modelnya belajar.

Data terdesentralisasi dalam AI kripto

Beberapa corak dalam kategori AI/Data menghubungkan set data dengan blockchain dan mekanik token:

Pasaran data — platform di mana penyedia data menjual atau melesenkan set data, dengan penyelesaian on-chain dan penjejakan provenans.
Pengumpulan data berinsentif — projek yang memberi ganjaran token kepada pengguna kerana menyumbang data (melabel imej, menganotasi teks, berkongsi bacaan penderia).
Set data bersekutu — data yang kekal teragih merentas peserta dan tidak pernah dikumpulkan di satu lokasi. Model dilatih padanya di tempat asal menggunakan pembelajaran bersekutu.
DAO data — organisasi terdesentralisasi yang secara kolektif mentadbir, mengkurasi, dan memonetisasi set data yang dikongsi.

Model-model ini cuba menyelesaikan masalah yang sebenar: data berlabel berkualiti tinggi adalah mahal dan sering dikawal oleh beberapa syarikat besar. Insentif token berpotensi mendemokrasikan sumbangan data — walaupun kualiti data yang diberi insentif mesti disahkan dengan teliti.

Pengumpulan dan pelabelan data

Data mentah jarang tiba dalam keadaan sedia untuk latihan. Ia mesti dikumpul, dibersihkan, diformat, dan sering dilabel oleh pekerja manusia atau sistem automatik. Saluran paip ini — pengumpulan dan pelabelan data — dengan sendirinya merupakan AI component sebenar yang muncul dalam kad projek DecAIHub.

Pelabelan pada skala besar adalah mahal dan memerlukan banyak tenaga kerja. Sesetengah projek AI kripto membina rangkaian pelabelan terdesentralisasi di mana penyumbang menganotasi data dan memperoleh ganjaran token. Kualiti label biasanya dipastikan melalui lewahan (berbilang pelabel bagi setiap contoh) dan mekanisme konsensus.

Di mana set data muncul dalam kad projek DecAIHub

Set data muncul dalam beberapa bahagian kad projek DecAIHub:

AI component — nilai berkaitan data seperti "data collection," "data labeling," atau "training data pipeline" menunjukkan projek itu bekerja secara aktif dengan set data dan bukannya hanya menggunakan model siap sedia.
Kategori — projek dalam kategori AI/Data memberi tumpuan khusus kepada infrastruktur data, pasaran data, atau penyelarasan data terdesentralisasi.
Jadual evidence — bukti Tier-1 untuk kualiti set data termasuk kad data yang diterbitkan, statistik sampel, dokumentasi metodologi pengumpulan, maklumat pelesenan, dan pautan ke set data atau repositori data yang boleh diakses secara awam.
ai_score — dalam algoritma DecAI Fit, projek yang menunjukkan kerja data sebenar dengan bukti yang diterbitkan menyumbang kepada ai_score yang lebih tinggi. Sekadar mendakwa "data proprietari" tanpa artifak yang boleh disahkan tidak berbuat demikian.

Apa yang set data sahaja tidak buktikan

Memiliki data tidak bermakna AI yang menggunakannya adalah nyata atau baik. Sesebuah projek boleh mengumpul set data yang sangat besar tetapi masih tiada model yang berfungsi, tiada saluran paip inferens, dan tiada output yang berguna.
Saiz set data bukan proksi untuk kualiti. Sejuta contoh yang tersalah label lebih buruk daripada seribu contoh yang dikurasi dengan baik.
Mendakwa "data proprietari" bukan bukti. Tanpa pendedahan sumber data, metodologi pengumpulan, atau keputusan penilaian, dakwaan itu tidak boleh disahkan. Semak rangka kerja bukti Tier-1/2/3.
Set data tidak menjelaskan mengapa token diperlukan. Penyimpanan dan akses data pada asasnya tidak memerlukan blockchain atau token.
Mengumpul data bukan latihan. Projek dengan set data yang besar tetapi tiada model, tiada saluran paip latihan, dan tiada titik akhir inferens ialah projek data, bukan projek AI.

Jangan kelirukan dengan

Latihan ialah proses yang menggunakan set data. Set data ialah input; latihan ialah operasinya.
Pengumpulan dan pelabelan data ialah saluran paip yang menghasilkan set data. Kedua-duanya berkaitan tetapi merupakan peringkat yang berasingan.
Kategori AI/Data mengklasifikasikan projek yang memberi tumpuan kepada infrastruktur data. Set data ialah konsep yang digunakan merentas semua kategori AI.
AI component menerangkan mekanisme di mana kerja AI berlaku. Set data menyalurkan input ke dalam mekanisme itu tetapi bukan mekanisme itu sendiri.
Penanda aras dan metrik kualiti menggunakan set data tertentu untuk penilaian, tetapi penanda aras ialah prosedur penilaian, bukan set data itu sendiri.

Soalan lazim

Apakah yang menjadikan set data itu baik?

Set data yang baik adalah relevan dengan tugas, cukup besar untuk meliputi ruang masalah, dilabel dengan tepat (jika terselia), bebas daripada bias sistematik, dan didokumenkan dengan baik. Dokumentasi harus merangkumi sumber data, metodologi pengumpulan, garis panduan pelabelan, batasan yang diketahui, dan sejarah versi. Dalam praktik, set data yang lebih kecil tetapi dikurasi dengan teliti sering mengatasi set data yang lebih besar tetapi bising. Prinsipnya mudah: model hanya boleh menjadi sebaik data yang dipelajarinya.

Apakah itu keracunan data?

Keracunan data ialah serangan yang disengajakan di mana pihak lawan menyuntik contoh berniat jahat ke dalam set data latihan untuk merosakkan tingkah laku model. Contohnya, penyerang mungkin menambah imej yang tersalah label untuk menyebabkan pengelas tersilap mengenal pasti input tertentu, atau menyuntik teks berat sebelah untuk membuat model bahasa menghasilkan output yang berbahaya. Keracunan data ialah kebimbangan yang serius bagi pengumpulan data terdesentralisasi, di mana penyumbang mungkin tanpa nama dan didorong oleh insentif. Mekanisme pertahanan termasuk pelabelan berlebihan, pengesanan anomali, sistem reputasi penyumbang, dan penjejakan provenans data secara kriptografi.

Bolehkah data berhak cipta digunakan untuk melatih AI?

Ini soalan undang-undang yang masih aktif tanpa jawapan sejagat. Beberapa tuntutan mahkamah berprofil tinggi sedang menguji sama ada latihan pada bahan berhak cipta merupakan penggunaan adil. Sesetengah bidang kuasa menyediakan pengecualian eksplisit untuk perlombongan teks dan data bagi tujuan penyelidikan. Dalam praktik, kebanyakan model bahasa besar dilatih pada data hasil rangkakan web yang merangkumi kandungan berhak cipta. Projek yang mendedahkan sumber data dan terma pelesenannya menunjukkan lebih banyak ketelusan berbanding yang tidak. DecAIHub menilai ketelusan data sebagai sebahagian daripada rangka kerja bukti, tetapi tidak membuat penentuan undang-undang tentang hak cipta.

Apakah itu set data sintetik?

Set data sintetik dijana oleh algoritma atau model AI lain dan bukannya dikumpul daripada sumber dunia sebenar. Data sintetik digunakan untuk menambah set data sebenar, mengisi jurang di mana data sebenar sukar didapati, atau melindungi privasi dengan menggantikan rekod sensitif dengan pengganti tiruan yang realistik. Risikonya ialah data sintetik boleh mewarisi dan menguatkan bias daripada model penjana. Model yang dilatih secara eksklusif pada data sintetik juga mungkin mengalami "model collapse" — kemerosotan kualiti yang progresif apabila setiap generasi data sintetik semakin menyimpang daripada taburan asal.

Bagaimanakah DecAIHub menilai kualiti set data?

DecAIHub tidak memberikan skor kepada set data secara langsung. Sebaliknya, ia menilai sama ada projek menyediakan bukti kerja data yang boleh disahkan sebagai sebahagian daripada penilaian keseluruhan DecAI Fit. Bukti yang menyumbang kepada ai_score termasuk kad data yang diterbitkan, metodologi pengumpulan yang didokumenkan, statistik sampel, repositori awam, dan keputusan penanda aras pada set penilaian yang diiktiraf. Dakwaan "data proprietari" atau "set data yang sangat besar" tanpa artifak sokongan dianggap tidak boleh disahkan dan tidak menaikkan skor. Rangka kerja bukti Tier-1/2/3 mentakrifkan apa yang dikira sebagai bukti.

Lihat juga

Rujukan luaran

Hugging Face -- Datasets -- repositori terbuka terbesar untuk set data pembelajaran mesin, dengan carian, penapisan, pratonton, dan dokumentasi untuk beribu-ribu set data.
Papers With Code -- Datasets -- katalog set data yang dipautkan kepada keputusan penanda aras dan kertas penyelidikan, boleh dicari mengikut tugas dan domain.
Stanford HAI -- AI Index Report -- data tahunan tentang pertumbuhan set data, arah aliran tadbir urus data, dan peranan data dalam kemajuan AI.
Google Research -- Dataset Search -- enjin carian khusus untuk set data yang diterbitkan di seluruh web, termasuk sumber akademik, kerajaan, dan komersial.
Wikipedia -- Data latihan -- penerangan asas tentang pembahagian data latihan, pengesahan, dan ujian serta peranannya dalam pembelajaran mesin.