Veri kümesi (dataset) nedir

Not: Bu belge orijinal İngilizce versiyonun otomatik bir çevirisidir.

Veri kümesi (dataset) nedir

Veri kümesi (dataset), bir AI modelini eğitmek, değerlendirmek veya test etmek için kullanılan yapılandırılmış bir veri koleksiyonudur. Makine öğreniminin üzerinde çalıştığı ham maddedir. Veri kümesi olmadan modelin öğrenebileceği hiçbir şey ve modelin çalışıp çalışmadığını ölçmenin hiçbir yolu yoktur.

Veri kümesini bir öğrencinin ders kitabı gibi düşünün. Ders kitabı hatalarla doluysa, bölümleri eksikse veya öğrencinin konuşmadığı bir dilde yazılmışsa, öğrenci ne kadar yetenekli olursa olsun kötü öğrenir. Aynı ilke AI için de geçerlidir: veri kümesinin kalitesi, boyutu, uygunluğu ve yapısı, herhangi bir modelin ulaşabileceği düzeyin üst sınırını belirler. Kötü verilerle eğitilmiş parlak bir mimari kötü sonuçlar üretir. Uygulamalı makine öğreniminin hâlâ en önemli kuralı olan garbage in, garbage out (çöp girerse çöp çıkar) ilkesinin kökeni budur.

Kısaca: veri kümesi, bir AI modelinin öğrendiği düzenlenmiş örnekler bütünüdür — ve bu verilerin kalitesi, modelin kalitesini doğrudan belirler.

Veri kümeleri nasıl oluşturulur

Bitmiş bir veri kümesi tek bir dosya veya düzgün yapılandırılmış bir veritabanı gibi görünebilir; ancak oraya ulaşmak çok aşamalı bir işlem hattı gerektirir. Her aşama, nihai modeli etkileyen kararlar içerir.

Toplama

Veriler, göreve uygun kaynaklardan toplanmalıdır. Bir büyük dil modeli için bu, web'i taramak, kitapları ve akademik makaleleri bir araya getirmek veya kod depolarını kazımak anlamına gelebilir. Kriptoya özgü bir model için bu, blokzincir işlem geçmişlerini, protokol dokümantasyonunu, yönetişim önerilerini veya sosyal medya duyarlılığını toplamak anlamına gelebilir. Kaynak seçimi, modelin neyi öğrenip neyi öğrenemeyeceğini belirler. Yalnızca İngilizce metinle eğitilmiş bir model, çok dilli sorgularda başarısız olur. Yalnızca geçmiş piyasa verileriyle eğitilmiş bir model, yeni protokol mekaniklerini kaçırır.

Temizleme

Ham toplanmış veriler gürültülüdür. Kopyalar, bozuk biçimlendirme, kodlama hataları, spam, kişisel olarak tanımlanabilir bilgiler ve konu dışı ya da zararlı içerik barındırır. Veri temizleme bu sorunları giderir veya düzeltir. Yaygın adımlar arasında tekilleştirme (neredeyse özdeş kayıtların kaldırılması), normalleştirme (biçimlerin, tarihlerin ve birimlerin standartlaştırılması), filtreleme (düşük kaliteli veya kapsam dışı örneklerin kaldırılması) ve anonimleştirme (gizlilik düzenlemelerine uymak için kişisel verilerin ayıklanması) yer alır. Temizleme zahmetlidir ama kritiktir — temizlenmemiş verilerle eğitilen modeller, sinyalle birlikte gürültüyü de öğrenir.

Etiketleme

En yaygın eğitim yaklaşımı olan gözetimli öğrenme (supervised learning) için, veri kümesindeki her örneğe doğru cevabın eklenmesi gerekir. Bir fotoğrafa "kedi" veya "köpek" gibi bir etiket gerekir. Bir işleme "sahtekârlık" veya "meşru" gibi bir etiket gerekir. Bir cümleye bir duyarlılık puanı gerekir. Bu sürece etiketleme (veya anotasyon) denir.

Etiketleme pahalı ve emek yoğundur. Genellikle örnekleri tek tek inceleyen ve ayrıntılı yönergelere göre etiket atayan insan anotasyoncular gerektirir. Kalite, yedeklilik (örnek başına birden fazla anotasyoncu) ve anotasyoncular arası uyum metrikleriyle sağlanır. Bazı kripto AI projeleri, katkıda bulunanların veri anotasyonu yapıp token ödülleri kazandığı merkeziyetsiz etiketleme ağları kurar — ancak teşvikli etiketlerin kalitesi dikkatle doğrulanmalıdır.

Etiketlerin gerekmediği veya elde edilmesinin pratik olmadığı görevler için, öz gözetimli öğrenme (self-supervised learning) eğitim sinyalini verilerin kendi yapısından çıkarır (örneğin, bir cümledeki bir sonraki kelimeyi tahmin etmek veya bir görüntünün maskelenmiş bir bölümünü yeniden oluşturmak).

Bölme

Eğitim başlamadan önce veri kümesi, örtüşmeyen alt kümelere ayrılır:

Bölüm	Amaç	Tipik oran
Eğitim kümesi	Model bu verilerden öğrenir	%70-90
Doğrulama kümesi	Eğitim sırasında ilerlemeyi izlemek ve hiperparametreleri ayarlamak için kullanılır	%5-15
Test kümesi	Eğitimden sonra, nihai performansı ölçmek için yalnızca bir kez kullanılır	%5-15

Doğrulama ve test kümeleri asla eğitime sızmamalıdır. Model eğitim sırasında test verilerini görürse, değerlendirme sonuçları anlamsız hale gelir — model cevapları fiilen ezberlemiştir. Bu ayrım, güvenilir kıyaslamalar ve kalite metrikleri için temel bir gerekliliktir.

Sürümleme

Veri kümeleri durağan değildir. Yeni veriler toplandıkça büyür, sorunlu örnekler kaldırıldıkça küçülür ve etiketleme yönergeleri değiştikçe evrilir. Veri kümesi sürümleme, eğitim çalıştırmalarının yeniden üretilebilmesi ve karşılaştırılabilmesi için bu değişiklikleri izler. Bir veri kümesinin 2.3 sürümüyle eğitilmiş bir model, 1.0 sürümüyle eğitilmiş bir modelden farklı sonuçlar üretmelidir ve bu fark izlenebilir olmalıdır. DVC (Data Version Control), Hugging Face Datasets ve Git LFS gibi araçlar, ekiplerin veri kümesi sürümlerini sistematik olarak yönetmesine yardımcı olur.

Veri kümesi türleri

Veri kümeleri, nasıl etiketlendiklerine, kimin oluşturduğuna ve ne için kullanıldıklarına göre değişir. Bu türleri anlamak, kripto projelerindeki AI iddialarını değerlendirirken yardımcı olur.

Etiketli ve etiketsiz

Etiketli veri kümeleri, her örnek için doğru cevabı içerir. Etiketli bir görüntü veri kümesi, her görüntüyü bir sınıf etiketiyle eşleştirir; etiketli bir metin veri kümesi, her cümleyi bir duyarlılık puanı veya varlık etiketleriyle eşleştirir. Etiketli veriler, en yaygın ve en iyi anlaşılmış eğitim paradigması olan gözetimli öğrenmeyi mümkün kılar.
Etiketsiz veri kümeleri, anotasyonsuz ham koleksiyonlardır — web metni, görüntüler, işlem kayıtları, sensör okumaları. Gözetimsiz öğrenmede (yönlendirme olmadan yapı bulma) ve modern LLM'lerin ön eğitiminin yapıldığı yöntem olan öz gözetimli öğrenmenin başlangıç noktası olarak kullanılırlar. Model, dış etiketlerden değil, kendi girdisinin parçalarını tahmin ederek (örneğin, bir sonraki kelimeyi tahmin etme) öğrenir.

Pratikteki çoğu AI sistemi her ikisini de kullanır: devasa etiketsiz veriler üzerinde ön eğitim, ardından alana özgü daha küçük bir etiketli veri kümesi üzerinde ince ayar.

Herkese açık ve tescilli

Herkese açık veri kümeleri, araştırma ve geliştirme için açıkça erişilebilirdir. İyi bilinen örnekler arasında ImageNet (20.000'den fazla kategoride 14 milyon etiketli görüntü), Common Crawl (birçok LLM'in temeli olarak kullanılan petabaytlarca ham web verisi) ve The Pile (EleutherAI tarafından özellikle dil modeli eğitimi için derlenmiş 825 GB'lık çeşitli bir metin derlemi) yer alır. Herkese açık veri kümeleri giriş engelini düşürür ama herkese açıktır — tek başlarına rekabet avantajı sağlamazlar.
Tescilli veri kümeleri, belirli bir kuruluş tarafından toplanır, derlenir veya lisanslanır ve kamuyla paylaşılmaz. Bir kripto analitik şirketi, etiketlenmiş DeFi işlemlerinden oluşan tescilli bir veri kümesi oluşturabilir. Tescilli veriler gerçek bir rekabet avantajı sağlayabilir, ancak "tescilli veri" iddialarını dışarıdan doğrulamak zordur. Kaynaklar, metodoloji veya örneklem istatistikleri açıklanmadan bu iddia doğrulanamaz.

Sentetik veri kümeleri

Sentetik veri, gerçek dünya kaynaklarından toplanmak yerine algoritmalar veya başka AI modelleri tarafından üretilir. Üretken bir model, gerçek bir veri kümesini zenginleştiren gerçekçi görüntüler, metin örnekleri veya işlem desenleri üretebilir. Sentetik veri, gerçek verinin kıt olduğu, toplanmasının pahalı olduğu veya gizlilik düzenlemeleriyle kısıtlandığı durumlarda yararlıdır. Ancak sentetik veri riskler taşır: üreticinin önyargıları varsa, sentetik veri bunları devralır; tamamen sentetik verilerle eğitilen modeller, hataların nesiller boyunca birleştiği geri besleme döngüleri (bazen "model çöküşü" olarak adlandırılır) geliştirebilir.

Kıyaslama veri kümeleri

Kıyaslama (benchmark) veri kümeleri, belirli yetenekleri ölçmek için tasarlanmış standartlaştırılmış değerlendirme kümeleridir. Doğru cevapları bilinen sabit bir test kümesi içerirler. Modeller, karşılaştırılabilir puanlar üretmek için bu kıyaslamalarla değerlendirilir. Örnekler:

Kıyaslama	Alan	Neyi ölçer
ImageNet	Bilgisayarlı görü	Görüntü sınıflandırma doğruluğu
GLUE / SuperGLUE	Doğal dil	Birden çok görevde dil anlama
MMLU	Genel bilgi	57 konuda çok görevli doğruluk
HumanEval	Kod üretimi	Üretilen kodun işlevsel doğruluğu
Common Crawl	Web metni	Eğitim verisi olarak kullanılır; ölçek ve kapsam

Kıyaslama sonuçları, DecAIHub proje kartlarında DecAI Fit algoritmasındaki AI_3 bayrağının (metrikler/kıyaslamalar/kalite) kanıtı olarak görünür.

Kripto AI'da veri kümeleri neden önemli

Veri kalitesi, model kalitesini belirler. Gürültülü, önyargılı veya konu dışı verilerle eğitilmiş bir model, mimarisi ne kadar gelişmiş olursa olsun gürültülü, önyargılı veya konu dışı çıktılar üretir. Kripto AI projeleri için bunun somut sonuçları vardır:

Güncelliğini yitirmiş protokol dokümantasyonuyla eğitilmiş bir ajan, güncel sözleşme parametreleri hakkında yanlış cevaplar verir.
Yalnızca İngilizce metinle eğitilmiş bir duyarlılık analizörü, çok dilli kripto topluluklarında başarısız olur.
Eksik zincir üstü verilerle eğitilmiş bir risk modeli, kritik işlem desenlerini kaçırır.

Bir projenin AI iddialarını değerlendirirken veri kümesi kritik bir parçadır. Veri kaynaklarını, toplama yöntemlerini ve kalite kontrollerini açıklayan bir proje, modelin neyden öğrendiğini açıklamadan "AI"dan söz eden bir projeden daha fazla AI derinliği gösterir.

Kripto AI'da merkeziyetsiz veri

AI/Data kategorisindeki çeşitli desenler, veri kümelerini blokzincir ve token mekanikleriyle ilişkilendirir:

Veri pazar yerleri — veri sağlayıcıların veri kümelerini sattığı veya lisansladığı, zincir üstü uzlaşma ve köken takibi olan platformlar.
Teşvikli veri toplama — veri katkısı (görüntü etiketleme, metin anotasyonu, sensör okumalarını paylaşma) karşılığında kullanıcıları tokenlarla ödüllendiren projeler.
Federatif veri kümeleri — katılımcılar arasında dağıtık kalan ve asla tek bir yerde toplanmayan veriler. Modeller, federatif öğrenme kullanılarak veriler yerinde eğitilir.
Veri DAO'ları — paylaşılan veri kümelerini kolektif olarak yöneten, derleyen ve paraya çeviren merkeziyetsiz organizasyonlar.

Bu modeller gerçek bir sorunu çözmeye çalışır: yüksek kaliteli etiketli veriler pahalıdır ve genellikle birkaç büyük şirket tarafından kontrol edilir. Token teşvikleri, veri katkısını potansiyel olarak demokratikleştirebilir — ancak teşvikli verilerin kalitesi dikkatle doğrulanmalıdır.

Veri toplama ve etiketleme

Ham veriler nadiren eğitime hazır gelir. Toplanması, temizlenmesi, biçimlendirilmesi ve çoğu zaman insan çalışanlar veya otomatik sistemler tarafından etiketlenmesi gerekir. Bu işlem hattı — veri toplama ve etiketleme — DecAIHub proje kartlarında görünen gerçek bir AI bileşenidir.

Ölçekli etiketleme pahalı ve emek yoğundur. Bazı kripto AI projeleri, katkıda bulunanların veri anotasyonu yapıp token ödülleri kazandığı merkeziyetsiz etiketleme ağları kurar. Etiketlerin kalitesi genellikle yedeklilik (örnek başına birden fazla etiketleyici) ve konsensüs mekanizmalarıyla sağlanır.

Veri kümeleri DecAIHub proje kartlarında nerede görünür

Veri kümeleri, bir DecAIHub proje kartının birden fazla bölümünde ortaya çıkar:

AI component — "veri toplama", "veri etiketleme" veya "eğitim verisi işlem hattı" gibi verilerle ilgili değerler, projenin yalnızca hazır modelleri tüketmek yerine veri kümeleriyle aktif olarak çalıştığını gösterir.
Kategori — AI/Data kategorisindeki projeler özellikle veri altyapısına, pazar yerlerine veya merkeziyetsiz veri koordinasyonuna odaklanır.
Kanıt tablosu — veri kümesi kalitesi için Tier-1 kanıtlar arasında yayımlanmış veri kartları, örneklem istatistikleri, toplama metodolojisi dokümantasyonu, lisanslama bilgileri ve halka açık veri kümelerine veya veri depolarına bağlantılar yer alır.
ai_score — DecAI Fit algoritmasında, yayımlanmış kanıtlarla gerçek veri çalışması gösteren bir proje daha yüksek bir ai_score'a katkıda bulunur. Doğrulanabilir eserler olmadan yalnızca "tescilli veri" iddiasında bulunmak katkı sağlamaz.

Tek başına bir veri kümesi neyi kanıtlamaz

Veriye sahip olmak, onu kullanan AI'nın gerçek veya iyi olduğu anlamına gelmez. Bir proje devasa bir veri kümesi toplayabilir ve yine de çalışan bir modeli, bir çıkarım (inference) işlem hattı ve yararlı bir çıktısı olmayabilir.
Veri kümesi boyutu, kalitenin göstergesi değildir. Yanlış etiketlenmiş bir milyon örnek, iyi derlenmiş bin örnekten daha kötüdür.
"Tescilli veri" iddiası kanıt değildir. Veri kaynakları, toplama metodolojisi veya değerlendirme sonuçları açıklanmadan bu iddia doğrulanamaz. Tier-1/2/3 kanıt çerçevesine bakın.
Bir veri kümesi, tokenın neden gerekli olduğunu açıklamaz. Veri depolama ve erişim, doğası gereği bir blokzincir veya token gerektirmez.
Veri toplamak eğitim değildir. Büyük bir veri kümesine sahip ama modeli, eğitim işlem hattı ve çıkarım uç noktası olmayan bir proje, bir veri projesidir; bir AI projesi değildir.

Karıştırmayın

Eğitim (training), veri kümesini tüketen süreçtir. Veri kümesi girdidir; eğitim ise işlemdir.
Veri toplama ve etiketleme, veri kümesini üreten işlem hattıdır. Bunlar ilişkili ama ayrı aşamalardır.
AI/Data kategorisi, veri altyapısına odaklanan projeleri sınıflandırır. Veri kümesi ise tüm AI kategorilerinde kullanılan bir kavramdır.
AI bileşeni (AI component), AI çalışmasının gerçekleştiği mekanizmayı tanımlar. Veri kümesi bu mekanizmayı besler ama mekanizmanın kendisi değildir.
Kıyaslamalar ve kalite metrikleri, değerlendirme için belirli veri kümelerini kullanır; ancak kıyaslama, değerlendirme prosedürüdür, veri kümesinin kendisi değildir.

Sık sorulan sorular

İyi bir veri kümesini ne oluşturur?

İyi bir veri kümesi göreve uygundur, sorun uzayını kapsayacak kadar büyüktür, (gözetimliyse) doğru etiketlenmiştir, sistematik önyargılardan arınmıştır ve iyi belgelenmiştir. Dokümantasyon, veri kaynağını, toplama metodolojisini, etiketleme yönergelerini, bilinen sınırlamaları ve sürüm geçmişini içermelidir. Pratikte, daha küçük ama özenle derlenmiş bir veri kümesi, çoğu zaman daha büyük ama gürültülü bir veri kümesinden daha iyi performans gösterir. İlke basittir: model ancak öğrendiği veriler kadar iyi olabilir.

Veri zehirlenmesi (data poisoning) nedir?

Veri zehirlenmesi, bir saldırganın modelin davranışını bozmak için eğitim veri kümesine kötü niyetli örnekler enjekte ettiği kasıtlı bir saldırıdır. Örneğin, bir saldırgan bir sınıflandırıcının belirli girdileri yanlış tanımlamasına neden olmak için yanlış etiketlenmiş görüntüler ekleyebilir veya bir dil modelinin zararlı çıktılar üretmesini sağlamak için önyargılı metinler enjekte edebilir. Veri zehirlenmesi, katkıda bulunanların anonim ve teşvik odaklı olabileceği merkeziyetsiz veri toplama için ciddi bir endişe kaynağıdır. Savunma mekanizmaları arasında yedekli etiketleme, anomali tespiti, katkıda bulunan itibar sistemleri ve kriptografik veri köken takibi yer alır.

AI eğitmek için telifli veriler kullanılabilir mi?

Bu, evrensel bir cevabı olmayan, aktif bir hukuki sorudur. Telifli materyal üzerinde eğitimin adil kullanım (fair use) sayılıp sayılmadığını test eden birçok yüksek profilli dava vardır. Bazı yargı bölgeleri, araştırma amaçlı metin ve veri madenciliği için açık istisnalar sağlar. Pratikte, çoğu büyük dil modeli, telifli içerik barındıran web taraması verileriyle eğitilmiştir. Veri kaynaklarını ve lisanslama koşullarını açıklayan projeler, açıklamayanlardan daha fazla şeffaflık gösterir. DecAIHub, veri şeffaflığını kanıt çerçevesinin bir parçası olarak değerlendirir ancak telif hakkı konusunda hukuki kararlar vermez.

Sentetik veri kümesi nedir?

Sentetik veri kümesi, gerçek dünya kaynaklarından toplanmak yerine algoritmalar veya başka AI modelleri tarafından üretilir. Sentetik veriler, gerçek veri kümelerini zenginleştirmek, gerçek verinin kıt olduğu boşlukları doldurmak veya hassas kayıtları gerçekçi ama yapay muadillerle değiştirerek gizliliği korumak için kullanılır. Risk, sentetik verilerin üretici modeldeki önyargıları devralıp güçlendirebilmesidir. Yalnızca sentetik verilerle eğitilen modeller ayrıca "model çöküşü"nden — her sentetik veri neslinin orijinal dağılımdan giderek uzaklaşmasıyla kalitenin kademeli olarak bozulmasından — muzdarip olabilir.

DecAIHub veri kümesi kalitesini nasıl değerlendirir?

DecAIHub, veri kümelerini doğrudan puanlamaz. Bunun yerine, genel DecAI Fit değerlendirmesinin bir parçası olarak projenin veri çalışmasına dair doğrulanabilir kanıt sunup sunmadığını değerlendirir. ai_score'a katkıda bulunan kanıtlar arasında yayımlanmış veri kartları, belgelenmiş toplama metodolojisi, örneklem istatistikleri, halka açık depolar ve tanınmış değerlendirme kümelerindeki kıyaslama sonuçları yer alır. Destekleyici eserler olmadan yapılan "tescilli veri" veya "devasa veri kümesi" iddiaları doğrulanamaz olarak değerlendirilir ve puanı yükseltmez. Neyin kanıt sayıldığını Tier-1/2/3 kanıt çerçevesi tanımlar.

Ayrıca bakınız

Dış kaynaklar

Hugging Face -- Datasets -- binlerce veri kümesi için arama, filtreleme, önizleme ve dokümantasyon sunan en büyük açık makine öğrenimi veri kümesi deposu.
Papers With Code -- Datasets -- kıyaslama sonuçlarına ve araştırma makalelerine bağlı, görev ve alana göre aranabilir veri kümesi kataloğu.
Stanford HAI -- AI Index Report -- veri kümesi büyümesi, veri yönetişimi eğilimleri ve verilerin AI'daki ilerlemedeki rolü hakkında yıllık veriler.
Google Research -- Dataset Search -- akademik, resmi ve ticari kaynaklar dahil olmak üzere web'de yayımlanan veri kümelerine özel arama motoru.
Wikipedia -- Training data -- eğitim, doğrulama ve test veri bölümlerinin ve makine öğrenimindeki rollerinin temel açıklaması.