Bir AI component kanıtı olarak ne sayılır
Not: Bu belge orijinal İngilizce versiyonun otomatik bir çevirisidir.
Bir AI component kanıtı olarak ne sayılır
DecAIHub bir projenin çalışan bir AI component'e sahip olup olmadığını değerlendirirken doğrulanabilir artefaktlar arar — pazarlama metni değil, vaatler değil, marka çağrışımları değil. Bu sayfa, DecAI Fit puanının AI reality eksenini güçlendiren kanıt türlerini en güçlüsünden en zayıfına doğru sıralar.
Kısaca: AI kanıtı, inceleyebileceğiniz, test edebileceğiniz veya bağımsız olarak doğrulayabileceğiniz artefaktlar demektir — kod, dokümantasyon, metodolojisi olan metrikler, çalışan demolar ve üçüncü taraf değerlendirmeleri.
Tier-1 kanıtı (en güçlü)
Tier-1 kaynakları, projenin kendisi tarafından yayımlanan veya kontrol edilen artefaktlardır. AI reality ekseni için en güçlü Tier-1 kanıtları şunları içerir:
- AI/ML kodu içeren herkese açık depo — model eğitim betikleri, çıkarım mantığı, veri hatları, ön işleme adımları. Commit'leri, sürümleri ve testleri olan bir depo, yalnızca README içeren bir yer tutucu depodan çok daha güçlüdür.
- Teknik dokümantasyon — model mimarisinin, girdi/çıktı formatlarının, model sürümlerinin ve güncelleme geçmişinin açıklamaları. Bu, "hangi model, nasıl çalışıyor ve hangi sürüm çalışıyor" sorularını yanıtlar.
- Metodolojisi olan kalite metrikleri — neyin, hangi veriler üzerinde, ne zaman ve modelin hangi sürümüyle ölçüldüğünü belirten yayımlanmış benchmark'lar veya değerlendirme sonuçları. Bu bağlamı olmayan metrikler kanıt değildir.
- Çalışan demolar veya uç noktalar — AI component'in test edilebileceği herkese açık bir arayüz, API veya sanal alan. Gerçek girdileri işleyip AI odaklı çıktılar döndüren bir demo doğrudan kanıttır.
- Denetim raporları veya üçüncü taraf değerlendirmeleri — tanınmış bir kuruluş tarafından model kalitesinin, adilliğinin, güvenliğinin veya performansının bağımsız değerlendirmeleri.
Tier-1 kanıtını güçlendiren kalıplar
Tüm Tier-1 artefaktları eşit derecede ikna edici değildir. Gözlemlenebilir birkaç kalıp kanıtı daha güvenilir kılar:
- Commit geçmişi derinliği. Aylarca veya yıllarca süren artımlı commit'ler, pull request'ler, kod incelemeleri ve sürümlenmiş yayınlar içeren bir depo, sürekli mühendislik çabasını gösterir. Tek seferlik toplu bir yükleme çok daha az ağırlık taşır.
- Test kapsamı ve CI hatları. Model çıkarımı, veri doğrulama ve entegrasyon uç noktaları için otomatik testler, bir kavram kanıtından ziyade üretim düzeyinde bir sistemi işaret eder.
- Sürümlenmiş modeller ve değişiklik günlükleri. Dokümantasyon hangi model sürümünün dağıtıldığını, sürümler arasında neyin ve neden değiştiğini izlediğinde, aktif bir geliştirme döngüsüne sahip yaşayan bir sisteme işaret eder.
- Yeniden üretilebilir çıktılar. Bir demo veya API, aynı girdiler için oturumlar arasında tutarlı, açıklanabilir sonuçlar döndürüyorsa, bu tek seferlik bir gösterimden daha güçlüdür.
- AI mantığının şablon koddan ayrılması. AI/ML modüllerinin — ön yüz iskeletinden, dağıtım betiklerinden veya token sözleşmelerinden ayrı olarak — açıkça tanımlanabildiği bir kod tabanı, AI component'in gerçekte ne yaptığını doğrulamayı kolaylaştırır.
Tier-2 kanıtı (bağlam, kanıt değil)
Tier-2 kaynakları bağlam sağlar ancak tek başlarına çalışan bir AI component'i kanıtlamaz:
- Ekibin AI yaklaşımını, mimariyi veya eğitim sürecini anlattığı röportajlar veya AMA'lar.
- AI yeteneklerinden bahseden toplayıcı açıklamaları (CoinGecko, DeFiLlama vb.).
- AI sağlayıcıları veya araştırma laboratuvarlarıyla ortaklık duyuruları.
Tier-2 kanıtı bir Tier-1 bulgusunu destekleyebilir ancak onun yerini alamaz. Bir AI şirketiyle ortaklık, projenin kendi çalışan AI'sına sahip olduğunu kanıtlamaz.
Tier-2 kanıtı ne zaman önemlidir
Tier-2 kaynakları, Tier-1 artefaktlarını desteklediklerinde veya Tier-1'in tek başına belirsiz bıraktığı boşlukları doldurduklarında anlamlı hale gelir:
- Ekibin, dokümantasyonlarında tanımlanan mimariyi adım adım anlattığı teknik bir röportaj, Tier-1 belgelerine güvenilirlik katar.
- Projenin kendi teknik dokümanında tanımlanan yeteneklerle örtüşen bir toplayıcı listelemesi tutarlılığa işaret eder.
- Projenin herkese açık API'sinin davranışını yansıtan canlı demolu bir konferans konuşması, demonun senaryolaştırılmadığını pekiştirir.
Ancak altta yatan Tier-1 artefaktları olmadan, en ikna edici Tier-2 kaynakları bile bağlam olarak kalır — anlamak için değerli, doğrulama için yetersiz.
Ne sayılmaz
Bazı artefaktlar kanıt gibi görünür ancak çalışan bir AI component'i göstermez. Yaygın yanlış sinyaller arasında pazarlama metni, boş depolar, metodolojisi olmayan metrikler ve tescilli mantığı olmayan API wrapper'ları yer alır. Ayrıntılı liste için bkz. AI kanıtı olarak ne sayılmaz.
DecAIHub AI kanıtını nasıl kaydeder: AI_0'dan AI_4'e bayraklar
AI reality ekseni, hangi kanıtın bulunduğunu yakalamak için beş ikili bayrak kullanır:
| Bayrak | Neyi kontrol eder | Değer |
|---|---|---|
| AI_0 | En azından Tier-1 düzeyinde bir AI niyeti beyanı var mı (yol haritası, resmî güncelleme) | 1 / 0 |
| AI_1 | AI'nın ne yaptığına dair bir açıklama var mı | 1 / 0 |
| AI_2 | Demolar veya çalışan örnekler var mı | 1 / 0 |
| AI_3 | Bağlamı olan kalite metrikleri var mı (ne, hangi veriler üzerinde, ne zaman) | 1 / 0 |
| AI_4 | Teknik açıklama, mimari veya model sürümleri var mı | 1 / 0 |
1'e eşit bayrak sayısı arttıkça ai_score yükselir ve projenin DecAI Fit değeri iyileşir. Hiçbir bayrak ayarlanmamışsa ai_score = 0 olur ve DecAI Fit 0'ı aşamaz.
Bayrak kombinasyonları güvene nasıl eşlenir
Tekil bayraklar dar sorulara yanıt verir, ancak kombinasyonları daha eksiksiz bir resim çizer:
| Ayarlanan bayraklar | Tipik yorum |
|---|---|
| Yalnızca AI_0 | Niyet beyan edilmiş; henüz çalışan bir AI doğrulanmamış |
| AI_0 + AI_1 | AI sözcüklerle tanımlanmış; demo yok, metrik yok, mimari yok |
| AI_0 + AI_1 + AI_2 | Çalışan bir demo var; hâlâ metrik veya teknik derinlik yok |
| AI_0 + AI_1 + AI_2 + AI_4 | Demo ve mimari mevcut; kalite ölçümü eksik |
| Beşi birden (AI_0'dan AI_4'e) | En güçlü kanıt profili: niyet, açıklama, demo, metrikler ve mimari |
Bir projenin sıfırdan farklı bir ai_score alması için beş bayrağın tamamını karşılaması gerekmez. Tek başına AI_0 bile (Tier-1 kaynaklı niyet) ai_score = 1 sağlar. Ancak daha yüksek bayraklar, DecAI Fit için daha yüksek bir tavana katkıda bulunur.
Metrikler için metodoloji neden önemlidir
Tek başına bir sayı — "%95 doğruluk", "düşük gecikme", "son teknoloji" — bağlam olmadan kanıt değildir. DecAIHub, metrikleri yalnızca dört soruyu yanıtladıklarında anlamlı kabul eder: ne ölçüldü (doğruluk, F1, gecikme, perplexity), hangi veriler üzerinde (herkese açık benchmark, tescilli test kümesi, üretim trafiği), ne zaman (değerlendirme tarihi) ve sonucu modelin hangi sürümü üretti. Bunlar olmadan bir metrik kanıt değil, iddiadır.
Dört soru testi
Yayımlanan herhangi bir metriği değerlendirirken şu kontrol listesini uygulayın:
- Ne — Metrik adlandırılmış ve tanımlanmış mı? "Doğruluk" belirsizdir; "top-1 sınıflandırma doğruluğu" belirlidir.
- Hangi veriler üzerinde — Değerlendirme veri kümesi belirtilmiş mi? Herkese açık bir benchmark bağımsız yeniden üretime olanak tanır; tescilli bir test kümesi tanımaz, ancak adını vermek sessizlikten iyidir.
- Ne zaman — Bir tarih veya sürüm etiketi var mı? Modeller zamanla değişir; zaman damgası olmayan bir metrik mevcut sistemi yansıtmayabilir.
- Hangi sürüm — Model veya sistem sürümü belirtilmiş mi? Bir proje birden fazla model yinelemesi yayınladıysa, metrik belirli birine bağlanmalıdır.
Bu dördünden herhangi biri eksikse, metrik DecAIHub'ın değerlendirmesinde "kanıt"tan "iddia"ya düşer. Proje kartında not edilmiş bir iddia olarak yine de yer alabilir, ancak AI_3 bayrağının 1'e ayarlanmasına katkıda bulunmaz.
Bu kontrol listesi nasıl kullanılır
Bir proje kartını okurken, Evidence (kanıt) tablosunun yukarıdaki Tier-1 listesindeki artefaktlara atıfta bulunup bulunmadığını kontrol edin. Kart ai_score = 0 gösteriyorsa veya bir AI-washing endişesi işaretliyorsa, bu, doğrulama tarihi itibarıyla bu artefaktların bulunamadığı anlamına gelir — bu projeye yönelik bir suçlama değildir.
Yeni Tier-1 artefaktları ortaya çıktığında kart güncellenir ve puan değişebilir.
Okuyucular için pratik adımlar
- Evidence tablosuyla başlayın. Depolara, dokümantasyona veya demolara bağlantılar arayın. Evidence tablosu boşsa veya yalnızca Tier-2/3 kaynaklarına atıfta bulunuyorsa, AI reality iddiası doğrulanmamıştır.
- Artefaktların içine girin. Bir depo bağlantısı ancak içindekiler kadar iyidir. Açın ve yalnızca README veya dağıtım betikleri değil, AI/ML kodu arayın.
- Doğrulama tarihini kontrol edin. Kanıt bir anlık görüntüdür. Altı ay önce doğrulanmış bir kart, projenin mevcut durumunu yansıtmayabilir; bu nedenle DecAIHub 550 gün sonra bir bayatlama cezası uygular.
- Anti-kalıp listesiyle çapraz referans yapın. AI kanıtı olarak ne sayılmaz sayfasındaki kalıpları görürseniz kanıtı buna göre tartın.
Bu kontrol listesi tek başına neyi kanıtlamaz
- Tüm kanıt kriterlerini karşılamak, AI'nın yüksek kaliteli veya son kullanıcılar için yararlı olduğunu kanıtlamaz. Artefaktların var olduğunu ve incelenebileceğini kanıtlar.
- Projenin kendisinden gelen Tier-1 kanıtı bağımsızlığı kanıtlamaz. Kendi beyan ettiği veriler ideal olarak üçüncü taraf değerlendirmesiyle desteklenmelidir.
- Eksiksiz bir kanıt kaydı, token'ın gerekli olduğunu kanıtlamaz. AI reality, DecAI Fit'in bir eksenidir; token necessity bir diğeridir.
Sık sorulan sorular
Bir kripto projesinde en eksiksiz AI kanıtı olarak ne sayılır?
Anlamlı bir commit geçmişine sahip AI/ML kodu içeren herkese açık bir depo ile tam metodoloji içeren (neyin, hangi veriler üzerinde, ne zaman ve hangi model sürümüyle ölçüldüğü) yayımlanmış kalite metriklerinin birleşimi. Bu ikisi mevcut olduğunda ve çalışan bir demo veya API uç noktasıyla desteklendiğinde, kanıt profili en eksiksiz halindedir. Hiçbir artefakt tek başına kesin değildir — doğrulanmış AI'yı doğrulanmamış iddialardan ayıran, kodun, metriklerin ve test edilebilir çıktıların birleşimidir.
Bir proje açık kaynak kod olmadan gerçek AI'ya sahip olabilir mi?
Evet. Açık kaynak kod, kanıtın en şeffaf biçimidir ancak tek biçimi değildir. Bir proje AI'yı ayrıntılı teknik dokümantasyonla, metodolojili yayımlanmış benchmark'larla, doğrulanabilir AI odaklı çıktılar döndüren çalışan API'lerle veya bağımsız üçüncü taraf değerlendirmeleriyle gösterebilir. Ancak en azından incelenebilir bir artefakt — kod, demo veya değerlendirme — olmadan, DecAIHub'ın (ya da başka birinin) doğrulayabileceği hiçbir şey yoktur. Bir proje ne kadar kapalıysa, güvenilirlik oluşturmak için Tier-2 desteklerine (röportajlar, toplayıcı verileri, konferans gösterimleri) o kadar bağımlıdır.
Çalışan bir demo, AI'nın gerçek olduğunu kanıtlar mı?
Çalışan bir demo güçlü bir kanıttır, ancak tek başına kesin bir kanıt değildir. İyi tasarlanmış bir ön yüz; sabit kodlanmış yanıtlar, önceden hesaplanmış sonuçlar veya üçüncü taraf bir API'ye gizli çağrılar kullanarak AI benzeri davranışı taklit edebilir. DecAIHub, demolara API dokümantasyonu, model sürümü tanımlayıcıları veya farklı girdilerde yeniden üretilebilir çıktılar eşlik ettiğinde onları daha güçlü kanıt olarak değerlendirir. Rastgele kullanıcı girdilerini kabul edip çeşitli, bağlama uygun çıktılar döndüren bir demo, önceden belirlenmiş örnekler içeren yönlendirilmiş bir gösterimden daha ikna edicidir.
Sıfırdan farklı bir ai_score için gereken asgari kanıt nedir?
Asgari gereklilik, Tier-1 düzeyinde bir AI niyeti beyanıdır — AI ile ilgili planları açıkça belirten bir yol haritası girdisi, resmî blog yazısı veya dokümantasyon sayfası. Bu, AI_0 bayrağını 1'e ayarlar ve ai_score = 1 üretir. Bu mümkün olan en düşük sıfır dışı puan olsa da, resmî olarak bir AI yönüne bağlanmış projeleri AI'dan hiç bahsetmemiş olanlardan ayırır. Daha yüksek puanlara ulaşmak için projenin ek artefaktlar sunması gerekir: AI component açıklamaları (AI_1), demolar (AI_2), metodolojili metrikler (AI_3) ve teknik mimari ayrıntıları (AI_4).
Dış kaynaklar
- CommonMark specification — proje kartları ve açıklayıcılar dahil tüm DecAIHub wiki sayfalarında kullanılan biçimlendirme standardı.
- Model Cards for Model Reporting (Mitchell vd., 2019) — AI model performansını, kullanım amacını ve sınırlılıklarını belgelemek için temel bir çerçeve; DecAIHub'ın kanıt kriterlerinin arkasındaki şeffaflık ilkeleriyle yakından uyumludur.
- NIST AI Risk Management Framework — dokümantasyon, test etme ve değerlendirme metodolojisi rehberliği dahil, AI risklerini belirlemeye ve yönetmeye yönelik bir ABD hükümet çerçevesi.
No comments to display
No comments to display