En İyi Yapay Zekâ Modeli Hangisi? Kendi Eval Sisteminizi Kurun

Bir yapay zekâ modeli benchmarklarda birinci olabilir. Peki sizin işinizi ilk denemede bitirebiliyor mu?

Bir önceki yazıda, yoğun yapay zekâ kullanımından çıkardığım yedi temel dersi paylaşmıştım. Bu derslerden biri özellikle önemliydi: Genel benchmarkları izlemek yerine kendi gerçek görevlerimizden küçük bir eval sistemi kurmak.

Şimdi o fikri birlikte uygulamaya çevireceğiz. “Eval” kelimesi ilk bakışta yalnızca araştırma laboratuvarlarının kullanacağı teknik bir kavram gibi görünebilir. Aslında yapacağımız şey oldukça basit: Yapay zekâya düzenli olarak verdiğiniz birkaç işi seçip, iyi sonucun ne olduğunu önceden tanımlayacak ve farklı modellerin bu işleri ne kadar güvenilir tamamladığını ölçeceğiz.

En iyi model, internette en yüksek puanı alan değil; sizin gerçek işinizi en az müdahaleyle kabul edilebilir kalitede tamamlayan modeldir.

Eval nedir, ne değildir?

Eval, evaluation kelimesinin kısaltmasıdır. Türkçede değerlendirme veya sınama sistemi diyebiliriz. Bir modele görev verir, çıktısını önceden belirlediğiniz ölçütlere göre kontrol eder ve sonucu kaydedersiniz.

Burada eval ile tek seferlik denemeyi birbirinden ayıralım. Yeni bir model çıktığında ona rastgele bir soru sorup cevabını beğenmek test değildir. Çünkü başka bir gün farklı soru, farklı bağlam ve farklı beklentiyle denediğinizde karşılaştırabileceğiniz ortak bir zemin kalmaz.

İyi bir eval üç soruya net cevap verir:

1. Görev neydi? Modele hangi girdi ve bağlam verildi?
2. Başarı neye benziyordu? Hangi koşullar mutlaka sağlanmalıydı?
3. Gerçekte ne oldu? Kaç deneme, ne kadar süre ve ne kadar insan müdahalesi gerekti?

Bu üç bilgiyi aynı şekilde kaydettiğinizde modelleri hislerinize göre değil, kendi işinizden gelen kanıtlara göre değerlendirmeye başlarsınız.

İlk adım: Gerçek bir görev seçin

Eval kurarken yapılan ilk hata yapay ve fazla kolay sorular seçmektir. Modelin başkentleri bilmesi, basit bir fonksiyon yazması veya kısa bir metni özetlemesi günlük işinizde karar vermenize yardımcı olmayabilir.

Geçen hafta gerçekten yaptığınız işleri düşünün. Tekrar eden, sonucunu kontrol edebildiğiniz ve bir modele devretmek istediğiniz bir görev seçin. Örneğin:

• Bir müşteri e-postasını sınıflandırıp cevap taslağı hazırlamak
• Bir toplantı kaydından kararları ve sorumluları çıkarmak
• Belirli kaynaklardan araştırma yapıp editoryal yazı oluşturmak
• Bir hata kaydından sorunun nedenini bulup düzeltme önermek
• Bir ürün sayfasını belirlenen tasarıma göre geliştirmek
• Bir veri dosyasını temizleyip tutarsız kayıtları raporlamak

İlk eval setiniz bütün mesleğinizi kapsamak zorunda değil. Tek bir görev türünü doğru ölçmek, on farklı işi yüzeysel ölçmekten daha öğreticidir.

İkinci adım: Başarının kapısını ve kalite merdivenini ayırın

Şimdi iyi sonucun ne olduğunu tanımlayacağız. Burada iki farklı ölçüm kullanmanızı öneriyorum: zorunlu koşullar ve kalite puanları.

Zorunlu koşullar bir kapı gibi çalışır. Bunlardan biri sağlanmıyorsa iş teslim edilmiş sayılmaz. Örneğin bir içerik görevi için:

• Kaynakta bulunmayan bilgi uydurulmamalı.
• İstenen konu ve hedef kitle dışına çıkılmamalı.
• Bütün dış bağlantılar çalışmalı.
• Metin belirlenen dilde ve uzunluk aralığında olmalı.
• Alıntılar doğru kaynağa bağlanmalı.

Kalite puanları ise kapıdan geçen iki sonuç arasındaki farkı görmenizi sağlar. Her başlığa 1 ile 5 arasında puan verebilirsiniz:

Bu ayrım önemlidir. Çok akıcı yazılmış ama bilgi uyduran bir metin yüksek kalite sayılmaz; zorunlu kapıdan geçemez. Doğru fakat zor okunan iki metin arasında ise kalite puanı karar vermenizi sağlar.

Üçüncü adım: On örnekten küçük bir set oluşturun

Başlangıç için yüzlerce örneğe ihtiyacınız yok. Aynı görev türünden 10 gerçek örnek seçin. Ancak hepsi birbirine benzemesin. Kolay, orta ve zor vakaları birlikte kullanın.

Bir toplantı özeti evali hazırladığınızı düşünelim:

• Üç örnek kısa ve net toplantılardan gelsin.
• Dört örnekte konuşmacılar aynı konuda farklı görüşler sunsun.
• İki örnekte karar ile öneri birbirine yakın olsun.
• Bir örnekte özellikle hiçbir kesin karar alınmamış olsun.

Son örnek çok değerlidir. Modelin her toplantıda karar varmış gibi davranıp davranmadığını gösterir. Eval setindeki zor örnekler modelin yalnızca ne bildiğini değil, ne zaman durup “bu bilgi yok” diyebildiğini de ölçmelidir.

Örnekleri seçtikten sonra görev metnini, gerekli bağlamı ve beklenen sonucu kaydedin. Aynı testleri aylar sonra yeni bir modelle tekrar çalıştırabilmeniz için girdileri değiştirmeden saklayın.

Dördüncü adım: Modelleri aynı koşullarda çalıştırın

Şimdi karşılaştırmayı adil hâle getirelim. Bir modele ayrıntılı proje bilgisi verip diğerine yalnızca tek cümle yazarsanız model kapasitesini değil, bağlam farkını ölçersiniz.

Her çalıştırmada mümkün olduğunca aynı koşulları koruyun:

• Aynı görev tanımı ve kaynaklar
• Aynı araç ve internet izinleri
• Aynı çıktı biçimi
• Benzer düşünme seviyesi
• Temiz oturum veya aynı başlangıç hafızası
• Aynı süre ve yeniden deneme sınırı

Model çıktıları deterministik değildir; aynı girdiyle farklı sonuçlar üretebilir. Bu nedenle önemli görevlerde her örneği iki veya üç kez çalıştırmak daha güvenilir sonuç verir. Tek bir mükemmel veya kötü çıktı üzerinden karar vermek yerine başarı oranına bakabilirsiniz.

Mümkünse değerlendirme sırasında model adlarını gizleyin. “Bu pahalı model, iyi olması gerekir” düşüncesi puanınızı fark etmeden etkileyebilir. Çıktıları A, B ve C olarak değerlendirip model adlarını en son açmak daha temiz bir karşılaştırmadır.

Beşinci adım: Yalnızca kaliteyi değil, gerçek maliyeti ölçün

İki model aynı kalite puanını alabilir; fakat biri ilk denemede bitirirken diğeri üç tur düzeltme isteyebilir. Bu yüzden eval tablonuza yalnızca sonucun puanını değil, sonuca nasıl ulaşıldığını da ekleyin.

Gerçek görev maliyeti =
model maliyeti
+ tamamlanma süresi
+ insan müdahalesi
+ yeniden deneme sayısı
+ başarısız işin riski

Başlangıçta şu beş metriği takip etmeniz yeterli:

1. İlk denemede başarı oranı: Kaç iş düzeltme istemeden kabul edildi?
2. Ortalama kalite puanı: Kapıdan geçen sonuçların kalitesi neydi?
3. İnsan müdahalesi: Brief ve kontrol için kaç dakika harcandı?
4. Tamamlanma süresi: Model işi ne kadar zamanda bitirdi?
5. Toplam kullanım maliyeti: Başarısız denemeler dahil ne harcandı?

Ucuz modelin neden her zaman ucuz sonuç üretmediğini burada açıkça görürsünüz. Token fiyatı yarı yarıya düşük olsa bile iki kat fazla müdahale istiyorsa sizin için daha pahalı olabilir.

Altıncı adım: Hataları kalıcı testlere dönüştürün

Eval sisteminin en değerli kısmı bir kazanan seçmek değildir. Modelin tekrar eden hata biçimlerini bulmaktır.

Diyelim ki model, toplantılardaki önerileri kesin karar gibi yazıyor. Bu hatayı yalnızca o gün düzeltip geçmeyin. Hatanın görüldüğü örneği regresyon setine ekleyin ve değerlendirme kuralını açık hâle getirin:

Kural:
Yalnızca katılımcıların açıkça onayladığı maddeleri
“karar” olarak işaretle.

Test:
Kesin karar alınmayan toplantıda karar listesi boş kalmalı.

Böylece bir sonraki prompt, model veya çalışma sistemi değişikliğinde eski problemin geri gelip gelmediğini görebilirsiniz. Yazılım testlerinde olduğu gibi, her gerçek hata eval setinizi biraz daha güçlü hâle getirir.

Burada önemli bir alışkanlık kazanıyoruz: Modelin hatasını yalnızca konuşma içinde düzeltmiyor, sistemin gelecekte kontrol edeceği kalıcı bir örneğe dönüştürüyoruz.

Bir saat içinde ilk evalinizi kurun

Şimdi bütün adımları küçük bir çalışma planında birleştirelim:

1. İlk 10 dakika: Geçen hafta tekrar ettiğiniz tek bir görev seçin.
2. Sonraki 10 dakika: Beş zorunlu koşul ve üç kalite ölçütü yazın.
3. Sonraki 15 dakika: Kolay, orta ve zor toplam beş gerçek örnek bulun.
4. Sonraki 15 dakika: İki modeli aynı koşullarda çalıştırın.
5. Son 10 dakika: Çıktıları kör biçimde puanlayıp müdahale süresini kaydedin.

İlk evaliniz kusursuz olmayacak. Zaten amacı da kusursuz bir laboratuvar kurmak değil. Hangi modelin sizin işinizde neden daha iyi veya kötü olduğunu görünür hâle getirmek.

Eval sonucunu nasıl okuyacağız?

Bir model ortalama puanda önde olabilir ama zor örneklerde sürekli başarısız olabilir. Diğeri biraz daha yavaş çalışırken daha az insan kontrolü isteyebilir. Bu nedenle tek bir toplam puana bakıp karar vermeyin.

Göreve göre farklı modeller seçebilirsiniz:

• Hızlı ve geri döndürülebilir işler için düşük maliyetli model
• Yaratıcı taslaklar için daha özgür davranan model
• Uzun ve çok adımlı işler için sapma oranı düşük model
• Kritik denetim için hataları farklı açıdan yakalayan ikinci model

Amaç herkese uygulanacak tek bir model sıralaması oluşturmak değil; hangi işi hangi model ve çalışma sistemiyle yapacağınızı öğrenmektir.

Son söz

Yeni model duyurularını takip etmeye devam edebilirsiniz. Benchmarklar da teknolojinin genel yönünü anlamak için değerlidir. Fakat kendi işiniz için karar verirken en güvenilir veri, gerçek görevlerinizden gelir.

Benim bu yazıdan almanızı istediğim uygulama oldukça basit: Her gün yaptığınız tek bir işi seçin, iyi sonucun ne olduğunu yazın, birkaç gerçek örneği saklayın ve modelleri aynı koşullarda karşılaştırın. Hata gördükçe eval setinize ekleyin.

Benchmark size hangi modelin genel olarak güçlü olduğunu söyler. Kendi evaliniz ise pazartesi sabahı hangi modele iş vereceğinizi öğretir.