Kendi modelimizi neden eğitiyoruz?

Genel sohbet asistanları Türkçeyi iyi kullanıyor. Bir e-postayı düzgün yazıyor, uzun bir metni makul biçimde özetliyor. Ceza dosyasına gelince iş değişiyor. Bu notta, kendi deneyimimize göre nerede zorlandıklarını, buna karşı ne yaptığımızı ve bu yolun neye mal olduğunu anlatıyoruz.

Genel asistan ceza dosyasında nerede zorlanıyor?

Madde ve fıkra atıfları. Dil modelleri metni, eğitimde gördükleri örüntülere dayanarak kelime kelime üretir. Bir kanun maddesini bir veritabanından çekmezler. Bu yüzden bir fıkranın numarasını ya da içeriğini akıcı ama yanlış biçimde yazabilirler. Günlük bir yazışmada küçük kalan bu hata, savunma dilekçesinde ciddi bir sorun.

Tutanak ve dilekçe dili. İfade tutanağı, iddianame ve bilirkişi raporu kendine özgü kalıplarla yazılır. Genel modeller bu tür metinleri eğitimlerinde gündelik Türkçeye göre çok daha az görmüş olabilir. Oysa bu dilde küçük ayrımlar önemli: bir beyanın sanığa mı tanığa mı ait olduğu, bir tespitin tutanağa mı rapora mı dayandığı.

UDF ve dosyanın yapısı. UYAP’tan inen dosya düz metin değil; UDF belgeleri, PDF’ler ve taranmış evrak bir arada gelir. Bunları bir sohbet penceresine tek tek yapıştırmak mümkün. Ama belgeleri birbirine bağlamak ve cevabın hangi sayfadan geldiğini takip etmek ayrı bir iş.

Kaynak. Genel bir asistanın cevabının dosyanın hangi sayfasına dayandığını görmek çoğu zaman mümkün değil. Avukat için dayanağı görünmeyen cümle, baştan kontrol edilmesi gereken cümle demek.

Kendi modelimizi eğitmek ne demek?

Sıfırdan bir dil modeli eğitmiyoruz; bu çok büyük veri ve hesaplama gücü isteyen bir iş. Yaptığımız, var olan bir modeli belirli bir alandaki örneklerle yeniden eğitmek. İngilizcede buna “fine-tuning” deniyor, Türkçede ince ayar diyebiliriz.

Modeli Türkçe ceza dosyası, ifade ve UDF üzerinde eğitiyoruz. İnce ayarın iyi yaptığı iş, bir modeli belli bir alanın diline, kalıplarına ve beklenen çıktı biçimine alıştırmak. Bizim hedeflediğimiz işler de bu türden: tutanak dilini okumak, bir olayı tarih, yer ve kişi bilgisiyle ayırmak, cevabın dayandığı yeri belirtmek.

İnce ayarın yapmadığı şeyi de açık söyleyelim: modeli bir bilgi bankasına çevirmez. Eğitilmiş bir model de bir madde numarasını yanlış hatırlayabilir. Bu yüzden modelin hafızasına güvenmiyoruz. Dosyaya sorduğunuz sorunun cevabı dosyanızdaki belgelere dayanıyor ve hangi belgenin hangi satırlarına dayandığını belirtiyor. Kanun metinleri de bilgisayarınızda duruyor; belgedeki bir atfa tıklayıp maddenin kendisini okuyabiliyorsunuz.

Neden bulutta değil?

Aynı ince ayarı yapıp modeli bir sunucuda çalıştırmak teknik olarak mümkün, hatta bizim için daha kolay olurdu. Ama o zaman her soru, dosyanın ilgili parçalarıyla birlikte o sunucuya gitmek zorunda kalır. Ceza dosyası, Avukatlık Kanunu m. 36 kapsamındaki sırlarla ve KVKK m. 6’nın özel nitelikli saydığı verilerle dolu. Bunun neden sorun olduğunu meslek sırrı yazısında ayrıntılı anlattık.

Biz modeli bilgisayarınıza koymayı seçtik. Model internete bağlanmıyor; dosya üzerinde çalışmak için bağlantı gerekmiyor. İnternet yalnızca ilk kurulumda ve siz onay verdiğinizde yeni model sürümünü indirirken devreye giriyor. Güncelleme isteğe bağlı; eski sürümle çalışmaya devam edebilirsiniz. Ayrıntılar gizlilik sayfasında.

Bu tercihin bedeli

• Model küçük. Bir dizüstünde çalışabilen bir model, veri merkezlerinde çalışan en büyük modellerden çok daha küçük. Genel bilgisi ve uzun, çok adımlı akıl yürütmesi onlarla aynı seviyede değil. İnce ayarı da bu yüzden yapıyoruz: modeli her konuda iyi olmaya değil, ceza dosyası üzerindeki dar bir iş kümesinde işe yarar olmaya yönlendiriyoruz.
• Donanım istiyor. Model boyutu profile göre 2,5 GB ile 22 GB arasında değişiyor. En hafif profil en az 6 GB RAM istiyor; en güçlüsü en az 32 GB RAM ve güçlü bir ekran kartı. Büyük modeller genel olarak daha yeteneklidir ama daha fazla bellek ister. Tablo ürün sayfasında.
• Hız bilgisayara bağlı. Cevabın ne kadar sürede geldiği donanımınıza göre değişiyor. Bulut servislerinin arkasındaki güçlü sunucuların hızını her bilgisayarda beklemek gerçekçi değil.
• Güncelleme sizin onayınızla geliyor. Modeli mevzuat ve dosya yapısı değiştikçe yeniden eğitip dağıtıyoruz. Yeni sürüm siz indirmedikçe gelmiyor. Bu gizlilik açısından doğru, ama güncel kalmak için sizin de bir adım atmanız gerekiyor.

Ne iddia etmiyoruz?

Modelimizin her soruda doğru cevap verdiğini iddia etmiyoruz, bir doğruluk oranı da vermiyoruz. Bir modelin ne kadar iyi çalıştığı dosyanın türüne ve belgelerin okunaklılığına göre değişir. Kaynak göstermeyi bu yüzden ürünün merkezine koyduk: tiro bir cevap verdiğinde, belirttiği belgeyi ve satırları kendiniz kontrol edebiliyorsunuz. Savunmayı kuran ve son sözü söyleyen yine avukat.