Teknik not
Model Damıtma Nedir? Büyük Yapay Zekâ Küçüğe Nasıl Öğretir?
Her müşteri mesajını en büyük yapay zekâ modeline göndermek zorunda mısınız? İşiniz yalnızca mesajları sınıflandırmaksa daha küçük bir model yeterli olabilir. Model damıtma, güçlü bir modelin ürettiği öğretici sinyallerle başka bir modeli eğitme yöntemidir. İngilizcede buna knowledge distillation denir.
Bu rehberde büyük modelin küçük modele nasıl öğretmenlik yaptığını, nerede işe yaradığını ve basit bir denemeyi nasıl planlayacağınızı öğreneceksiniz. Teknik ayrıntıları anlamak için matematik bilmeniz gerekmiyor.
Model damıtma nedir?
Bir ustanın çırağına örnekler üzerinden iş öğrettiğini düşünün. Usta, farklı durumlarda nasıl karar verdiğini gösterir. Çırak da bu örneklerle çalışarak benzer görevleri yapmayı öğrenir. Yapay zekâda öğretmen model yol gösterir; öğrenci model ise eğitim sırasında kendi parametrelerini değiştirir.
Öğrenci çoğu uygulamada daha küçüktür. Amaç, belirli bir görevde yeterli kaliteyi daha az kaynakla sunmaktır. Yöntem, büyük modelin dosyasını sıkıştırıp aynı zekâyı küçük bir kutuya koymak anlamına gelmez. Öğrenci tüm yetenekleri otomatik olarak devralmaz.
Öğretmen–öğrenci yaklaşımının temelini, Hinton ve çalışma arkadaşlarının bilgi damıtma makalesinde okuyabilirsiniz.
Model damıtma nasıl çalışır?
Başlangıç için iki öğretme biçimini ayırmak yeterlidir:
- Yanıtlardan öğrenme: Öğretmen, örnek sorulara yanıt veya etiket üretir. Geliştirici bunları kontrol eder ve öğrenciyi bu örneklerle eğitir.
- Olasılıklardan öğrenme: Öğrenci yalnızca son cevabı değil, öğretmenin seçeneklere verdiği olasılıkları da taklit etmeye çalışır. Bu yöntem ilgili model çıktılarının erişilebilir olmasını gerektirir.
Örneğin bir mesaj hem iade hem kargo sorununa benzeyebilir. Tek bir etiket bu yakınlığı göstermez. Olasılık dağılımı ise seçeneklerin birbirine ne kadar yakın olduğunu anlatabilir. Uygulama ve erişim koşulları hangi yaklaşımı kullanabileceğinizi belirler.
Hugging Face Distillation Trainer belgesi, öğretmenin sonraki token dağılımını taklit etmeye dayalı bir uygulamayı açıklar. Token, modelin metni işlerken kullandığı küçük parçadır.
Örnek: destek mesajlarını ayıran küçük bir model
Bir mağazaya gelen mesajları üç gruba ayırmak istediğinizi varsayalım: kargo, iade ve diğer. Aşağıdaki örnekler yalnızca yöntemi anlatmak için hazırlanmıştır; gerçek bir deney sonucu değildir.
| Müşteri mesajı | Öğretmenin önerisi | İnsan kontrolü |
|---|---|---|
| Paketim hâlâ gelmedi. | Kargo | Uygun |
| Ürünü geri göndermek istiyorum. | İade | Uygun |
| Geç gelen ürünü iade edeceğim. | İade | Etiketleme kuralına göre doğrula |
Son satır özellikle değerlidir: mesaj iki konuyu da içerir. Önce etiketleme kuralını netleştirin. Örneğin açık bir iade talebi varsa iade etiketine öncelik verin. Ardından öğretmenin önerilerini bu kurala göre inceleyin.
Kontrol ettiğiniz örneklerle öğrenciyi eğittikten sonra ona daha önce görmediği mesajlar verin. Böylece örnekleri ezberleyip ezberlemediğini ve yeni mesajlarda ne kadar başarılı olduğunu görebilirsiniz.
İlk model damıtma denemesi için 6 adım
- Tek bir görev seçin. “Her konuda yardımcı olsun” yerine “destek mesajını doğru ekibe yönlendirsin” gibi ölçülebilir bir hedef yazın.
- Başlangıç seviyesini ölçün. Küçük modeli eğitmeden önce aynı görevde deneyin. Zaten yeterince başarılıysa ek eğitim gerekmeyebilir.
- Çeşitli örnekler hazırlayın. Kısa, uzun, yazım hatalı ve belirsiz mesajları dahil edin. Kişisel bilgileri örneklerden çıkarın.
- Öğretmenin yanıtlarını kontrol edin. Hatalı etiketleri ve çelişkili örnekleri düzeltin. Büyük modelin her cevabını doğru kabul etmeyin.
- Öğrenciyi eğitin. Seçtiğiniz modelin desteklediği eğitim yöntemini kullanın. Eğitimden önce ayrı bir test kümesi ayırın.
- Kaliteyi ve maliyeti karşılaştırın. Eğitim görmemiş küçük modeli, eğitilmiş öğrenciyi ve öğretmeni aynı test mesajlarıyla değerlendirin.
Test örneklerini eğitim verisine katmayın. Birbirine çok benzeyen mesajların iki gruba da dağılması da sonucu olduğundan iyi gösterebilir. Değerlendirme planı hazırlarken sitedeki LLM evals rehberinden yararlanabilirsiniz.
Başarıyı yalnızca doğru cevap sayısıyla ölçmeyin
Yüz mesajdan kaçını doğru ayırdığı iyi bir başlangıçtır. Ancak az gelen iade mesajlarını sürekli kaçıran bir sistem, genel ortalamada başarılı görünebilir. Bu yüzden her etiket için hataları ayrı inceleyin.
- Kalite: Hangi mesaj türlerinde hata yapıyor?
- Hız: Aynı ortamda yanıt süresi ne kadar?
- Kaynak kullanımı: Bellek ihtiyacı veya istek başına ücret nasıl değişiyor?
- Toplam maliyet: Örnek üretimi, insan kontrolü, eğitim ve bakım masrafları tasarrufu karşılıyor mu?
Belirsiz durumlar için bir yönlendirme kuralı da hazırlayın. Öğrenci zorlandığında insan desteğine veya daha güçlü bir modele başvurabilirsiniz. Modelin kendi yazdığı “eminim” ifadesini tek başına güven ölçüsü saymayın.
Fine-tuning ve quantization ile farkı ne?
Bu kavramlar aynı projede birlikte kullanılabilir, ancak farklı soruları yanıtlar:
| Yöntem | Temel fikir |
|---|---|
| Model damıtma | Başka bir modelin yanıtlarından veya öğretici sinyallerinden öğrenmek. |
| Fine-tuning | Hazır bir modeli ek verilerle eğiterek davranışını uyarlamak. |
| Quantization | Modeldeki sayıları daha düşük hassasiyetle temsil ederek kaynak ihtiyacını azaltmayı amaçlamak. |
Öğretmenin ürettiği örneklerle bir öğrenciye fine-tuning uygulamak, damıtmanın bir yolu olabilir. Dolayısıyla bunlar birbirini dışlayan seçenekler değildir.
Model damıtma ne zaman mantıklı?
Görev sık tekrarlanıyorsa, sınırları belliyse ve elinizde kaliteli örnekler varsa değerlendirmeye değer. Mesaj sınıflandırma veya belirli biçimde kısa özet üretme gibi işler için küçük bir deney planlayabilirsiniz.
Buna karşılık az sayıda istek alan bir projede eğitim ve bakım yükü tasarruftan büyük olabilir. Sürekli değişen bilgileri modele ezberletmek de güncelleme sorununu çözmez. Önce hazır küçük modelin, iyi bir talimatın veya basit kuralların ihtiyacınızı karşılayıp karşılamadığını ölçün.
Öğretmenin hataları öğrenciye geçebilir. Ayrıca model ve veri kullanım koşullarını kontrol edin; her hizmet ürettiği yanıtlarla başka bir modeli eğitmeye izin vermeyebilir. Güvenlik kontrollerini de sürdürün: guardrails rehberi bu katmanları açıklar.
Sık sorulan sorular
Küçük model öğretmeni kadar iyi olur mu?
Dar bir görevde yakın sonuçlar verebilir. Fakat bu, tüm konularda aynı yeteneğe sahip olduğu anlamına gelmez. Kararı kendi test verinizle verin.
Model damıtma için kaç örnek gerekir?
Herkes için geçerli bir sayı yoktur. Görevin zorluğu, veri çeşitliliği ve başlangıç modeli sonucu etkiler. Küçük bir denemeyle başlayıp yeni örneklerin kaliteyi artırıp artırmadığını ölçün.
Öğretmen her istekte çalışmak zorunda mı?
Hayır. Eğitim tamamlandıktan sonra öğrenci bağımsız yanıt verebilir. İsterseniz zor durumlarda öğretmeni ayrıca devreye alabilirsiniz.
İlk adım: küçük ve ölçülebilir bir görev seçin
Model damıtma, belirli bir işi daha az kaynakla yapan bir öğrenci yetiştirmeyi hedefler. Başlamak için tek bir görev, kontrol edilmiş örnekler ve ayrı bir test kümesi hazırlayın. Ardından kalite, hız ve toplam maliyeti birlikte karşılaştırın. Başarı ölçütünüz modelin küçülmesi değil, kullanıcıya yeterli kaliteyi sürdürülebilir biçimde sunması olsun.