Teknik not
Conformal Prediction Nedir? Yapay Zekâda Tahmin Aralığı
Bir kargo tahmin modeli, paketin 20 saatte ulaşacağını söylüyor. Peki teslimat 12 saatte de 30 saatte de bitebilecekse “20 saat” tek başına ne kadar işe yarar?
Conformal prediction, tek bir tahmini kullanışlı bir aralığa veya olası etiketler kümesine dönüştürür. Üstelik bunu mevcut makine öğrenmesi modelinizi değiştirmeden yapabilirsiniz. Bu rehberde yöntemin temelini, 20 kargoluk örneği ve yüzde 90 kapsama hedefinin gerçekte ne söylediğini öğreneceksiniz.
Conformal prediction nedir?
Conformal prediction, yapay zekâ tahminlerine ölçülebilir belirsizlik ekleyen bir yöntemdir. Regresyonda tek sayı yerine alt ve üst sınır verir. Sınıflandırmada ise tek etikete ek olarak birden fazla olası etiketi gösterebilir.
Örneğin model “kargo 20 saatte ulaşır” diyebilir. Conformal prediction bu sonucu “benzer koşullardaki teslimatların en az yüzde 90’ını kapsaması hedeflenen aralık 16,6–23,4 saattir” biçimine getirir. Bu bir vaat veya tek teslimat için yüzde 90 olasılık değildir. Ne anlama geldiğini birazdan açacağız.
Tek tahmin neden yetmeyebilir?
Bir tahmin modeli genellikle en olası sonucu verir. Ancak modelin 20 saat demesi, gerçek sürenin 20 saate yakın olacağını tek başına göstermez. Tahmin hataları bazı kargolarda küçük, bazılarında büyük olabilir.
Bu fark; teslimat planı, stok yönetimi veya kullanıcıya verilen süre sözü gibi kararlarda önem taşır. Tek bir ortalama sayı, tahminin ne kadar oynayabileceğini gizleyebilir.
Yöntem modelin yerini almaz
Conformal prediction yeni bir tahmin modeli eğitmek zorunda değildir. Mevcut modelin daha önce görmediği örneklerde yaptığı hataları inceler. Bu hatalardan bir eşik çıkarır ve yeni tahminin çevresine aralık koyar.
Regresyonda sık kullanılan hata puanı, gerçek değer ile tahmin arasındaki mutlak farktır:
Hata puanı = |Gerçek süre − Tahmin edilen süre|
Bu puan, tahminin kaç saat saptığını gösterir. Split conformal yönteminde modelin eğitildiği verilerle kalibrasyon verileri ayrı tutulur.
20 kargoyla adım adım örnek
Elimizde benzer koşullarda taşınmış 20 kargodan oluşan bir kalibrasyon kümesi olduğunu varsayalım. Bu kargoları model eğitiminde kullanmadık. Model her kargo için bir süre tahmin etti; şimdi gerçek süreyle tahmin arasındaki mutlak farkı hesaplıyoruz.
Yalnızca örnek amacıyla, bu 20 hatanın küçükten büyüğe sıralandığını düşünün. Listenin 19. değeri 3,4 saat olsun. Yüzde 90 hedefinde kullanılan sıra, standart split conformal için şu şekilde bulunur:
Sıra = ceil((n + 1) × hedef kapsama)
Burada n = 20. Hesaplama: ceil(21 × 0,90) = ceil(18,9) = 19. Dolayısıyla kalibrasyon hatalarının 19. değeri olan 3,4 saati eşik olarak alırız.
- Model yeni bir kargonun 20 saatte ulaşacağını tahmin ediyor.
- Kalibrasyondan gelen hata eşiği 3,4 saat.
- Alt sınır: 20 − 3,4 = 16,6 saat.
- Üst sınır: 20 + 3,4 = 23,4 saat.
Modelin çıktısı artık tek bir sayı değil: 16,6–23,4 saatlik tahmin aralığı. Bu sayılar eğitim verisi değil, yöntemi göstermek için oluşturulmuş örnek değerlerdir. Gerçek bir uygulamada aralık, kendi temsil edici kalibrasyon verinizden hesaplanır.
Yüzde 90 kapsama ne demek?
Kapsama hedefi, aynı koşullardan gelen çok sayıda yeni örneğe bakıldığında gerçek değerlerin yaklaşık ne kadarının aralıkta kalmasını istediğimizi anlatır. Uygun varsayımlar sağlandığında split conformal, bu toplu kapsama için dağılımdan bağımsız bir alt sınır sunar.
Bu ifade “bu paketin tam aralıkta kalma olasılığı yüzde 90” demek değildir. Yöntem her bir örnek için ayrı ayrı yüzde 90 garanti vermez. Belirli bir kargo türünde, şehirde veya zaman diliminde kapsama daha düşük olabilir.
Ayrıca kapsama ile aralığın darlığı farklı şeylerdir. Hedefi yükseltmek genellikle daha geniş aralık üretir. Çok geniş aralık doğru değerleri kapsayabilir ama karar vermeye az yardımcı olur. Bu nedenle kapsama oranını ve ortalama aralık genişliğini birlikte izleyin.
Uygularken veriyi üçe ayırın
| Veri kümesi | Ne için kullanılır? | Kaçınılacak kullanım |
|---|---|---|
| Eğitim | Tahmin modelini eğitmek ve ayarlamak | Son başarı ölçümünü yapmak |
| Kalibrasyon | Hata puanlarını ve eşik değerini hesaplamak | Temel modeli eğitmek veya seçmek |
| Test | Son aralıkların kapsamasını ve genişliğini ölçmek | Eğitim veya kalibrasyon kararlarında kullanmak |
Kalibrasyon verileri, modelin eğitimde görmediği örneklerden gelmelidir. Bu ayrım, yöntemin dayandığı hata ölçümünü anlamlı kılar. Test kümesini de geliştirme kararlarından ayrı tutun; yoksa son performansınız gerçekte olduğundan iyi görünebilir.
Garanti hangi varsayıma dayanır?
Kalibrasyon örnekleri ile gelecekte karşılaşacağınız örneklerin değiştirilebilir, yani benzer bir dağılımdan gelmesi gerekir. Basitçe: Dünün kargo koşulları yarınkileri makul ölçüde temsil etmelidir. Kalibrasyon kümesi farklı bölge ve teslimat türlerini içermiyorsa, hesaplanan aralıklar yanıltıcı olabilir.
Talep, rota veya çalışma biçimi değiştiğinde veri dağılımı da değişebilir. Böyle bir veri kayması varsa eski kalibrasyon hataları gelecekteki hataları yansıtmayabilir. Kapsamayı yeni, etiketli örneklerde düzenli ölçün ve gerektiğinde kalibrasyonu yenileyin.
Bu yöntem her belirsizliği çözmez. Tahmin modeli örüntüleri iyi öğrenmemişse, ölçülen kalibrasyon hataları da büyük olabilir. Sonuç, kötü tahminleri sihirli biçimde düzeltmez; belirsizliği daha görünür kılar.
Sınıflandırmada nasıl görünür?
Conformal prediction yalnızca saat veya fiyat tahmini için değildir. Bir görsel sınıflandırma modeline, “Bu resim kedi mi köpek mi?” diye sorabilirsiniz. Model tek etiket seçmek yerine yeterli kapsama için {kedi, köpek} gibi bir etiket kümesi döndürebilir.
Kümenin birden fazla etiket içermesi, modelin kararsız kaldığını gösterir. Bu, her etiket için ayrı bir olasılık yorumu değildir. Sonuç kümesinin kapsama özelliği, kullanılan yöntem ve veri varsayımlarıyla birlikte değerlendirilmelidir.
İlk uygulama için kısa kontrol listesi
- İş problemini ve ölçülecek hatayı belirleyin. Süre tahmininde mutlak hata, başlangıç için anlaşılır bir puandır.
- Eğitim, kalibrasyon ve test verilerini birbirinden ayırın.
- Kalibrasyon örneklerinin gerçek kullanım koşullarını temsil ettiğini kontrol edin.
- Hedef kapsama oranını seçin ve kalibrasyon kümesinden doğru sıra istatistiğini bulun.
- Yeni ve ayrı test verisinde kapsama oranını ve aralık genişliğini raporlayın.
- Gerçek kullanımda veri değişimini izleyin; gerektiğinde modeli ve kalibrasyonu yenileyin.
Model başarısını başka açılardan değerlendirmek için precision ve recall rehberine de göz atabilirsiniz. Bu ölçütler sınıflandırma sonuçlarını özetler; conformal prediction ise tahmin aralığı veya etiket kümesi üretir.
Sık sorulan sorular
Conformal prediction için belirli bir yapay zekâ modeli gerekir mi?
Hayır. Uygun tahmin üretebilen farklı model türleriyle kullanılabilir. Seçtiğiniz hata puanı, sonuçların ne kadar dar veya geniş olacağını etkiler.
Yüzde 90 kapsama, her tahminin yüzde 90 doğru olduğu anlamına mı gelir?
Hayır. Hedef, varsayımlar sağlandığında benzer koşullardaki örnekler üzerinde toplu kapsamayla ilgilidir. Tek örnek veya alt grup için aynı oran garanti edilmez.
Kalibrasyon verisi küçükse ne olur?
Hata eşiği daha değişken olabilir ve seçilebilen kapsama düzeyleri sınırlanabilir. Yeterli ve temsil edici kalibrasyon verisi ayırın; ölçüm belirsizliğini de raporlayın.
Kaynaklar: MAPIE: Split ve cross conformal süreçleri, Shafer ve Vovk: A Tutorial on Conformal Prediction.