Teknik not

Yapay Zekâ Deneyini Tekrarlanabilir Kılmak: Seed Neden Yetmez?

Sabit tohumla başlatılan yapay zekâ deneyinin farklı işlemcilerde küçük sonuç farkları verebileceğini anlatan çizim.

Bir modeli eğitirken doğruluk oranı bugün başka, yarın başka çıkıyorsa değişikliğin koddan mı, veriden mi yoksa rastgelelikten mi geldiğini anlamak zorlaşır. Yapay zekâ deneyini tekrarlanabilir kılmak, yalnızca koda seed=42 eklemek değildir; rastgele sayı kaynaklarını ve çalışma ortamını birlikte kaydetmek gerekir.

Bu rehberde sabit tohumun neyi çözdüğünü, PyTorch’ta deterministik işlemleri nasıl açacağınızı ve sonuçları yeniden inceleyebilmek için hangi bilgileri saklamanız gerektiğini göreceksiniz.

Sabit tohumla başlatılan yapay zekâ deneyinin farklı işlemcilerde küçük sonuç farkları verebileceğini anlatan çizim.

Seed neyi sabitler?

Model ağırlıklarının ilk değerleri, veri kümesinin karıştırılması, dropout ve veri artırma gibi adımlar rastgele sayı üretebilir. Seed (rastgele sayı tohumu), bu sayı üretecinin başlangıç durumunu belirler. Aynı seed ve aynı çalışma koşullarında rastgele sayı dizisinin yeniden üretilmesine yardımcı olur.

Ancak her kütüphanenin kendi üreteci olabilir. Python’ın random modülü, NumPy, PyTorch ve veri yükleyici işçileri ayrı ayrı kontrol edilmelidir. Yalnızca PyTorch seed’i ayarlamak, diğer kaynaklardaki rastgeleliği kendiliğinden sabitlemez.

PyTorch’ta tekrarlanabilirlik ayarları

Hata ayıklama veya karşılaştırmalı deney sırasında aşağıdaki başlangıç ayarları, yaygın rastgelelik kaynaklarını kontrol etmeye yardımcı olur:

import random
import numpy as np
import torch

SEED = 42
random.seed(SEED)
np.random.seed(SEED)
torch.manual_seed(SEED)  # CPU ve CUDA üreteçleri

torch.use_deterministic_algorithms(True)
torch.backends.cudnn.benchmark = False

torch.use_deterministic_algorithms(True), deterministik karşılığı bulunan işlemleri kullanır; böyle bir karşılık yoksa hata vererek işlemi görünür kılabilir. Bu, gizli farklılıkları erkenden bulmak için yararlıdır. Deterministik işlemler yavaş çalışabilir. PyTorch ayrıca NumPy’nin ayrı Generator nesneleri ve DataLoader işçileri için kendi tohumlarının ayarlanması gerekebileceğini belirtiyor. PyTorch’un tekrarlanabilirlik rehberinde bu durumlar için örnekler bulunuyor.

Hata alırsanız ne yapmalı?

Hata, kullandığınız bir işlemin mevcut donanım ve kütüphane sürümünde deterministik uygulanmadığını gösterebilir. Önce hata veren işlemi ve veri yolunu belirleyin; sonra deterministik bir alternatif seçin ya da o işlem için test beklentinizi toleranslı bir ölçüme çevirin. Sırf çalışması için deterministik modu kapatıp sonucu aynı kabul etmeyin.

Deney ortamını da kaydedin

Seed aynı olsa bile Python, PyTorch, CUDA, sürücü veya donanım değişince sonuçlar farklılaşabilir. Bu nedenle her koşunun yanına kısa bir deney kaydı ekleyin:

  • Seed değerleri ve kullanılan rastgele üreteçler
  • Veri kümesi sürümü, eğitim/doğrulama ayrımı ve ön işleme adımları
  • Model ve eğitim parametreleri, kod deposu commit’i
  • Python, PyTorch, CUDA ve ilgili kütüphanelerin sürümleri
  • İşlemci/GPU türü ve kaydedilen model dosyası

Örneğin bir sınıflandırma deneyinde “seed 42, veri bölümü v3, PyTorch 2.5, GPU modeli X” bilgisini model ağırlıklarıyla birlikte saklamak, aylar sonra aynı koşuyu yeniden kurmayı çok kolaylaştırır. Veri dosyalarının sağlama toplamını (hash) kaydetmek de aynı isimli ama içeriği değişmiş bir dosyayı fark ettirir.

Bit düzeyinde aynı sonuç her zaman mümkün mü?

Hayır. PyTorch, tamamen aynı sonuçların farklı sürümler, platformlar veya CPU ve GPU arasında garanti edilmediğini açıkça belirtiyor. Kayan noktalı toplama işlemlerinde hesaplama sırası küçük farklar yaratabilir. Sayısal doğruluk notları bu farkların nedenini açıklar.

Bu yüzden iki hedefi ayırın: Aynı ortamda hata ayıklamayı kolaylaştıracak şekilde aynı koşuyu çalıştırmak ve farklı ortamlarda bilimsel olarak benzer performans elde etmek. İkinci durumda tek bir bitin eşleşmesini beklemek yerine doğruluk, F1 veya kayıp gibi metrikler için makul tolerans aralıkları tanımlayın.

Üretken yapay zekâ API’lerinde kayıt tutma

Bir barındırılan model API’si kullanıyorsanız, seed veya deterministik davranışın kapsamı sağlayıcıya ve modele göre değişebilir. Her istekte model kimliğini, parametreleri, sistem istemini ve araç şeması sürümünü kaydedin. Sağlayıcı seed desteği sunuyorsa bunu da not edin; yine de sağlayıcının belirttiği sınırlar dışında birebir aynı yanıtı varsaymayın. Hassas verileri günlüklerde tutmayın.

Kısa uygulama planı

  1. Python, NumPy ve PyTorch tohumlarını başta ayarlayın.
  2. Geliştirme sırasında deterministik algoritma modunu açıp uyumsuz işlemleri bulun.
  3. Veri, kod, kütüphane ve donanım sürümlerini deney kaydına yazın.
  4. Sonucu aynı ortamda yeniden çalıştırın; farklı ortamları metrik toleranslarıyla karşılaştırın.

Seed, tekrarlanabilirlik için iyi bir başlangıçtır; kanıtın tamamı değildir. Deney kaydı, veri sürümü ve donanım bilgisi de sonuçla birlikte saklandığında, “dün neden farklı çıktı?” sorusuna yanıt bulmak çok daha kolay olur.

Kaynaklar

Yazar hakkında

Ali Eren Çınar; mobil uygulamalar, yapay zekâ ve ürün geliştirme üzerine çalışan bağımsız yazılımcı. Cueora, Harcamio, Deep Focus ve Weather Note projelerini geliştiriyor; öğrendiklerini uygulamalı rehberlerle paylaşıyor.

Hakkımda ve diğer uygulamalar

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir