Sunucu Seçerken Batch Size Nasıl Hesaba Katılır?

Batch size, yapay zekâ modellerinde aynı anda işlenen veri örneği sayısını ifade eder ve sunucu seçimini doğrudan etkiler. Özellikle model eğitimi, inference servisleri, görüntü işleme veya doğal dil işleme projelerinde yalnızca GPU modeline bakmak yeterli değildir. Batch size arttıkça bellek kullanımı, veri aktarım hızı, gecikme süresi ve işlem kuyruğu davranışı değişir. Bu nedenle doğru sunucu tercihi, beklenen iş yükünü sayısal olarak anlamakla başlar.

Batch Size Sunucu Kaynaklarını Nasıl Etkiler?

Batch size büyüdükçe GPU veya CPU aynı anda daha fazla veriyi işler. Bu durum teorik olarak işlem verimliliğini artırabilir; ancak her artış daha yüksek bellek ihtiyacı doğurur. GPU belleği yetersiz kaldığında işlem hata verir, sistem swap kullanmaya başlar veya performans ciddi şekilde düşer.

Örneğin görüntü tabanlı bir modelde 8 batch ile çalışan yapı, 32 batch seviyesinde dört kat daha fazla VRAM tüketmeyebilir; çünkü model mimarisi, giriş boyutu, precision seçimi ve framework davranışı da etkilidir. Bu yüzden sunucu seçmeden önce tahmini değil, mümkünse test edilmiş bellek tüketimi üzerinden ilerlemek gerekir.

Model Eğitimi ve Inference İçin Farklı Yaklaşım Gerekir

Eğitim süreçlerinde yüksek batch size, daha stabil gradyan hesaplaması ve daha iyi donanım kullanımı sağlayabilir. Ancak bu, her zaman daha iyi model sonucu anlamına gelmez. Çok büyük batch size, öğrenme dinamiklerini değiştirebilir ve learning rate ayarı gerektirebilir.

Inference tarafında ise öncelik çoğu zaman düşük gecikme ve istikrarlı yanıt süresidir. Kullanıcıya gerçek zamanlı yanıt veren bir API’de batch size çok büyütülürse throughput artsa bile tekil isteğin bekleme süresi uzayabilir. Bu nedenle ai hosting altyapısı seçerken yalnızca maksimum işlem kapasitesi değil, hedeflenen yanıt süresi de hesaba katılmalıdır.

Sunucu Seçiminde Dikkate Alınacak Temel Metrikler

GPU Belleği ve Model Boyutu

İlk bakılması gereken değer VRAM kapasitesidir. Model ağırlıkları, aktivasyonlar, ara tensörler ve batch içindeki veriler aynı belleği kullanır. 16 GB VRAM küçük ve orta ölçekli modeller için yeterli olabilirken, büyük dil modelleri veya yüksek çözünürlüklü görüntü modelleri için 24 GB, 48 GB ya da daha fazla bellek gerekebilir.

CPU, RAM ve Disk Girdi Hızı

Batch size yalnızca GPU’yu etkilemez. Veri ön işleme CPU üzerinde yapılıyorsa zayıf işlemci GPU’nun boş beklemesine neden olabilir. Büyük veri setlerinde NVMe disk tercih etmek, veri besleme darboğazını azaltır. Sistem RAM’i de veri yükleme, cache ve paralel worker süreçleri için yeterli olmalıdır.

Ağ Trafiği ve Eş Zamanlı Kullanıcı

Inference servislerinde batch size çoğu zaman istekleri kuyruklayarak oluşturulur. Eş zamanlı kullanıcı sayısı düşükse büyük batch beklenen verimi sağlamayabilir. Trafik dalgalıysa otomatik ölçekleme, kuyruk yönetimi ve maksimum bekleme süresi gibi parametreler planlanmalıdır.

Pratik Hesaplama Yaklaşımı

Sunucu seçmeden önce küçük bir benchmark yapılması en güvenilir yöntemdir. Temel adımlar şu şekilde uygulanabilir:

• Modeli hedef precision ile çalıştırın: FP32, FP16 veya quantization seçimi bellek ihtiyacını ciddi şekilde değiştirir.
• Batch size değerini kademeli artırın: 1, 2, 4, 8, 16 gibi artışlarla VRAM, işlem süresi ve hata durumlarını ölçün.
• Güvenli pay bırakın: Maksimum VRAM kullanımının yüzde 85-90 seviyesini aşmaması pratikte daha sağlıklıdır.
• Gerçek veriyle test edin: Sentetik veri, ön işleme ve dosya okuma maliyetlerini göstermeyebilir.

Örneğin batch size 16’da 18 GB VRAM kullanan bir model için 24 GB kart kısa vadede çalışabilir; ancak eş zamanlı servisler, framework overhead’i ve trafik artışı düşünüldüğünde 32 GB veya üzeri daha güvenli olabilir.

Hosting Tercihinde Sık Yapılan Hatalar

En yaygın hata, yalnızca GPU adını karşılaştırarak karar vermektir. Aynı GPU farklı sunucu yapılandırmalarında farklı performans gösterebilir. PCIe hattı, soğutma, güç limiti, CPU-GPU dengesi ve disk performansı sonucu etkiler.

Bir diğer hata, eğitim ortamı ile canlı servis ortamını aynı kabul etmektir. Eğitimde kabul edilebilir olan uzun işlem süresi, canlı API’de kullanıcı deneyimini bozabilir. Bu nedenle hosting seçiminde benchmark sonuçları, trafik profili ve ölçekleme ihtiyacı birlikte değerlendirilmelidir.

Kurumsal projelerde ai hosting planı belirlenirken kısa vadeli maliyet kadar operasyonel süreklilik de önemlidir. İzleme araçları, kaynak limitleri, yedekleme politikası ve destek süreçleri net değilse teknik olarak yeterli görünen bir sunucu üretim ortamında risk yaratabilir.

Karar Verirken Kullanılabilecek Basit Kontrol Listesi

• Hedef modelin batch size 1, 4, 8 ve 16 performansı ölçüldü mü?
• VRAM kullanımı için en az yüzde 10-15 güvenlik payı bırakıldı mı?
• CPU, RAM ve NVMe disk tarafında veri besleme darboğazı test edildi mi?
• Canlı trafik için maksimum gecikme ve eş zamanlı istek hedefi belirlendi mi?
• Sunucu ölçekleme, izleme ve hata durumunda müdahale planı hazır mı?

Batch size hesabı, yalnızca teknik bir parametre değil, maliyet ve kullanıcı deneyimi kararını etkileyen temel bir kapasite planlama adımıdır. Doğru ölçümle ilerleyen ekipler, gereğinden pahalı sunucuya yönelmeden performanslı ve sürdürülebilir bir hosting mimarisi kurabilir.