Cloudflare'in AI Hizmetinde Müşteri Verisi Sızıntısı: GPU Belleği Uyumsuzluğu

Cloudflare'in GLM-5.3 modelinde yaşanan olay, sıradan bir güvenlik açığından çok daha ilginç. Ağustos 27 ile Eylül 9 arasında, 681.280 tokenden uzun istekleri gönderen müşteriler başkasının verilerini yanıt olarak alıyordu. Toplam 155 yanıt etkilendi, ama kimse sisteme saldırmamıştı.

Sorun iki hatanın aynı anda gerçekleşmesinden kaynaklandı. Birincisi, model yaklaşık 1 milyon token'lık bir bağlam penceresi (context window) sunuyordu, ancak GPU'daki KV cache havuzu sadece 681.280 token tutabiliyordu. SGLang kütüphanesi bu havuzu başlangıçta kalan GPU belleğinden hesaplıyordu ve kimse bunu reklamı yapılan uzunlukla karşılaştırmamıştı.

İkinci hata daha kritikti: uzun bir istek geldiğinde, SGLang'in prefill/decode sistemi isteği reddedilmiş olarak işaretliyordu ama gerçekten durdurmuyordu. Decode düğümü eski cache sayfalarından veri üretmeye devam ediyordu, ve bu sayfalar önceki müşterilerin isteklerini içeriyordu.

Araştırmacı Gadi Evron bunu 8 Eylül'de HackerOne üzerinden bildirdi. Cloudflare hızlı hareket etti ve tam raporu yayınladı. Burada öğrenilecek ders açık: donanım kısıtlamalarını yazılımın reklamı yaptığı özelliklerle eşitlemek gerekir, ve hata yönetiminde bir adım atlanırsa sonuç ağır olabilir.