DoorDash, LLM ile Alışveriş Listesi Hızını 16'dan 2 Saniyeye Düşürdü

DoorDash, yapay zekâ aracılığıyla kullanıcıların önceki alışverişlerine dayalı ürün önerilerini sunma konusunda ciddi bir ilerleme kaydetti. Sorun basitti: müşteri alışveriş listesini açtığında sistem 16 saniye bekletiyordu. Sebep? Her seferinde dil modelini çalıştırarak hangi ürünleri tekrar satın alacağını tahmin etmeye çalışmak.

Çözüm ise şu mantıkta gizliydi: tahminleri gerçek zamanda değil, arka planda önceden hesapla. DoorDash, toplu LLM çıkarımı (batch inference) kullanarak müşteri geçmişlerini analiz etti ve muhtemel tekrarlayan satın alımları belirledi. Sonra bu listeleri bir veritabanında hazır tuttu. Kullanıcı uygulamayı açtığında, model çıktısı zaten oradaydı, sadece katalog güncellemesi yapılıp doğrulanması gerekiyordu.

Bu yaklaşımın güzelliği, yalnızca hız değildi. Sistem, düzenlenebilir bir arayüz sunarak gereksiz model çağrılarından kaçındı; kullanıcı isterse listeyi elle değiştirebiliyordu. Canlı katalog çözümlemesi (live catalog resolution) sayesinde fiyat değişiklikleri ve stok durumu anında yansıtılıyordu.

Sonuç? Alışveriş listesi görüntülenmeleri iki katına çıktı, sipariş oranı yaklaşık %34 arttı. Geliştiriciler için dersi açık: LLM'yi her çağrıda çalıştırmak değil, ne zaman ve nerede çalıştıracağını düşün. Ön hesaplama, doğrulama ve kullanıcı kontrolü kombinasyonu, hız ve kullanıcı memnuniyetinin anahtarı.