E-ticaret için açık kaynak AI araçları: Neler öğretti?

Naser Sadrmanesh, e-ticaret mühendisi ve kurucu, son aylarda müşteri projeleri için defalarca yeniden yazdığı araçları dört açık kaynak projeye dönüştürdü. Hepsi MIT lisanslı, küçük ve gerçek ihtiyaçtan doğmuş.

İlk araç llm-search-eval, arama sistemini iyileştirip iyileştirmediğini ölçüyor. Bir e-ticaret sitesi arama sistemini güncellediğinde (anahtar kelimeden vektörlere, yeni reranker, sorgu yeniden yazma) genellikle 50 sorgu üzerinde nDCG metriğine bakılır. Ama bu yöntem yanıltıcı olabiliyor. Etiketler eski kalır, yeni sistem daha önce etiketlenmemiş ürünleri bulursa bunlar hata sayılır ve sistem gerçekten daha kötü görünür. 50 sorgu üzerinde yüzde 2 iyileşme çoğu zaman tesadüftür. Tek bir LLM hakim sadece bir görüş sunar. llm-search-eval, boşlukları doldurmak için model kullanırken insanlar tarafından doğrulanan bir etiket seti oluşturuyor.

Diğer üç araç benzer şekilde gerçek sorunlardan çıkmış. Her biri, e-ticaret sitelerinde AI entegrasyonunun pratik yüzü ile teorik metrikler arasındaki farkı kapatmak için tasarlanmış. Sadrmanesh'in yaklaşımı, akademik mükemmelliğe değil, üretim ortamında çalışan çözümlere odaklanıyor.

Bu projeler, yapay zeka ürün geliştirmenin gerçek dünyasını gösteriyor: etiketleme hataları, ölçüm sapmaları, ve modellerin insanlarla uyuşmama riski. Açık kaynak olarak yayınlanması, başka e-ticaret ekiplerinin aynı sorunlara çözüm bulmasını hızlandırıyor. Yazının tamamını oku ve hangi araçların senin ihtiyacına uyduğunu gör.