Açık kaynak SQL sorgusu kütüphanesi BIRD Mini-Dev'de tüm diyalektlerde birinci

schemagate adlı açık kaynak kütüphane, metin-to-SQL dönüştürme alanında önemli bir başarı elde etti. BIRD Mini-Dev benchmark'ında, 500 sorudan oluşan, 11 veritabanı üzerinde çalışan test seti, SQLite, PostgreSQL ve MySQL'in her üçünde de leaderboard'un tepesine yerleşti.

Schemagate'in yaklaşımı basit ama etkili. Bir soruya cevap vermek için hangi tabloların gerekli olduğunu belirliyor, ardından yalnızca o tabloları ve BIRD'ün sütun açıklamalarını Claude Opus 3.5'e gönderiyor. Model tek bir SQL sorgusu yazıyor; oy sistemi ya da agent döngüsü yok. Sorgu hata verirse, model hatayı görüyor ve yeniden deniyor. Sonuçlar etkileyici: SQLite'ta yüzde 81, PostgreSQL'de 72.6, MySQL'de 72.4 başarı oranı.

Kütüphanenin temel işlevi erişim kontrolü. Çağıran kullanıcının okuma izni olmayan tabloları modele gösterilmeden çıkarıyor. Benchmark bu güvenlik özelliğini test etmese de, filtrelemenin doğruluk üzerinde olumsuz etki yaratmadığını gösteriyor. BIRD'ün ana leaderboard'unda ilk test sonucu yüzde 72.11 olmuş; yeniden çalıştırma bekleniyor.

Bu başarı, basit tasarımın karmaşık agent mimarileriyle rekabet edebileceğini gösteriyor. Şema seçimi ve hata düzeltme döngüsü, LLM'lerin SQL sorgusu yazma konusunda ne kadar etkin olabileceğini ortaya koyuyor.