DynamoDB Artık S3'ten Doğrudan Veri Yükleyebiliyor

AWS, DynamoDB için yeni bir özellik çıkardı: Bulk Put Items. Bu özellik S3'teki büyük veri dosyalarını doğrudan mevcut bir DynamoDB tablosuna yükleyebiliyor. Daha öncesi böyle bir şey yoktu. Eğer S3'ten veri almak istiyorsan, yeni bir tablo oluşturması gerekiyordu. Diğer bütün durumlarda ise kendi pipeline'ını Lambda, Step Functions veya AWS Glue ile yazman gerekiyordu. Bu sırada kapasite artırmak ve uygulamanın throttle olmamasını umut etmek zorundaydın.

Şimdi bu işi DynamoDB kendisi yapıyor. Kasım 5, 2024'ten bu yana bu özellik kullanılabilir durumda. En önemli taraf hız değil, bir küçük detay: dosyadaki her kaydın kendi koşulu olabiliyor. Bu sayede gece saati senkronizasyonunu güvenle tekrar edebilirsin. Uygulama tarafından yazılan yeni veriler üzerine yazılmayacak.

Praktik olarak bakınca, Bulk Put Items S3'teki veriyi var olan bir DynamoDB tablosuna yüklerken tablonun okuma veya yazma kapasitesini tüketmiyor. Koşul kontrolü sayesinde aynı işlemi birden fazla çalıştırabilirsin. Eğer bir kayıt daha yeni bir sürümüyle varsa, eski sürüm yazılmaz.

Eğer bunu uygulamak istersen, Serverless Framework, TypeScript ve AWS SDK ile yapabilirsin. İşin sonunda bir rapor alırsın ve gerçekten ne olduğunu görebilirsin. Veritabanı yönetimi açısından bu, S3 ile DynamoDB arasında veri taşıyacak olanlar için ciddi bir kolaylık.