AWS Glue, Spark motorlarını yükseltir ve Ray çerçevesini destekler


Amazon Web Services tarafından sağlanan sunucusuz bir veri entegrasyonu hizmeti olan AWS Glue, bu hafta tanıtılan bir sürüm 4.0 sürümünde Python ve Apache Spark yeteneklerini sergiliyor.

Yükseltme, Python 3.10 ve Apache Spark 3.3.0 için motorlar ekler. Her iki motor da performans geliştirmeleri ve hata düzeltmeleri içerirken, Spark satır düzeyinde çalışma zamanı filtreleme ve iyileştirilmiş hata mesajları gibi yetenekler sunar.

Glue 4.0’daki yeni motor eklentileri, Ray bilgi işlem çerçevesini, Spark için Bulut Karıştırma Hizmetini ve Uyarlanabilir Sorgu Yürütmeyi destekler. Python üzerine inşa edilmiş Pandas veri analizi ve işleme aracı desteği de sunulmaktadır. Yeni veri formatı desteği, Apache Hudi, Apache Iceberg ve Delta Lake’i kapsar. Glue 4.0 ayrıca, ek kodlamalar ve veri türleri için destek sağlayan Parquet vektörleştirilmiş okuyucuyu da içerir.

AWS Glue, iş yükü boyutuna göre otomatik ölçeklendirme ile veri keşfi, veri hazırlama, veri dönüştürme ve veri entegrasyonu yetenekleri sağlar. AWS, Glue’nun artık müşterilerin işe özel ETL mantığını ekipler arasında kullanması ve paylaşması için görsel dönüşümler sunduğunu söyledi.

AWS, yeni bir motor seçeneği olarak AWS Glue for Ray’in önizlemesini duyurdu. Veri mühendisleri, Python ve popüler Python kitaplıklarıyla büyük veri kümelerini işlemek için AWS Glue for Ray’i kullanabilir. Python kodunun dağıtılmış işlenmesi, çok düğümlü kümeler üzerinden yapılır.

Glue 4.0 şu anda Ohio, Kuzey Virginia ve Kuzey Kaliforniya dahil olmak üzere ABD’nin bazı bölgelerinde mevcuttur.

Telif hakkı © 2022 IDG Communications, Inc.


Kaynak : https://www.infoworld.com/article/3681339/aws-glue-upgrades-spark-engines-backs-ray-framework.html#tk.rss_all

Yorum yapın