Amazon, ayıklama, dönüştürme, yükleme (ETL) süreçlerini kolaylaştırmayı ve kuruluşlar genelinde verileri kataloglama ve arama desteği sağlamayı hedefleyen yeni hizmetleri ve özellikleri duyurduğu için, bu yılki AWS re:Invent konferansında işletmeler için veri yönetimini ve analitiği basitleştirme büyük bir tema oluşturuyor.
AWS, ETL sürecini geçersiz kılacağını iddia ettiği iki yeni yetenek yayınladı: Amazon Redshift ile Amazon Aurora sıfır ETL entegrasyonu ve Apache Spark için Amazon Redshift entegrasyonu.
Kuruluşlar genellikle, analiz için bir veri ambarına yüklenmek üzere birden çok kaynaktan alınan verileri tek bir tutarlı veri deposuna entegre etmek için ETL’yi kullanır.
Ancak, çoğu veri mühendisleri ham verinin temizlenmesi, filtrelenmesi, yeniden şekillendirilmesi ve özetlenmesi gibi adımları içerdiğinden, farklı kaynaklardan gelen verileri dönüştürmenin zor ve zaman alıcı bir görev olabileceğini iddia ediyor.
AWS, başka bir sorunun da analitik çalıştırmak için veri ardışık düzenleri hazırlayan ekipleri sürdürmenin ek maliyeti olduğunu söyledi.
Yeni özellikler ETL’yi ortadan kaldırmayı hedefliyor
Buna karşılık, şirkete göre Amazon Aurora sıfır ETL entegrasyonu, Aurora’ya yazılan işlemsel veriler neredeyse anında RedShift’e kopyalandığından ve analiz çalıştırmaya hazır olduğundan, Aurora ile RedShift arasında ETL gerçekleştirme ihtiyacını ortadan kaldırıyor.
Şirketten yapılan açıklamada, “Müşteriler, birden çok Amazon Aurora veritabanı kümesindeki verileri aynı Amazon Redshift bulut sunucusuna çoğaltarak çeşitli uygulamalarda içgörüler elde edebilir” dedi ve entegrasyonun şu anda önizleme aşamasında olduğunu ekledi.
Ayrıca şirket, Apache Spark için Amazon Redshift Entegrasyonu’nun, kurumsal geliştiricilerin Amazon Redshift’ten alınan veriler üzerinde Apache Spark uygulamaları oluşturmak ve çalıştırmak için AWS analitiği ve makine öğrenimi hizmetlerini kullanmalarına yardımcı olacağını söyledi.
Geliştiriciler tarafından yaygın olarak kullanılan bir araç olan Apache Spark, büyük verileri işlemek için açık kaynaklı, birleşik bir analitik motorudur.
Şirket, “Geliştiriciler, popüler dil çerçevelerini (ör. Java, Python, R ve Scala) kullanarak Apache Spark tabanlı uygulamalardan Amazon Redshift verileri üzerinde saniyeler içinde sorgu çalıştırmaya başlayabilir” dedi ve entegrasyonun genel kullanıma sunulduğunu ekledi.
Verileri kataloglamaya ve aramaya yardımcı olacak Amazon DataZone
Bulut hizmetleri sağlayıcısı, Amazon DataZone adlı yeni bir veri yönetimi hizmetini de önizledi. Henüz kullanıma sunulmayan yeni veri yönetimi hizmetinin, kuruluşların AWS’de, şirket içinde ve üçüncü taraf kaynaklarda depolanan verileri kataloglamasına, keşfetmesine, paylaşmasına ve yönetmesine yardımcı olması bekleniyor.
AWS, bir kuruluştaki veri üreticilerinin veri kaynaklarını, veri sınıflandırmasını ve yönetişim politikalarını hizmetin web portalı aracılığıyla tanımlayarak veri kataloğunu oluşturabileceğini söyledi.
Şirket, “Amazon DataZone, her veri kümesi için meta verileri (ör. kaynak ve veri türü) toplamak ve önermek üzere makine öğrenimini kullanarak ve zaman içinde iyileştirmek için bir müşterinin sınıflandırması ve tercihleri üzerine eğitim vererek bir katalog tutmanın ağır yükünü ortadan kaldırıyor” dedi. Bir basın açıklaması.
Katalog oluşturulduktan sonra veri tüketicileri, veri varlıklarını aramak ve keşfetmek, meta verileri bağlam açısından incelemek ve veri kümelerine erişim talep etmek için Amazon DataZone web portalını kullanabilir.
AWS, veriler üzerinde analitiği çalıştırmak için kurumsal kullanıcıların, web portalında kullanıcıların farklı veri kümelerini çekmesine, iş arkadaşlarıyla erişimi paylaşmasına ve analiz üzerinde işbirliği yapmasına olanak tanıyan bir paylaşılan alan olan bir Amazon DataZone Veri Projesi oluşturması gerektiğini söyledi.
Şirket, “Amazon DataZone, Amazon Redshift, Amazon Athena ve Amazon QuickSight gibi AWS analitik hizmetleriyle entegredir ve bu, veri tüketicilerinin veri projeleri bağlamında bu hizmetlere erişmesini sağlar” dedi.
Hizmet ayrıca özel çözümlerle veya DataBricks, Snowflake ve Tableau gibi iş ortaklarıyla entegre edilecek API’ler sağlar.
AWS Temiz Odalar, veriler üzerinde işbirliğini kolaylaştırır
AWS, işletmelerin iş ortaklarıyla veriler üzerinde işbirliği yapmasına yardımcı olmak için AWS Temiz Odalar adlı yeni bir hizmet başlattı.
Şu anda yalnızca AWS müşterileriyle sınırlı olan hizmete, bir kuruluşun işbirliği yapmak istediği iş ortağını seçebileceği AWS Yönetim Konsolu aracılığıyla erişilebileceğini söyleyen şirket, konsolun veri kümelerini seçmek için seçenekler sunduğunu da sözlerine ekledi. paylaşılabilir ve katılımcılar için izinleri yapılandırabilirsiniz.
AWS, temiz odada paylaşılan veri setlerinin şifreli olduğunu ve AWS ortamından çıkarılması veya başka bir platforma yüklenmesi gerekmediğini belirterek, bu veri setlerinde de sorguların çalıştırılabileceğini sözlerine ekledi.
Ayrıca AWS Clean Rooms, kuruluşların her bir temiz oda katılımcısı tarafından çalıştırılan sorgular üzerindeki kısıtlamaları özelleştirmesine olanak tanıyan sorgu kontrolleri, sorgu çıkışı kısıtlamaları ve sorgu günlüğü dahil olmak üzere çok çeşitli yapılandırılabilir veri erişim denetimleri sağlar.
Bağımsız bir teklif olarak ve Reklamcılık ve Pazarlama için AWS’nin bir parçası olarak sunulan AWS Clean Rooms, 2023’ün başlarında ABD Doğu (Ohio), ABD Doğu (Kuzey Virginia), ABD Batı (Oregon), Asya Pasifik ( Seul), Asya Pasifik (Singapur), Asya Pasifik (Sidney), Asya Pasifik (Tokyo), Avrupa (Frankfurt), Avrupa (İrlanda), Avrupa (Londra) ve Avrupa (Stockholm) bölgeleri.
AWS, Amazon QuickSight’a yeni özellikler ekler
AWS, diğer hizmetleri güncellemenin yanı sıra birleşik iş zekası hizmeti Amazon QuickSight’a yeni özellikler ekledi.
Bulut hizmeti sağlayıcısı, QuickSight Q adlı yeni bir özellik aracılığıyla QuickSight içinde doğal dil sorguları sorma özelliğini ekledi.
QuickSight Q, kurumsal kullanıcıların iş verileri hakkında doğal dilde sorular sormasına ve saniyeler içinde ilgili görselleştirmelerle doğru yanıtlar almasına olanak sağlamak için makine öğrenimini kullanıyor.
Şirkete göre, tahmin ve “neden” sorularına yönelik destek, tüm QuickSight Q müşterilerine hiçbir ek ücret ödemeden sunuluyor.
AWS, QuickSight Q’nun ayrıca veri kümelerine anlamsal bilgileri otomatik olarak çıkaran ve ekleyen başka bir yetenekle birlikte geldiğini ve iş zekası ekiplerinin doğal dil sorgulaması için verileri hazırlamak için harcadığı zamanı günlerden dakikalara indirdiğini söyledi.
Bu, önceden eğitilmiş makine öğrenimi modelleri ve panolar ve raporlar gibi iş zekası varlıklarından öğrenilenlerle mümkün olur.
QuickSight Q içinde verileri otomatik olarak hazırlama yeteneği, mevcut QuickSight Q müşterileri için de hiçbir ekstra ücret ödemeden kullanılabilir.
Eklenen diğer özellikler arasında, sayfalandırılmış raporlar oluşturma ve büyük veri kümeleri için hızlı analiz yapma yeteneği yer alır.
Şirket, sayfalandırılmış rapor hizmetinin, QuickSight Enterprise sürümü müşterileri için bir eklenti hizmeti olarak sunulduğunu söyledi.
Telif hakkı © 2022 IDG Communications, Inc.
Kaynak : https://www.infoworld.com/article/3681828/aws-simplifies-data-management-analytics-with-new-services.html#tk.rss_all