Veri yakalamayı değiştirin: Airbnb, Netflix ve Uber için kritik bağlantı


Transform 2022’ye katılamadınız mı? İsteğe bağlı kitaplığımızdaki tüm zirve oturumlarına şimdi göz atın! Buraya bak.


Modern veri yığını (MDS), dijital bozucular için temeldir. Netflix’i düşünün. Şirket, bir hizmet olarak video konusunda yeni bir iş modeline öncülük etti, ancak başarılarının çoğu gerçek zamanlı akış verilerine dayanıyor.

İzleyicilere son derece alakalı önerileri iletmek için analizleri kullanıyorlar. Ağ performansının sürekli görünürlüğünü korumak için gerçek zamanlı verileri izliyorlar. Kullanıcıların aradıklarını hızlı ve kolay bir şekilde bulmalarını sağlamak için film ve şov veritabanlarını Elasticsearch ile senkronize ediyorlar.

Bu gerçek zamanlı olmalı ve %100 doğru olmalıdır. Eski usul çıkarma, dönüştürme, yükleme (ETL) çok yavaş. Bu ihtiyacı karşılamak için Netflix, adında bir değişiklik veri yakalama (CDC) aracı oluşturdu. DBLog MySQL, PostgreSQL ve diğer veri kaynaklarındaki değişiklikleri yakalar, ardından bu değişiklikleri arama ve analitik için hedef veri depolarına aktarır.

Netflix, yüksek kullanılabilirlik ve gerçek zamanlı senkronizasyon gerektiriyordu. Ayrıca operasyonel veritabanları üzerindeki etkiyi en aza indirmeleri gerekiyordu. CDC anahtarları veritabanı günlüklerinden çıkarır, değişiklikleri gerçekleştikleri sırayla hedef veritabanlarında çoğaltır, böylece kayıtları kilitlemeden veya kaynak veritabanını başka bir şekilde aksatmadan değişiklikleri olduğu gibi yakalar.

Etkinlik

MetaBeat 2022

MetaBeat, 4 Ekim’de San Francisco, CA’da metaverse teknolojisinin tüm endüstrilerin iletişim kurma ve iş yapma şeklini nasıl değiştireceği konusunda rehberlik sağlamak için düşünce liderlerini bir araya getirecek.

Buradan Kaydolun

Veriler, Netflix’in yaptıklarının merkezinde yer alır, ancak bu konuda yalnız değiller. Uber, Amazon, Airbnb ve Meta gibi şirketler, verileri kendi avantajlarına nasıl kullanacaklarını gerçekten anladıkları için gelişiyor. Veri yönetimi ve veri analitiği, bu kuruluşlar için stratejik sütunlardır ve CDC teknolojisi, temel görevlerini yerine getirme becerilerinde merkezi bir rol oynar.

Aynı şey, günümüzün iş ortamında oyunun zirvesinde faaliyet gösteren hemen hemen her şirket için de söylenebilir. Şirketinizin A-oyuncu olarak çalışmasını istiyorsanız, verilerinizi modernleştirmeniz ve bunlara hakim olmanız gerekir. Rakipleriniz kesinlikle bunu zaten yapıyor.

Airbnb ve Uber’deki yeni standart, saniyenin altındaki entegrasyondur

Günümüz dünyasında güçlü bir müşteri deneyimi, gerçek zamanlı veri akışlarını gerektirir. Airbnb, müşterileri ve ev sahipleri için harika bir Müşteri Deneyimi yaratmada CDC teknolojisinin değerini kabul etti. Onlar da kendi CDC platformlarını kurdular. Omurilikten su almak. Airbnb’nin dinamik fiyatlandırması, kayıtların mevcudiyeti ve rezervasyon durumu, tüm sistemlerde kusursuz doğruluk ve tutarlılık gerektirir. Bir Airbnb müşterisi bir ziyaret rezervasyonu yaptığında, iş akışlarının çok hızlı ve %100 doğru olmasını bekler.

Uber için aciliyet tartışmasız daha da önemlidir. Bir müşteri ister havaalanına gitmek için bekliyor olsun ister yemek siparişi veriyor olsun, zamanlama çok önemlidir. Tıpkı Netflix ve Airbnb gibi, kendi CDC platformu verileri gerçek zamanlı olarak birden çok veri deposunda senkronize etmek için. Yine, ortak bir gereksinimler dizisi ortaya çıktı. Uber, sıfır veri kaybıyla son derece hızlı ve hataya dayanıklı çözümlerine ihtiyaç duyuyordu. Ayrıca kaynak veritabanlarında performansı düşürmeyen bir çözüme ihtiyaçları vardı.

Geri kalanımız için veri yakalamayı değiştirin

Bir kez daha, CDC tasarıya uyuyor. Eski günlerde, gecelik toplu mod ETL, günlük yönetici güncellemesi veya operasyonel raporlar sağlamak için yeterli olabilirdi. Bugün, gerçek zaman giderek daha fazla norm haline geliyor. Bilgi güçse, bilgiye anında erişim turbo güçtür.

Bu nedenle CDC, modern veri yığını için hızla temel bir gereklilik haline geliyor. Netflix, Airbnb ve Uber gibi büyük şirketlerin özel CDC platformları oluşturmak için kaynaklara sahip olması iyi ve güzel – peki ya diğer herkes?

Hazır CDC çözümleri bu boşluğu dolduruyor ve aynı düşük gecikmeli, yüksek kaliteli akış boru hatlarını sıfırdan oluşturmaya gerek kalmadan sunuyor.

Ne yazık ki, hepsi eşit yaratılmamıştır. Çoğu şirket, kurumsal kaynak planlamasını (ERP), müşteri ilişkileri yönetimini (CRM) veya tedarik veya İK gibi özel operasyonel işlevleri yöneten bir sistem koleksiyonunu çalıştırır. Bunlar, uyumsuz veri modelleriyle farklı veritabanı platformlarında çalışır. Bir şirket ana bilgisayar sistemleri işletiyorsa, muhtemelen modern ilişkisel verilerin yanına kolayca sığmayan gizli veri yapılarıyla uğraşıyor demektir.

Bu, heterojen entegrasyonu özellikle önemli kılar. SAP, Oracle, IBM Db2 ve Salesforce gibi işlemsel veritabanları dahil olmak üzere birden çok veri kaynağına ve hedefe bağlanmayı gerektirir. Databricks, Kafka, Snowflake, Amazon DocumentDB ve Azure Synapse Analytics gibi platformlara gerçek zamanlı veri akışı sağlamak anlamına gelir.

Gerçek zamanlı CDC otomasyonu

Yapay zekayı (AI) ve gelişmiş analitiği yönlendirmek için kuruluşların verilerini ortak bir MDS platformuna aktarması gerekir. Bu, çeşitli kaynaklardan bilgi almak, onu analitik için birleşik bir modele uyacak şekilde dönüştürmek ve modern bir bulut tabanlı veri platformuna teslim etmek anlamına gelir.

Değişim verisi yakalama teknolojisi, önce kaynak sistemlerden veri alımını otomatikleştirerek, ardından anında dönüştürerek ve bir bulut veri platformuna teslim ederek, veriye dayalı değer zincirinde kritik bir bağlantı görevi görür. Gerçek zamanlı CDC otomasyonu, doğru bilginin doğru yere anında ulaşmasını sağlar.

Yalnızca değişen verilere odaklandıkları için, akışlı CDC ardışık düzenleri, geçmişin toplu mod işlemlerine göre muazzam verimlilik avantajları sunar. En iyi CDC çözümleri, kaynaktan hedefe 100’den fazla terabayt veriyi sıfır veri kaybıyla 30 dakikadan daha kısa sürede teslim edebilir.

Bulut bilişime geçiş iyi bir şekilde devam ediyor. Özellikle bulut analitiği, verilerin dönüştürücü rolünü gerçekten anlayan şirketler için belirgin avantajlar sunar. Her sektördeki lider şirketler, stratejik vizyonlarını veri analitiği etrafında şekillendiriyor. Müşterilerle olan etkileşimlerini dijitalleştiriyorlar ve verileri incelemek, içgörüler çıkarmak ve harekete geçmek için algoritmalar kullanıyorlar. Yapay zeka ve makine öğrenimi, büyük miktarda bilgiyi alıyor, korelasyonları keşfediyor ve anormallikleri tanımlıyor.

İster dijital bozulmada öncü olun, ister sadece pakete ayak uydurmaya çalışın, CDC teknolojisi modern veri yığınını gerçeğe dönüştürmede ve dijital dönüşümün kapısını açmada çok önemli bir rol oynayacak.

Gary Hagmueller şirketin CEO’su Arcion.

DataDecisionMakers

VentureBeat topluluğuna hoş geldiniz!

DataDecisionMakers, veri işi yapan teknik kişiler de dahil olmak üzere uzmanların verilerle ilgili içgörüleri ve yenilikleri paylaşabileceği yerdir.

En yeni fikirleri ve güncel bilgileri, en iyi uygulamaları ve veri ve veri teknolojisinin geleceğini okumak istiyorsanız DataDecisionMakers’da bize katılın.

Kendi makalenize katkıda bulunmayı bile düşünebilirsiniz!

DataDecisionMakers’dan Daha Fazlasını Okuyun


Kaynak : https://venturebeat.com/data-infrastructure/change-data-capture-the-critical-link-for-airbnb-netflix-and-uber/

Yorum yapın