Gerçek zamanlı yapay zekayı doğru bir şekilde elde etmenin önündeki engeller

Analistler, 2025 yılına kadar, Üretilen verilerin %30’u gerçek zamanlı veriler olacaktır. Bu, yılda 52 zettabayt (ZB) gerçek zamanlı veridir – kabaca Toplam 2020’de üretilen veriler. Veri hacimleri çok hızlı büyüdüğü için 52 ZB, Toplam 2015 yılında üretilen veriler. Bu üstel büyüme ile, gerçek zamanlı verileri fethetmenin veri biliminin geleceği olduğu açıktır.

Son on yılda, bu gerçek zamanlı veri akışlarıyla çalışmak için Materialize, Deephaven, Kafka ve Redpanda gibi teknolojiler geliştirildi. Veri akışlarını anında dönüştürebilir, iletebilir ve sürdürebilir ve yeni gerçek zamanlı gerçeklik için uygulamalar oluşturmak için gereken temel yapı taşlarını sağlayabilirler. Ancak bu kadar büyük miktarda veriyi gerçekten yararlı kılmak için yapay zeka (AI) kullanılmalıdır.

İşletmeler, gerçek zamanlı verilerin gelgit dalgasına ayak uydurmak için minimum insan müdahalesi ile bilgi ve anlayış oluşturabilen anlayışlı teknolojiye ihtiyaç duyar. Yapay zeka algoritmalarını gerçek zamanlı verilere uygulama fikrini uygulamaya koymak, yine de henüz emekleme aşamasında. Uzmanlaşmış hedge fonları ve Google ve Facebook gibi büyük yapay zeka oyuncuları gerçek zamanlı yapay zekadan yararlanıyor, ancak çok az kişi bu sulara girdi.

Gerçek zamanlı yapay zekayı her yerde yaygın hale getirmek için destekleyici yazılımlar geliştirilmelidir. Bu yazılım şunları sağlamalıdır:

1. Statik verilerden dinamik verilere geçiş için kolay bir yol
2. Statik ve dinamik verileri temizlemek için kolay bir yol
3. Model oluşturma ve doğrulamadan üretime geçmek için kolay bir yol
4. Gereksinimler ve dış dünya değiştikçe yazılımı yönetmek için kolay bir yol

Statik verilerden dinamik verilere geçiş için kolay bir yol

Geliştiriciler ve veri bilimcileri, zaman alan veri tesisatı konusunda endişelenmeden, zamanlarını önemli yapay zeka sorunlarını düşünerek harcamak isterler. Bir veri bilimcisi, verilerin Pandalardan statik bir tablo veya Kafka’dan dinamik bir tablo olup olmadığına bakmamalıdır. Her ikisi de tablodur ve aynı şekilde ele alınmalıdır. Ne yazık ki, mevcut nesil sistemlerin çoğu statik ve dinamik verileri farklı şekilde ele alıyor. Veriler farklı şekillerde elde edilir, farklı şekillerde sorgulanır ve farklı şekillerde kullanılır. Bu, araştırmadan üretime geçişleri pahalı ve emek yoğun hale getirir.

Gerçek zamanlı yapay zekadan gerçekten değer elde etmek için geliştiricilerin ve veri bilimcilerin aynı yazılım ortamında statik veri ve dinamik veri kullanımı arasında sorunsuz bir şekilde geçiş yapabilmeleri gerekir. Bu, ortak API’ler ve hem statik hem de gerçek zamanlı verileri UX ile tutarlı bir şekilde işleyebilen bir çerçeve gerektirir.

Statik ve dinamik verileri temizlemek için kolay bir yol

Yapay zeka mühendisleri ve veri bilimcileri için en seksi iş, yeni modeller yaratmaktır. Ne yazık ki, bir yapay zeka mühendisinin veya veri bilimcisinin zamanının büyük kısmı veri sorumlusu olmaya ayrılmıştır. Veri kümeleri kaçınılmaz olarak kirlidir ve temizlenmeli ve doğru biçimde masaj yapılmalıdır. Bu nankör ve zaman alıcı bir iştir. Katlanarak büyüyen bir gerçek zamanlı veri akışıyla, tüm bu süreç daha az insan emeği gerektirmeli ve hem statik hem de akış verileri üzerinde çalışmalıdır.

Pratikte, kolay veri temizleme, hem statik hem de dinamik veriler üzerinde çalışan ortak veri temizleme işlemlerini gerçekleştirmenin özlü, güçlü ve anlamlı bir yolu ile gerçekleştirilir. Bu, hatalı verilerin kaldırılmasını, eksik değerlerin doldurulmasını, birden çok veri kaynağının birleştirilmesini ve veri biçimlerinin dönüştürülmesini içerir.

Şu anda, kullanıcıların veri temizleme ve manipülasyon mantığını yalnızca bir kez uygulamasına ve hem statik hem de gerçek zamanlı veriler için kullanmasına izin veren birkaç teknoloji var. Materialize ve ksqlDb, Kafka akışlarının SQL sorgularına izin verir. Bu seçenekler, nispeten basit mantığa sahip kullanım durumları veya SQL geliştiricileri için iyi seçimlerdir. Deephaven, Kafka, Parquet, CSV ve diğer yaygın veri formatlarını destekleyen tablo odaklı bir sorgu diline sahiptir. Bu tür bir sorgulama dili, daha karmaşık ve daha matematiksel mantık veya Python geliştiricileri için uygundur.

Model oluşturma ve doğrulamadan üretime geçmek için kolay bir yol

Pek çok – muhtemelen çoğu – yeni yapay zeka modeli, araştırmadan üretime asla geçemez. Bunun nedeni, araştırma ve üretimin tipik olarak çok farklı yazılım ortamları kullanılarak uygulanmasıdır. Araştırma ortamları, büyük statik veri kümeleri, model kalibrasyonu ve model doğrulama ile çalışmaya yöneliktir. Öte yandan, üretim ortamları yeni olaylar geldikçe tahminlerde bulunur. Dünyayı etkileyen AI modellerinin oranını artırmak için araştırmadan üretime geçme adımları son derece kolay olmalıdır.

İdeal bir senaryo düşünün: İlk olarak, statik ve gerçek zamanlı verilere aynı API üzerinden erişilebilir ve bunlar üzerinde değişiklik yapılabilir. Bu, statik ve/veya gerçek zamanlı verileri kullanarak uygulamalar oluşturmak için tutarlı bir platform sağlar. İkincisi, hem statik araştırma hem de dinamik üretim durumlarında kullanım için veri temizleme ve işleme mantığı bir kez uygulanacaktır. Bu mantığı kopyalamak pahalıdır ve araştırma ile üretimin beklenmedik ve sonuç olarak farklılık gösterme olasılığını artırır. Üçüncüsü, AI modellerinin serileştirilmesi ve seri durumdan çıkarılması kolay olacaktır. Bu, üretim modellerinin yalnızca bir dosya yolu veya URL değiştirilerek kapatılmasına olanak tanır. Son olarak sistem, üretim AI modellerinin vahşi doğada ne kadar iyi performans gösterdiğini gerçek zamanlı olarak izlemeyi kolaylaştıracaktır.

Gereksinimler ve dış dünya değiştikçe yazılımı yönetmek için kolay bir yol

Özellikle dinamik verilerle çalışırken değişim kaçınılmazdır. Veri sistemlerinde bu değişiklikler girdi veri kaynaklarında, gereksinimlerde, ekip üyelerinde ve daha fazlasında olabilir. Bir proje ne kadar dikkatli planlanırsa planlansın zamanla uyum sağlamak zorunda kalacaktır. Çoğu zaman bu uyarlamalar asla gerçekleşmez. Birikmiş teknik borç ve personel değişiklikleri nedeniyle kaybedilen bilgi, bu çabaları öldürür.

Değişen bir dünyayla başa çıkmak için, gerçek zamanlı AI altyapısı, bir projenin tüm aşamalarını (eğitimden doğrulamaya ve üretime) çok küçük bir ekip tarafından anlaşılabilir ve değiştirilebilir hale getirmelidir. Ve yalnızca oluşturulduğu orijinal ekip için değil, mevcut üretim uygulamalarını devralan yeni kişiler tarafından anlaşılabilir ve değiştirilebilir olmalıdır.

Gerçek zamanlı verilerin gelgit dalgası vurduğunda, gerçek zamanlı yapay zekada önemli yenilikler göreceğiz. Gerçek zamanlı AI, dünyanın Google’larının ve Facebook’larının ötesine geçecek ve tüm AI mühendislerinin araç setine girecek. Daha iyi, daha hızlı ve daha az çalışmayla yanıtlar alacağız. Mühendisler ve veri bilimcileri, zamanlarının çoğunu ilginç ve önemli gerçek zamanlı çözümlere odaklanarak geçirebilecekler. İşletmeler, daha az sayıda çalışandan daha yüksek kaliteli, zamanında yanıtlar alacak ve yapay zeka yeteneklerini işe almanın zorluklarını azaltacaktır.

Bu dört gereksinimi kolaylaştıran yazılım araçlarımız olduğunda, sonunda gerçek zamanlı yapay zekayı doğru bir şekilde elde edebileceğiz.

Chip Kent, şirketin baş veri bilimcisidir. Deephaven Veri Laboratuvarları.