Çevik geliştirme ekipleri, mikro hizmetlerin, uygulamaların ve veritabanlarının gözlemlenebilir olmasını, operasyonel sorunları belirlemek için izlemenin yerinde olmasını ve AIop’lar uyarıları yönetilebilir olaylarla ilişkilendirmek. Kullanıcılar ve iş paydaşları iyileştirmeler istediğinde, birçok devops ekibi geri bildirimleri işlemek ve yeni sürümleri dağıtmak için çevik metodolojileri takip eder.
Az sayıda istek olsa bile, geliştirici ekipleri uygulamaları yükseltmeleri ve temel bileşenleri düzeltmeleri gerektiğini bilir; aksi takdirde bugün geliştirilen yazılım yarının teknik borç.
Makine öğrenimi modellerinin yaşam döngüsü yönetimi, yazılımdan daha karmaşıktır. WhyLabs’ın kurucu ortağı ve mühendislik başkanı Andy Dang şöyle açıklıyor: “Model geliştirme yaşam döngüsü, yazılım geliştirme yaşam döngüsüne yüksek bir seviyeden benziyor, ancak çok daha karmaşık. Yazılımı kod olarak ele alıyoruz, ancak bir ML modelinin temeli olan veriler karmaşık, oldukça boyutlu ve davranışı tahmin edilemez.”
Kod, bileşenler ve altyapıya ek olarak modeller, algoritmalar, yapılandırma ve eğitim veri kümeleri kullanılarak oluşturulur. Bunlar tasarım zamanında seçilir ve optimize edilir, ancak varsayımlar ve verilerin zaman içinde değişmesi nedeniyle güncellenmesi gerekir.
Makine öğrenimi modellerini neden izlemeli?
Performans, güvenilirlik ve hata koşulları için izleme uygulamaları gibi, makine öğrenimi modeli izleme de veri bilimcilerin model performansı üzerinde görünürlük sağlar. ML izleme, modeller tahminler için kullanıldığında veya ML yüksek değişkenliğe sahip veri kümelerinde çalıştığında özellikle önemlidir.
Iterative’in kurucu ortağı ve CEO’su Dmitry Petrov, “ML ekipleri modellerini geliştirmek ve her şeyin istendiği gibi çalışmasını sağlamak istediğinden, model izlemeyle ilgili ana hedefler performans ve sorun gidermeye odaklanıyor” diyor.
Moveworks’ün baş ürün müdürü Rahul Kayala, bu açıklamayı ML model izleme hakkında paylaşıyor. “İzleme, işletmelerin yapay zeka tahminlerinin faydalarını öngörülebilir sonuçlara olan ihtiyaçlarıyla dengelemesine yardımcı olabilir” diyor. “Otomatik uyarılar, makine öğrenimi operasyon ekiplerinin aykırı değerleri gerçek zamanlı olarak tespit etmesine yardımcı olabilir ve onlara herhangi bir zarar oluşmadan önce yanıt vermeleri için zaman tanır.”
ModelOp’un kurucu ortağı Stu Bailey, “Güçlü izlemeyi otomatik iyileştirme ile birleştirmek, iş değerini en üst düzeye çıkarmak ve riski azaltmak için anahtar olan çözüme ulaşma süresini hızlandırır” diye ekliyor.
Özellikle, veri bilimcilerinin beklenmedik aykırı değerler konusunda bilgilendirilmeleri gerekir. Kayala, “AI modelleri genellikle olasılıklıdır, yani bir dizi sonuç üretebilirler” diyor. “Bazen modeller, normal aralığın önemli ölçüde dışında bir sonuç olan bir aykırı değer üretebilir. Aykırı değerler, iş sonuçları için yıkıcı olabilir ve fark edilmezlerse genellikle büyük olumsuz sonuçlara yol açabilir. Yapay zeka modellerinin gerçek dünyada etkili olmasını sağlamak için makine öğrenimi ekipleri, yapay zekanın doğrudan etkilediği ürün ve iş metriklerindeki eğilimleri ve dalgalanmaları da izlemelidir.”
Örneğin, bir hisse senedinin günlük fiyatını tahmin etmeyi düşünelim. Düşük piyasa oynaklığı olduğunda, aşağıdaki gibi algoritmalar uzun kısa süreli hafıza (LSTM) temel tahminler ve daha fazlasını sağlayabilir kapsamlı derin öğrenme algoritmaları doğruluğu artırabilir. Ancak çoğu model, piyasalar oldukça değişken olduğunda ve model izleme bu koşullar için uyarıda bulunabildiğinde doğru tahminler yapmakta zorlanacaktır.
Başka bir ML modeli türü, sınıflandırmaları gerçekleştirir ve kesinlik ve geri çağırma metrikler, doğruluğun izlenmesine yardımcı olabilir. Hassasiyet, modelin seçilenlere karşı gerçek pozitifleri ölçerken, geri çağırma bir modelin hassasiyetini takip eder. ML izleme ayrıca şu durumlarda uyarı verebilir: ML model kaymasıtahmin edilenin temel istatistikleri değiştiğinde kavram kayması veya girdi verileri değiştiğinde veri kayması gibi.
Üçüncü bir endişe ise açıklanabilir makine öğrenimi, hangi girdi özelliklerinin sonuçlara en önemli şekilde katkıda bulunduğunu belirlemek için modellerin vurgulandığı yer. Bu konu ile ilgili model yanlılığıeğitim verilerinin modeli hatalı tahminler yapmak için çarpıtan istatistiksel kusurlara sahip olduğu yer.
Bu sorunlar güveni aşındırabilir ve önemli iş sorunları yaratabilir. Model performans yönetimi geliştirme, eğitim, dağıtım ve izleme aşamalarında bunları ele almayı amaçlamaktadır.
Fiddler’ın baş bilimcisi Krishnaram Kenthapadi, azaltılmış önyargı riski ile açıklanabilir ML’nin model performans yönetimi gerektirdiğine inanıyor. Kenthapadi, “ML modellerinin gereğinden fazla ayrım yapmadığından emin olmak için işletmelerin, model eğitimi ve doğrulamasından analiz ve iyileştirmeye kadar tüm yaşam döngüsü boyunca model davranışlarına bağlam ve görünürlük sağlayan çözümlere ihtiyacı var” diyor. “Model performans yönetimi, modellerin güvenilir olmasını sağlar ve mühendislerin ve veri bilimcilerin önyargıyı belirlemesine, temel nedeni izlemesine ve bu örneklerin neden zamanında meydana geldiğine ilişkin açıklamalar sağlamasına yardımcı olur.”
Makine öğrenimi izlemede en iyi uygulamalar
Modeller, ML izleme ve model performans yönetimi, makine öğrenimi modellerinin beklendiği gibi çalışmasını ve güvenilir tahminler sunmasını sağlamaya yönelik uygulamalar ve araçlar için kullanılan terimlerdir. Veri bilimi ve devops ekipleri uygulamalarında hangi temel uygulamaları dikkate almalıdır?
Domino Data Lab’de baş saha veri bilimcisi olan Josh Poduska, “Model izleme kritik ve devam eden bir süreçtir. Sürüklenen bir modelin gelecekteki doğruluğunu artırmak için, mevcut gerçekliği daha fazla temsil eden ilişkili temel gerçek etiketleriyle birlikte daha taze verilerle onu yeniden eğitin.“
Anodot’un baş veri bilimcisi ve kurucu ortağı Ira Cohen, makine öğrenimi modeli izlemede önemli faktörleri paylaşıyor. “İlk olarak, girdi özelliklerindeki değişimler sorunlara neden olabileceğinden, modeller çıktı ve girdi özelliklerinin davranışını izlemelidir” diyor. Model performansı doğrudan veya yeterince hızlı ölçülemediğinde vekil ölçümlerin kullanılmasını önerir.
Cohen, veri bilimcilerinin model izleme için araçlara ihtiyacı olduğunu söylüyor. “Modelleri manuel olarak izlemek ölçeklenebilir değil ve panolar ve raporlar, birçok AI modeli dağıtıldığında oluşturulan izleme verilerinin karmaşıklığını ve hacmini ele alacak donanıma sahip değil” diyor.
Makine öğrenimi modeli izleme ve performans yönetimi için önerilen bazı uygulamalar şunlardır:
- Petrov, “Model geliştirme yaşam döngüsünün başlangıcında izleme ihtiyaçlarınızı desteklemek için araçlara ve otomasyona sahip olduğunuzdan emin olun” önerisinde bulunuyor.
- Dang, “Veri mühendisleri ve bilim adamları, verilerinin beklenen biçimde olduğundan emin olmak için ön doğrulamalar yapmalıdır. Veriler ve kod bir CI/CD ardışık düzeninde hareket ederken, doğrulamalar ve kısıtlama kontrolleri yoluyla veri birimi testini etkinleştirmelidirler.”
- Cohen, “Her modelin giriş ve çıkışlarının davranışını öğrenen ve normdan saptıklarında uyarmak için ölçeklenebilir anormallik algılama algoritmaları kullanın ve AI’yı izlemek için AI’yı etkin bir şekilde kullanın” önerisinde bulunuyor.
- Kayala, “Özellik dağılımındaki sapmayı takip edin. Dağıtımdaki büyük bir değişiklik, en iyi performansı elde etmek için modellerimizi yeniden eğitme ihtiyacına işaret ediyor.”
- Bailey, “Organizasyonlar giderek daha kapsamlı model yönetişim programlarının bir parçası olarak model riskini ve yatırım getirisini izlemeyi, modellerin iş ve teknik KPI’ları karşılamasını sağlamayı istiyor” diye ekliyor.
Yazılım geliştirme büyük ölçüde kodun korunmasına, uygulama performansının izlenmesine, güvenilirliğin artırılmasına ve operasyonel ve güvenlik olaylarına yanıt verilmesine odaklanır. Makine öğreniminde sürekli değişen veriler, oynaklık, önyargı ve diğer faktörler, veri bilimi ekiplerinin modelleri yaşam döngüleri boyunca yönetmesini ve üretimde izlemesini gerektirir.
Telif Hakkı © 2022 IDG Communications, Inc.
Kaynak : https://www.infoworld.com/article/3675389/the-importance-of-monitoring-machine-learning-models.html#tk.rss_all