Büyük makine öğrenimi büyük sorumluluk getirir: 5 temel model geliştirme sorusu


Transform 2022’ye katılamadınız mı? İsteğe bağlı kitaplığımızdaki tüm zirve oturumlarına şimdi göz atın! Buraya bak.


Makine öğrenimi (ML) yeteneklerindeki hızlı büyüme, kullanımında bir patlamaya neden oldu. On yıl önce çok zorlanmış görünen doğal dil işleme ve bilgisayarlı görü modelleri artık birçok endüstride yaygın olarak kullanılmaktadır. üreten modeller yapabiliriz. daha önce hiç görülmemiş istemlerden yüksek kaliteli karmaşık görüntülerteslim etmek sadece basit bir ilk tohumla tutarlı metinsel yanıtlarya da tamamen tutarlı konuşmalar yapmak. Ve muhtemelen sadece yüzeyi çiziyoruz.

Ancak bu modellerin kapasitesi arttıkça ve kullanımları yaygınlaştıkça, istenmeyen ve potansiyel olarak zararlı sonuçlarına dikkat etmemiz gerekiyor. Örneğin, kredi itibarını tahmin eden bir model, belirli demografilere karşı ayrımcılık yapmamasını sağlamalıdır. Makine öğrenimi tabanlı bir arama motoru, liderlerin ve CEO’ların resimlerini ararken yalnızca tek bir demografinin görüntü sonuçlarını döndürmemelidir.

Sorumlu ML, bu tuzaklardan kaçınmak ve ML tabanlı sistemlerin istenmeyen veya zararlı sonuçlara karşı hafifletirken amaçlarına ulaşmasını sağlamak için bir dizi uygulamadır. Özünde, sorumlu yapay zeka, doğru sonuca ulaşmanızı sağlamak için model geliştirme süreci boyunca düşünme ve dikkat gerektirir.

Başlamanız için, model geliştirme sürecinde kendinize sormanız gereken bir dizi önemli soruyu listeledik. Bu istemleri düşünmek ve onlardan gelen endişeleri ele almak, sorumlu yapay zeka oluşturmanın özüdür.

1. Seçtiğim ML sistemi bu görev için en uygun mu?

En güçlü uçtan uca otomatik çözüme gitmek için bir cazibe olsa da, bazen bu görev için doğru seçim olmayabilir. Dikkate alınması gereken takaslar var. Örneğin, çok sayıda parametreye sahip derin öğrenme modelleri, karmaşık görevleri öğrenmek için yüksek bir kapasiteye sahip olsa da, girdilerin etkisini çıktılarla eşleştirmenin daha kolay olduğu basit bir doğrusal modele göre açıklamak ve anlamak çok daha zordur. Bu nedenle, model yanlılığını ölçerken veya bir modeli kullanıcılar için daha şeffaf hale getirmeye çalışırken, elinizdeki göreviniz için yeterli kapasiteye sahipse doğrusal bir model çok uygun olabilir.

Ek olarak, modelinizin çıktılarında bir miktar belirsizlik olması durumunda, tam otomasyona geçmek yerine bir insanı döngüde tutmak muhtemelen daha iyi olacaktır. Bu yapıda, tek bir çıktı/tahmin üretmek yerine, model daha az ikili bir sonuç üretecek (örneğin çoklu seçenekler veya güven puanları) ve daha sonra son aramayı bir insana bırakacaktır. Bu, hassas görevler (örn. hasta teşhisi) için önemli olabilecek, aykırı veya öngörülemeyen sonuçlara karşı kalkan oluşturur.

2. Temsili veriler mi topluyorum (ve bunları sorumlu bir şekilde mi topluyorum)?

Modelinizin belirli demografik gruplara adaletsiz davrandığı durumları azaltmak için önyargısız eğitim verileriyle başlamak önemlidir. Örneğin, görüntü kalitesini iyileştirmek için eğitilmiş bir model, tüm kullanıcı tabanında iyi çalışmasını sağlamak için tüm cilt tonlarındaki kullanıcıları yansıtan bir eğitim veri seti kullanmalıdır. Ham veri setini analiz etmek, bu önyargıları erkenden bulmak ve düzeltmek için faydalı bir yol olabilir.

Verinin kendisinin ötesinde, kaynağı da önemlidir. Model eğitimi için kullanılan veriler, kullanıcıların bilgilerinin toplandığını ve nasıl kullanıldığını anlamaları için kullanıcı onayı ile toplanmalıdır. Verilerin etiketlenmesi de etik bir şekilde tamamlanmalıdır. Genellikle veri kümeleri, marjinal tutarlar ödenen manuel değerlendiriciler tarafından etiketlenir ve daha sonra veriler, ilk etapta değerlendiricilere ödenene göre önemli kar üreten bir modeli eğitmek için kullanılır. Sorumlu uygulamalar, puanlayıcılar için daha adil bir ücret sağlar.

3. Makine öğrenimi sisteminin nasıl çalıştığını ben (ve kullanıcılarım) anlıyor muyum?

Milyonlarca parametre içeren karmaşık ML sistemleriyle, belirli bir girdinin model çıktılarıyla nasıl eşleştiğini anlamak önemli ölçüde zorlaşır. Bu, öngörülemeyen ve potansiyel olarak zararlı davranış olasılığını artırır.
İdeal azaltma, görevi yerine getiren mümkün olan en basit modeli seçmektir. Model hala karmaşıksa, sahada beklenmeyen bağlamlara hazırlanmak için sağlam bir dizi duyarlılık testi yapmak önemlidir. Ardından, kullanıcılarınızın kullandıkları sistemin sonuçlarını gerçekten anladığından emin olmak için, model tahminlerinin teknik uzmanlık gerektirmeyen bir şekilde nasıl oluşturulduğunu göstermek için açıklanabilir yapay zekayı uygulamak çok önemlidir. Bir açıklama mümkün değilse (örneğin ticari sırları ifşa ediyorsa), kullanıcıların en azından itiraz edebilmeleri veya sonuçlarla aynı fikirde değillerse gelecekteki kararlarına katkı sağlayabilmeleri için geri bildirim için başka yollar sunun.

4. Modelimi uygun şekilde test ettim mi?

Modelinizin beklendiği gibi çalışmasını sağlamak için test etmenin yerini hiçbir şey tutamaz. Adalet konularına ilişkin olarak, test edilecek kilit faktör, modelinizin kullanıcı tabanınızdaki tüm gruplarda iyi performans gösterip göstermediği ve model çıktılarında kesişen bir adaletsizlik olmamasıdır. Bu, tabanınızı doğru bir şekilde yansıtan altın standart bir test seti toplamak (ve güncel tutmak) ve düzenli olarak araştırma yapmak ve her tür kullanıcıdan geri bildirim almak anlamına gelir.

5. Üretimde doğru izlemeye sahip miyim?

Model geliştirme, dağıtımda bitmez. ML modelleri, tüm yaşam döngüleri boyunca sürekli model izleme ve yeniden eğitim gerektirir. Bu, üretimdeki veri dağılımının, modelin başlangıçta eğitildiği veri kümesinden farklı olmaya başladığı ve beklenmeyen ve potansiyel olarak zararlı tahminlere neden olduğu veri kayması gibi risklere karşı koruma sağlar. En iyi uygulama, üretimdeki model performansı hakkında otomatik uyarılar ayarlamak için bir model performans yönetimi platformu kullanmaktır, bu da ilk sapma belirtisinde proaktif olarak yanıt vermenize ve model kaymasının sürücüsünü anlamak için kök neden analizi yapmanıza yardımcı olur. Kritik olarak, performansın tüm kullanıcılar arasında korunmasını sağlamak için izlemenizin kullanıcı tabanınızdaki farklı gruplar arasında segmentlere ayrılması gerekir.

Kendinize bu soruları sorarak sorumlu AI uygulamalarını MLOps yaşam döngünüze daha iyi dahil edebilirsiniz. Makine öğrenimi henüz başlangıç ​​aşamasındadır, bu nedenle daha fazlasını aramaya ve öğrenmeye devam etmek önemlidir; Burada listelenen öğeler, sorumlu yapay zekaya giden yolda yalnızca bir başlangıç ​​noktasıdır.

Krishnaram Kenthapadi, Fiddler AI’ın baş bilim adamıdır..

DataDecisionMakers

VentureBeat topluluğuna hoş geldiniz!

DataDecisionMakers, veri işi yapan teknik kişiler de dahil olmak üzere uzmanların verilerle ilgili içgörüleri ve yenilikleri paylaşabileceği yerdir.

En yeni fikirleri ve güncel bilgileri, en iyi uygulamaları ve veri ve veri teknolojisinin geleceğini okumak istiyorsanız DataDecisionMakers’da bize katılın.

Kendi makalenize katkıda bulunmayı bile düşünebilirsiniz!

DataDecisionMakers’tan Daha Fazlasını Okuyun


Kaynak : https://venturebeat.com/2022/08/05/with-great-machine-learning-comes-great-responsibility/

Yorum yapın