Oregon Eyalet Yetkilileri, Çocuk Refahı Soruşturmalarını Başlatmak İçin Kullanılan Al Aracını Döküyor

itibaren daha akıllı değil,-daha iyi,-veya-daha az-önyargılı.-sadece-daha hızlı. borç

Yapılması gereken pek çok insan işi var, ancak bunu yapmak için asla yeterli insan yok gibi görünüyor. İşlerin toplu olarak işlenmesi gerektiğinde, bunu donanım ve yazılıma devrediyoruz. Daha iyi değil. Daha akıllı değil. Sadece daha hızlı.

İnsanlardan çok büyük miktarda veriyi işlemelerini isteyemeyiz çünkü bunu yeterince iyi veya yeterince hızlı yapamıyorlar. Ancak, bu gibi görevleri yerine getirebilen, insanların en iyi yaptıkları diğer şeyleri yapmalarına izin veren yazılımlar yazabilirler… yargılama çağrıları yapmak ve diğer insanlarla anlaşmak gibi.

Ne yazık ki, AI bile çoğunlukla insan olabilir ve duygulu değil, “herkesi ataç haline getirbilim kurguda çok sık tasvir edildiği şekilde. Bunun yerine, birler ve sıfırların bağnaz olamayacağı varsayımıyla badanalanırken, yalnızca çok daha hızlı bir hızda, önyargılı insanlarla aynı sonuçları üretebilen, insan önyargısının kasıtsız bir kanalı haline gelir.

Ancak, en iyi niyetle konuşlandırıldığında bile AI böyle çalışır. Ne yazık ki, doğuştan insan işlerini almak ve onları otomasyona tabi tutmak, toplumsal sorunları olduğundan daha kötü hale getirme eğilimindedir. Örneğin, diğer eyaletlere yayılmadan önce Pennsylvania’da başlatılan bir pilot programı ele alalım. Çocuk refahı yetkilileri, yazılımın çocukların güvenliği hakkında bazı zor düşünmeleri yapması gerektiğine karar verdi. Ama veriler içeri girdiğinde, her zamanki çöp çıktı.

Carnegie Mellon Üniversitesi ekibinden yapılan yeni araştırmaya göre AP tarafından özel olarak elde edilirAllegheny’nin ilk faaliyet yıllarında algoritması, beyaz çocuklarla karşılaştırıldığında, orantısız sayıda Siyah çocuğu “zorunlu” bir ihmal soruşturması için işaretleme paternini gösterdi.

Neyse ki, insanlar hala işin içindeydi, bu da AI’nın tükürdüğü her şeyin çocuk refahı müjdesi olarak ele alınmadığı anlamına geliyor.

İlçeden veri alan bağımsız araştırmacılar, sosyal hizmet uzmanlarının algoritmanın ürettiği risk puanlarıyla yaklaşık üçte bir oranında aynı fikirde olmadığını da buldu.

Ancak denge, algoritmaya daha fazla güvenmeye doğru kayarsa, sonuçlar daha da kötü olurdu.

Araç, benzer bir çağrı oranını taramak için kendi başına hareket etseydi, geçen ay yayınlanan başka bir araştırmaya göre, bildirilen diğer tüm çocukların yaklaşık yarısına kıyasla Siyah çocukların üçte ikisinin araştırılmasını tavsiye ederdi. – ülkenin algoritmasını denetleyen bir araştırmacı tarafından yazılmıştır.

İlçenin yılda binlerce ihmal kararıyla başa çıkmak için güvendiği bu aracın neden olduğu potansiyel hasarı en aza indiren başka engeller de var. İşçilere, araştırmaları başlatmak için algoritmik çıktıları tek başına kullanmamaları söylendi. Yukarıda belirtildiği gibi, çalışanlar otomatik belirlemelere katılmayabilir. Ve bu, fiziksel veya cinsel istismar gibi daha doğrudan zarar içeren davalardan ziyade, yalnızca potansiyel ihmal veya standart altı yaşam koşulları vakalarını ele almak için kullanılır.

Allegheny County bir anomali değil. Daha fazla yerel, çocuk refahı kararları almak için algoritmalar kullanıyor. Oregon’un aletinin durumu, Pennsylvania’da kullanılana dayanmaktadır.ancak birkaç yararlı değişiklikle.

Oregon’un Taramada Güvenlik Aracı, adını Pittsburgh’u çevreleyen ilçeden alan etkili Allegheny Aile Tarama Aracı’ndan esinlenmiştir ve çocukların koruyucu ailede kalma veya gelecekte araştırılma riskini tahmin etmeyi amaçlamaktadır. İlk olarak 2018’de uygulandı. Sosyal hizmet uzmanları, farklı bir sosyal hizmet uzmanının aileyi araştırmasının gerekip gerekmediğine karar verirken, algoritmanın oluşturduğu sayısal risk puanlarını (sayı ne kadar yüksekse risk o kadar büyük) inceler.

Ancak Oregon yetkilileri, bir ailenin riskini hesaplarken yalnızca dahili çocuk refahı verilerinden yararlanmak için orijinal algoritmalarını değiştirdiler ve tasarımında kasıtlı olarak bir “adalet düzeltmesi” ile ırksal önyargıyı ele almaya çalıştılar.

Ancak Oregon yetkilileri, Nisan ayında yayınlanan AP soruşturmasının ardından (aynı zamanda Senatör Ron Wyden’dan bir dürtme).

Oregon İnsan Hizmetleri Departmanı, geçen ay personele e-posta yoluyla, “kapsamlı analiz”den sonra, ajansın yardım hattı çalışanlarının, çocuk koruma hizmetleri tarafından çocuk istismarı ve ihmali nedeniyle ailelerin soruşturulduğu eşitsizlikleri azaltmak için algoritmayı Haziran sonunda kullanmayı bırakacağını duyurdu.

Ajansın müdür yardımcısı Lacey Andresen, 19 Mayıs’ta gönderdiği e-postada, “Sürekli kalite iyileştirme ve eşitliğe bağlıyız” dedi.

Oregon’un aracının azınlıkların orantısız bir şekilde hedeflenmesine yol açtığına dair hiçbir kanıt yok, ancak devlet açıkça daha sonra bir çukurdan çıkmak yerine sorunun önüne geçmenin daha iyi olduğunu düşünüyor. En azından bu rapordan, çocukların güvenliğini sağlamanın son derece önemli görevinin hâlâ çoğunlukla insanlar tarafından yürütüleceği anlaşılıyor. Ve evet, insanlar yazılımdan daha fazla önyargıya eğilimlidir, ancak en azından önyargıları anlaşılmaz bir kod duvarının arkasına gizlenmez ve en yavaş önyargılı AI’dan çok daha az verimlidir.

Under: AI, allegheny ilçesi, önyargılı algoritmalar, çocuk hizmetleri, çocuk refahı, ırkçılık, risk puanları, tarama aracı