Otomatik karar sistemleri; kredi başvurularını, iş mülakatlarını, hatta mahkeme kararlarını etkiliyor. Ancak bu sistemler nasıl sonuçlara ulaştığını açıklamıyor. Algoritma açıklanabilirlik eksikliği salt teknik bir sorun değil; temel bir demokratik kriz. Etkilenen kişi neden reddedildiğini bilemiyor, itiraz etmek için zemin bulamıyor. 2016'da ProPublica'nın ortaya koyduğu COMPAS davası bu sorunu somutlaştırdı: Siyah sanıklara iki kat daha yüksek yeniden suç işleme riski atfeden sistem, gerekçe sunmak zorunda değildi. Kök sorun, şeffaflığı bir zorunluluk değil bir tercih olarak konumlandıran düzenleyici boşluktur. AB Yapay Zeka Yasası bu yönde adımlar atıyor; açıklanabilir AI gereklilikleri getiriyor. Ama uygulama yavaş ilerliyor ve denetim mekanizmaları zayıf kalıyor. Daha derin bir sorun var: Model performansı ile açıklanabilirlik arasında gerçek bir gerilim mevcut. Karmaşık sinir ağları iyi tahmin ediyor ama neden öyle tahmin ettiğini söylemiyor. Bunu çözmek için XAI (Açıklanabilir Yapay Zeka) araçları geliştirildi: LIME, SHAP gibi yöntemler kararları sonradan açıklamaya çalışıyor. Ancak bu açıklamalar gerçek karar sürecini mi temsil ediyor, yoksa sonradan üretilmiş bir hikaye mi, tartışma sürmektedir. Doğru olan şu: Her otomatik karar, etkilenen kişiye anlaşılır bir gerekçe sunmak zorunda kalmalı. Bu teknik açıdan mümkün, siyasi irade gerektiriyor.
