Bir şirket yapay zekâ araçlarını devreye aldığında ilk duyurusu neredeyse hep aynıdır: üretkenlik yüzde kırk arttı, çalışan başına çıktı iki katına çıktı. Bu rakamlar cazip görünür. Ama ai üretkenlik ölçümü meselesine biraz daha yakından bakınca, sayıların neyi gerçekten ölçtüğü sorusu kaçınılmaz biçimde gündeme gelir. Üretkenlik artışını ölçmek için kullanılan yöntemlerin büyük bölümü, çıktı miktarını girdi süresiyle karşılaştırır. Bir geliştirici günde kaç satır kod yazdı? Bir analist kaç rapor üretti? Bu metrikler, dijital çalışmanın en kolay izlenebilir katmanını yakalar; ama asıl değer yaratan şeyi, kararın kalitesini, kodun sürdürülebilirliğini, raporun gerçekten işe yarayıp yaramadığını, büyük ölçüde görmezden gelir. Ai üretkenlik ölçümü tartışmalarında sıkça atlanan bir nokta şudur: çıktı hacmi ile çıktı değeri birbirine karıştırılır. Bir yapay zekâ aracı günde yüz e-posta taslağı üretebilir; ama bu taslakların kaçı gerçekten gönderildi, kaçı ilişkiyi ilerletti, kaçı yalnızca silinip gitti? Hacim ölçülür çünkü kolaydır. Değer ölçülmez çünkü zordur. Burada yapısal bir sorun var: organizasyonlar, yapay zekâ yatırımını meşrulaştırmak için kısa vadeli ve kolay ölçülen metriklere yönelir. Bu metrikler olumlu sonuç verdiğinde yatırım haklılanmış sayılır. Ama aynı dönemde çalışanların yaptığı işin ortalama zorluğu düştüyse, karar kalitesi geriledi ise ya da bağlamı anlama kapasitesi köreldi ise bu kayıplar tabloya girmez. Bir başka kör nokta, kontrol grubunun yokluğudur. Şirketlerin büyük çoğunluğu yapay zekâ araçlarını tüm organizasyona aynı anda açar. Karşılaştırma yapılabilecek bir grup kalmaz. Gözlemlenen üretkenlik artışının yapay zekâya mı, o dönemdeki piyasa koşullarına mı, organizasyonel yeniden yapılanmaya mı yoksa çalışanların motivasyonundaki değişime mi bağlı olduğu ayrıştırılamaz. Ai üretkenlik ölçümü için daha sağlam bir yaklaşım, çıktı hacminin yanı sıra hata oranını, revizyona ihtiyaç duyulan iş oranını ve üretilen çıktının gerçek kullanım oranını izlemek olurdu. Bu verileri toplamak maliyetlidir; bu yüzden çoğu kuruluş bundan vazgeçer ve yüzey metrikleriyle yetinir. Sonuçta yapay zekânın üretkenliği artırdığı iddiası, ölçüm yöntemi düzgün kurulmadan doğrulanamaz. Ve mevcut ölçüm yaklaşımları, iddiayı kanıtlamaktan çok ikna etmeye hizmet eder.