Örneklem büyüklüğü araştırma güvenilirliği açısından belirleyici bir faktördür; fakat popüler bilim haberlerinde bu detay çoğu zaman görmezden gelinir. "Araştırmacılar şunu keşfetti" cümlesiyle sunulan bulgunun kaç kişilik bir grupla, hangi koşullar altında üretildiği haberin geri kalanına gömülmüş, hatta hiç belirtilmemiş olabilir. Örneklem büyüklüğü araştırma güvenilirliğini nasıl etkiler? Küçük örneklemler rastlantısal varyansa karşı son derece kırılgandır. Yirmi kişilik bir grupta gözlemlenen etki büyüklüğü, aynı çalışma beş yüz kişiyle tekrarlandığında yarı yarıya küçülebilir veya tamamen kaybolabilir. İstatistikte buna "güç" (power) sorunu denir: örneklem küçükse tespit edilebilir gerçek etki büyüklüğü yükselir, küçük ama gerçek etkiler tespit edilemez kalır. Sosyal psikoloji bu sorunla en sancılı şekilde yüzleşen alandır. 2011 sonrası başlayan "replikasyon krizi" sürecinde, popüler dergiler tarafından yayımlanmış ve medyada geniş yer bulan onlarca çalışma yeniden denendiğinde ya çok küçük etkiler verdi ya da hiçbir etki vermedi. Bu çalışmaların önemli bir kısmı küçük örneklemlerle yapılmıştı. Ne yapılmalı? Araştırma bulgusu tüketen biri olarak şu sorular sorulabilir: örneklem kaç kişiden oluşuyor, katılımcı profili nedir (üniversite öğrencisi mi, genel nüfusu temsil ediyor mu), çalışma bağımsız araştırmacılar tarafından tekrarlandı mı, ve etki büyüklüğü istatistiksel olarak anlamlı olmanın ötesinde pratik olarak anlamlı mı? Örneklem büyüklüğü araştırma güvenilirliği üzerindeki etkisini görmezden gelmek, sağlam zemine benzeyen ama aslında kil üzerine kurulu binaya güvenmek gibidir. Temeli sormadan duvarları boyamak zaman kaybeder.