Makine öğrenmesi ve yapay zeka sistemlerinin, eğitildikleri verideki önyargıları öğrenerek kararlarında belirli grupları sistematik olarak dezavantajlı kılması. Algoritma tarafsız görünür ama aslında insan yapımı verinin yansımasıdır.
Amazon'un işe alım algoritması geçmiş verilerde ağırlıklı olarak erkeklere iş verildiğini öğrenince kadın adayları otomatik olarak düşük puanlamaya başladı. Şirket bunu fark edince sistemi devre dışı bırakmak zorunda kaldı.
"Algoritma karar verdi" demek o kararın tarafsız olduğu anlamına gelmiyor. Algoritma insanların yazdığı kodla, insanların ürettiği verilerden besleniyor. Eğer veri yanlılıklıysa algoritma da yanlı olur. Otomasyona körü körüne güvenmemek gerekiyor.
