A ideia de que um sistema automatizado apenas calcula resultados esconde as decisões anteriores ao cálculo. Alguém escolheu os dados, definiu o objetivo e estabeleceu o que seria considerado um acerto.
Essas escolhas podem reproduzir desigualdades existentes ou criar novas barreiras. Por isso, auditoria, transparência e direito de contestação precisam fazer parte do desenvolvimento tecnológico.
Uma discussão pública
Quando sistemas influenciam crédito, emprego, segurança ou acesso a serviços, a eficiência não pode ser o único critério. A sociedade também precisa discutir legitimidade e responsabilidade.
