CONSTRUINDO ALGORITMOS ÉTICOS: UM ESTUDO DE CASO EM PROCESSOS DECISÓRIOS AUTOMATIZADOS
1ELYSSANDRO PIFFER, 2CLEBER DE SOUZA RELLI, 3EDUARDA MAGANHA DE ALMEIDA
1Docente dos cursos de Tecnologia da Informação da Universidade Paranaense – UNIPAR 2Docente dos cursos de Tecnologia da Informação da Universidade Paranaense – UNIPAR 3Docente dos cursos de Tecnologia da Informação da Universidade Paranaense – UNIPAR
Introdução: A crescente incorporação de sistemas de Inteligência Artificial (IA) em processos decisórios tem ampliado o debate sobre os impactos éticos desses sistemas. À medida que algoritmos passam a influenciar decisões que afetam vidas humanas — como admissões acadêmicas, concessões de crédito ou alocação de recursos sociais — tornam-se evidentes os riscos de perpetuação de desigualdades e vieses históricos (OʼNeil, 2016; Santos, 2023). Um dos casos mais emblemáticos nesse contexto é o sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, traduzido, criação de perfis de gerenciamento de infratores correcionais para sanções alternativas), utilizado nos Estados Unidos para prever a probabilidade de reincidência de réus criminais. O sistema foi acusado de apresentar vieses raciais em suas previsões, o que evidenciou os riscos de injustiça algorítmica e a necessidade de mecanismos de responsabilização (Angwin et al., 2016). Relato de caso: O COMPAS é um algoritmo proprietário adotado em tribunais norte-americanos para auxiliar juízes em decisões sobre liberdade condicional, fianças e sentenças. Em 2016, uma investigação jornalística conduzida pela organização ProPublica analisou mais de 7.000 registros judiciais e revelou que o sistema superestimava o risco de reincidência de determinados grupos sociais e subestimava o de outros, mesmo quando os históricos criminais eram semelhantes. A análise mostrou que o algoritmo apresentava disparidades significativas nas classificações de risco, o que indicava um viés sistemático em sua lógica decisória. Isso ocorreu, em parte, porque o modelo utilizava variáveis socioeconômicas sensíveis, como escolaridade, local de residência e histórico familiar, o que contribuiu para decisões automatizadas potencialmente injustas e desproporcionais. Discussão: O caso COMPAS tornou-se um marco no debate internacional sobre os riscos éticos associados à adoção de sistemas automatizados em decisões de alto impacto social. A investigação evidenciou que, mesmo sem a utilização explícita de atributos sensíveis como etnia, o algoritmo apresentava padrões de classificação com forte viés, influenciado por variáveis indiretamente relacionadas a desigualdades estruturais, como escolaridade, bairro de residência e contexto familiar  (Cath, 2018). Essa constatação expõe um problema recorrente nos sistemas de IA: a reprodução de assimetrias históricas e sociais por meio de dados treinados em realidades já marcadas por desigualdade. Além disso, o COMPAS é um sistema proprietário e de código fechado, o que impossibilita a auditoria independente de sua lógica interna. Essa opacidade compromete os princípios de transparência, explicabilidade e responsabilização, fundamentais para o uso ético da inteligência artificial, especialmente em contextos jurídicos. O fato de que as decisões baseadas nesse sistema podem influenciar a liberdade de indivíduos levanta preocupações quanto ao devido processo legal e à justiça procedimental. Conclusão: A análise do sistema COMPAS evidencia que decisões automatizadas, quando não guiadas por princípios éticos, podem reproduzir e até ampliar desigualdades sociais. Este caso reforça a necessidade de incluir especialistas em ética, ciência de dados e direitos humanos no ciclo de vida dos algoritmos, desde a coleta de dados até sua aplicação prática. Ao expor os riscos de injustiça algorítmica, o caso contribui para a construção de políticas públicas mais justas e transparentes no uso da IA.
Referências: ANGWIN, Julia et al. Machine Bias: Thereʼs software used across the country to predict future criminals. And itʼs biased against blacks. ProPublica, 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em: 05 jul. 2025. CATH, Corinne. Governing artificial intelligence: ethical, legal and technical opportunities and challenges. Philosophical Transactions of the Royal Society A, v. 376, n. 2133, 2018. OʼNEIL, Cathy. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown Publishing Group, 2016. SANTOS, Mariana C. dos. Ética e Inteligência Artificial: diretrizes e desafios para a sociedade informacional. Revista Direito e Sociedade, v. 11, n. 1, p. 25–43, 2023.