A IA na Prática: Aplicações, Problemas e Desafios: Conceitos Fundamentais

Conceitos Fundamentais: Viés Algorítmico e Discriminação Automatizada

Para compreender os desafios jurídicos colocados pela inteligência artificial na prática, é indispensável dominar um conjunto de conceitos fundamentais que permeiam os casos mais emblemáticos de uso problemático de sistemas algorítmicos. Entre esses conceitos, o viés algorítmico ocupa posição central: trata-se da tendência de sistemas de IA a reproduzir, amplificar ou até intensificar discriminações e desequilíbrios presentes nos dados com que foram treinados, produzindo resultados sistematicamente desfavoráveis para determinados grupos populacionais.

O viés algorítmico não é, em regra, o resultado de uma intenção discriminatória por parte dos desenvolvedores do sistema. Ele emerge, na maioria dos casos, de uma combinação de fatores estruturais: a utilização de dados históricos que refletem desigualdades sociais preexistentes; a escolha inadequada de variáveis de treinamento; a ausência de diversidade nos equipes de desenvolvimento; e a falta de avaliação crítica dos resultados sob a perspectiva de grupos historicamente marginalizados. Compreender essa origem estrutural é essencial para que a resposta jurídica seja proporcional e eficaz.

Profiling e Precificação Dinâmica: Mecanismos de Operação

A perfilização — ou profiling — é a técnica algorítmica pela qual sistemas de IA analisam grandes volumes de dados para construir perfis detalhados de indivíduos ou grupos, com base em variáveis como localização geográfica, comportamento de navegação, histórico de compras, nível de renda estimado e padrões de consumo. Esses perfis são então utilizados para personalizar ofertas, preços, conteúdos e até decisões de acesso a serviços.

Sem supervisão humana adequada, os algoritmos de profiling podem tomar decisões que favorecem sistematicamente certos grupos em detrimento de outros. No caso Decolar.com, consumidores identificados como brasileiros recebiam preços até 30% mais altos para os mesmos serviços — não porque alguém decidiu explicitamente cobrar mais de brasileiros, mas porque o algoritmo "aprendeu", a partir dos dados históricos, que consumidores nessa categoria tendiam a aceitar ou não perceber a diferença de preço. A variável geográfica, que parece neutra, operava, na prática, como um proxy para discriminação econômica.

A precificação dinâmica, técnica que ajusta preços em tempo real com base em demanda, comportamento do consumidor e condições de mercado, pode agravar ainda mais esse quadro. Modelos de precificação dinâmica que não incorporam salvaguardas contra discriminação podem sistematicamente cobrar mais de consumidores identificados como economicamente vulneráveis ou menos capazes de comparar preços — exatamente o grupo que mais precisaria de proteção.

O Sistema COMPAS: Viés Racial na Justiça Criminal

Um dos casos mais amplamente estudados de viés algorítmico com consequências jurídicas graves é o do sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), utilizado nos Estados Unidos para avaliar o risco de reincidência criminal de acusados. Em 2016, a organização ProPublica revelou, a partir de uma análise de 7.000 casos no condado de Broward, na Flórida, que o algoritmo apresentava vieses raciais sistemáticos: réus negros recebiam pontuações de risco mais altas do que réus brancos em situações objetivamente similares, o que resultava em decisões mais desfavoráveis quanto à prisão preventiva e à condicional.

O caso COMPAS é paradigmático porque ilustra como um sistema concebido para aumentar a objetividade e reduzir a arbitrariedade nas decisões judiciais pode, paradoxalmente, institucionalizar discriminações históricas de forma ainda mais difícil de contestar. Quando um juiz toma uma decisão discriminatória, essa decisão pode ser impugnada individualmente. Quando um algoritmo toma mil decisões discriminatórias por dia, a impugnação individual torna-se praticamente inviável, e a discriminação escala de forma invisível.

Técnicos envolvidos no desenvolvimento de sistemas similares tentaram redesenhá-los para eliminar o viés racial, mas verificou-se que o treinamento com dados históricos enviesados tornava impossível eliminar completamente o problema sem comprometer a precisão preditiva do modelo. Esse dilema — entre equidade e acurácia — é um dos mais complexos da inteligência artificial aplicada a decisões que afetam direitos fundamentais.

Discriminação de Gênero: O Caso Apple Card

Em 2019, usuários denunciaram publicamente que o Apple Card — produto financeiro desenvolvido em parceria entre a Apple e o Goldman Sachs — aprovava limites de crédito substancialmente mais altos para homens do que para mulheres, mesmo quando os dados financeiros das mulheres eram semelhantes ou até superiores. O caso ganhou repercussão quando o empresário David Heinemeier Hansson relatou ter recebido um limite de crédito vinte vezes maior do que o concedido à sua esposa, com histórico financeiro comparável.

O episódio expõe um mecanismo particularmente insidioso de discriminação algorítmica: o uso de variáveis que, individualmente, parecem neutras — como histórico de crédito, padrão de gastos ou tipo de renda —, mas que, em combinação, operam como proxies para características protegidas, como gênero ou etnia. Quando o Goldman Sachs foi questionado pelos reguladores sobre o funcionamento do algoritmo de crédito, a empresa afirmou que o sistema não utilizava o gênero como variável direta — o que era tecnicamente verdadeiro, mas juridicamente insuficiente para afastar a suspeita de discriminação indireta.

Implicações Jurídicas no Direito Brasileiro

No direito brasileiro, a discriminação algorítmica encontra múltiplos pontos de incidência normativa. O CDC proíbe, em seu art. 39, práticas comerciais abusivas, incluindo a fixação de preços injustos ou discriminatórios. A LGPD, em seu art. 20, assegura ao titular o direito à revisão de decisões automatizadas que o afetem. A Lei n. 12.288/2010 (Estatuto da Igualdade Racial) e a Lei n. 7.716/1989 (Lei de Racismo) estabelecem vedações à discriminação por raça ou etnia que se aplicam, por extensão, a decisões algorítmicas com efeito discriminatório.

O PL n. 2.338/2023 avança nessa direção ao prever, entre outras disposições, a proibição de sistemas de IA que utilizem técnicas de perfilização para explorar vulnerabilidades de grupos protegidos e a obrigação de avaliação de impacto discriminatório para sistemas de IA de alto risco. Cabe ressaltar, porém, que a efetividade dessas proibições dependerá da capacidade das autoridades de detectar discriminação algorítmica indireta — o que exige ferramentas técnicas de auditoria e expertise especializada que ainda são escassas no ecossistema regulatório brasileiro.

A Questão da Intenção e a Discriminação Estrutural

Um conceito fundamental para a análise jurídica do viés algorítmico é a distinção entre discriminação intencional e discriminação estrutural. Nos casos de viés algorítmico, raramente existe intenção discriminatória por parte dos desenvolvedores ou operadores do sistema. O que existe é uma discriminação estrutural — resultante da combinação de dados históricos enviesados, escolhas metodológicas questionáveis e ausência de avaliação crítica dos impactos sobre grupos vulneráveis.

Parece-nos que o direito brasileiro ainda não está plenamente equipado para lidar com essa distinção. Os instrumentos tradicionais de responsabilidade civil exigem, em regra, a demonstração de culpa ou dolo, o que se torna extremamente difícil em casos de discriminação estrutural algorítmica. A resposta mais adequada seria um regime de responsabilidade objetiva para danos causados por sistemas de IA classificados como de alto risco — análogo ao previsto no CDC para produtos defeituosos —, que não dependa da demonstração de intenção ou culpa, mas apenas da comprovação do dano e do nexo com o funcionamento do sistema.

Essa é, em última análise, a contribuição conceitual mais relevante que os casos de viés algorítmico trazem para o direito: a necessidade de repensar categorias fundamentais como intenção, culpa e nexo causal à luz de uma nova realidade em que os agentes causadores de dano são sistemas probabilísticos, opacos e desprovidos de subjetividade — mas cujos efeitos sobre vidas humanas são absolutamente concretos.