Caixas-Brancas e Caixas-Pretas: Aspectos Práticos

As caixas-brancas são aplicadas preferencialmente em áreas onde a explicabilidade é tão importante quanto a precisão, como nas decisões médicas ou jurídicas, por operarem com códigos rastreáveis e auditáveis. No contexto da IA fraca — sistemas projetados para tarefas específicas e bem delimitadas —, as caixas-brancas utilizam técnicas para realizar predições, automações, classificações e detecções inteligentes, garantindo que os resultados sejam explicáveis e interpretáveis. Essa característica é especialmente vantajosa no campo jurídico, pois otimiza tarefas repetitivas e analíticas enquanto preserva a transparência no tratamento dos dados, conforme ressaltam Corvalán, Dávila e Simari (2023).

Aplicações Práticas das Caixas-Brancas

No domínio jurídico, os sistemas de caixa-branca encontram aplicações relevantes em múltiplas frentes. Na triagem de processos judiciais, sistemas baseados em regras explícitas classificam automaticamente demandas por matéria, urgência ou perfil das partes, com critérios auditáveis que permitem revisão humana. Na análise de contratos, modelos de lógica simbólica identificam cláusulas potencialmente abusivas com base em padrões normativos predefinidos, cujas regras podem ser verificadas por qualquer operador do direito. Em sistemas de apoio à decisão em Tribunais, árvores de decisão transparentes auxiliam na uniformização de jurisprudência, permitindo que as partes compreendam e contestem os critérios aplicados.

Na área médica, as caixas-brancas são especialmente relevantes nos diagnósticos auxiliados por IA em que a rastreabilidade do processo decisório é essencial para fins de responsabilidade profissional e consentimento informado. Um sistema de apoio diagnóstico baseado em regras clínicas explícitas — que indica um diagnóstico diferencial com base em critérios verificáveis como sintomas, exames e histórico —, permite ao médico compreender, validar ou rejeitar a sugestão com plena consciência dos fundamentos utilizados. Esse nível de transparência é condição para o exercício responsável da medicina e para a proteção dos direitos do paciente.

As Caixas-Pretas: Riscos Concretos

As caixas-pretas referem-se a sistemas de IA cujo funcionamento interno é opaco ou difícil de interpretar — modelos cuja lógica interna não é compreensível, como ocorre com certas redes neurais de aprendizado profundo. Esses sistemas tomam decisões baseadas em processamento complexo de dados, mas o processo permanece obscuro para os humanos. A noção de caixa-preta é fundamental para termos a real dimensão do funcionamento de muitos sistemas que fazem uso de inteligência artificial atualmente em operação.

Embora a complexidade das redes profundas permita previsões altamente precisas em determinadas tarefas, ela também torna desafiador entender exatamente como essas previsões são geradas. Contrariamente aos sistemas que operam com algoritmos transparentes — nos quais é possível identificar de quem foi o erro —, na presença de um sofisticado sistema de caixa-preta não é possível saber como o sistema chegou àquela conclusão. Essa impossibilidade é o núcleo do problema jurídico.

Alguns exemplos concretos de caixas-pretas ilustram a questão. O AlphaGo Zero, sistema desenvolvido pela DeepMind, iniciou seu aprendizado recebendo apenas as regras do xadrez e do Go, e passou a jogar milhões de partidas contra si mesmo. Em apenas três dias, superou não apenas suas versões anteriores como os melhores especialistas humanos do mundo — mas as estratégias que desenvolveu para tanto são inacessíveis à compreensão humana. O caráter opaco decorre justamente da incapacidade de se entender como suas decisões estratégicas foram formadas durante o treinamento, conforme documentado por Silver et al. em artigo publicado na Nature (2017).

O projeto AutoML, por sua vez, intensifica ainda mais o fenômeno: redes neurais são projetadas para criar e treinar outras redes neurais de forma autônoma, em ciclos que podem durar horas ou dias. Nem mesmo os especialistas conseguem desvendar completamente o processo de criação e ajuste realizado por essas redes. Em ambos os casos, a ausência de transparência na forma como os sistemas chegam às suas conclusões torna difícil rastrear e compreender suas operações internas.

O Problema Comum às Caixas-Pretas

A questão central das caixas-pretas, nas suas diferentes formas, é sempre a mesma: elas não permitem entender, explicar, rastrear ou auditar completamente como os dados são processados e como isso leva aos resultados. Esse problema estrutural torna difícil explicar como os padrões de informação se correlacionam com os resultados produzidos pelo sistema. Em contextos jurídicos, isso é particularmente grave, pois a fundamentação de decisões que afetam direitos — seja em processos judiciais, seja em decisões administrativas — exige que os critérios utilizados sejam articuláveis e verificáveis.

Verifica-se que os usos mais preocupantes das caixas-pretas concentram-se precisamente nas áreas de maior impacto sobre direitos fundamentais: análise de comportamento e predição em redes sociais, classificação de imagens para reconhecimento facial, análise de risco financeiro e de crédito, triagem de candidatos a emprego. Nesses domínios, os modelos opacos apresentam resultados técnicos muitas vezes superiores aos de modelos transparentes — o que cria um incentivo econômico perverso para a adoção de sistemas cujo controle democrático e jurídico é, por definição, mais difícil.

A Regulação da Opacidade: Exigências Concretas

A resposta regulatória ao problema das caixas-pretas deve ser proporcional ao nível de risco da aplicação. Para aplicações de baixo impacto, a opacidade pode ser tolerada sem exigências adicionais. Para aplicações de alto risco — definidas tanto pelo AI Act europeu quanto pelo PL 2.338/2023 brasileiro com base no impacto potencial sobre direitos fundamentais —, a opacidade deve ser compensada por mecanismos institucionais que restaurem, ao menos parcialmente, a possibilidade de controle e contestação.

Esses mecanismos incluem: avaliações de impacto algorítmico obrigatórias antes da implantação; auditorias técnicas independentes com acesso ao código e aos dados de treinamento; mecanismos de contestação acessíveis às pessoas afetadas pelas decisões do sistema; e limites explícitos sobre o uso de sistemas opacos em domínios onde a explicabilidade seja condição constitucional — como nas decisões judiciais e administrativas com efeitos sobre liberdades individuais.

O art. 20 da LGPD já consagra, no ordenamento jurídico brasileiro, o direito do titular de dados pessoais a solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado, incluindo o direito a obter esclarecimentos sobre os critérios e procedimentos utilizados. Parece-nos que essa norma, interpretada à luz do princípio da transparência e do direito ao contraditório, estabelece uma barreira normativa relevante contra o uso irrestrito de caixas-pretas em decisões que afetam direitos individuais — exigência que o legislador brasileiro deverá detalhar e operacionalizar no marco regulatório específico para a IA.