A IA na Prática: Aplicações, Problemas e Desafios: Reflexões e Propostas

A análise dos casos concretos de falhas em sistemas de IA e do panorama regulatório atual conduz, naturalmente, a uma reflexão sobre os princípios e as propostas que devem orientar a construção de um regime jurídico adequado para o campo. Essa reflexão não se confunde com a formulação de soluções definitivas — a velocidade do desenvolvimento tecnológico torna qualquer pretensão de definitividade imprudente. O que se busca é identificar os princípios estruturantes que devem guiar tanto o legislador quanto o intérprete do direito nesse domínio emergente.

Parece-nos que três eixos reflexivos são fundamentais: a distribuição de responsabilidades na cadeia de desenvolvimento e implantação dos sistemas de IA; o papel da supervisão humana como mecanismo de controle; e a auditoria algorítmica como instrumento de transparência e prestação de contas.

A Distribuição de Responsabilidades na Cadeia de IA

Os sistemas de IA não são criados e operados por um único agente. Ao contrário: sua cadeia produtiva envolve, tipicamente, múltiplos atores — fornecedores de dados, desenvolvedores de modelos de base, operadores que configuram e implantam os modelos em contextos específicos, e usuários finais que interagem com os sistemas no cotidiano. Cada um desses atores exerce influência distinta sobre o comportamento do sistema e, consequentemente, sobre os riscos que ele representa.

Uma proposta adequada de regime de responsabilidade deve refletir essa multiplicidade de atores e distribuir responsabilidades de forma proporcional ao controle que cada um exerce sobre o sistema e ao benefício econômico que cada um obtém de sua exploração. O AI Act europeu avança nessa direção ao distinguir entre "fornecedores" — que desenvolvem os sistemas — e "implantadores" — que os colocam em operação —, atribuindo a cada categoria obrigações específicas.

O PL 2338/23 adota abordagem semelhante ao definir "agentes de IA" em diferentes posições da cadeia e estabelecer que a responsabilidade de cada um é delimitada pelo âmbito de seu controle sobre o sistema. Essa solução parece-nos tecnicamente correta, mas sua efetividade depende de uma definição clara dos critérios de controle — o que, em sistemas de IA que evoluem continuamente por aprendizado, pode ser mais difícil do que parece à primeira vista.

O Papel Insubstituível da Supervisão Humana

Verificou-se, em todos os casos examinados, que a ausência ou inadequação da supervisão humana foi um fator determinante para a ocorrência ou a gravidade do dano. No caso do veículo autônomo da Uber, o operador de segurança assistia a vídeos em seu celular no momento do acidente. No caso do fundo K1, não havia mecanismo que permitisse ao investidor intervir antes que o stop-loss catastrófico fosse executado. No caso das alucinações do ChatGPT, o usuário que formulou a consulta não tinha como verificar, em tempo real, a veracidade das informações fornecidas.

A supervisão humana efetiva — não meramente formal — é, portanto, uma exigência que se impõe tanto por razões técnicas quanto jurídicas. Por razões técnicas, porque os sistemas de IA atuais não são infíveis e podem falhar de formas que seus desenvolvedores não anteciparam. Por razões jurídicas, porque a presença de supervisão humana adequada é, em muitos regimes regulatórios, condição para a própria legalidade da operação de sistemas autônomos em contextos de alto risco.

O AI Act europeu, em seu artigo 14, impõe aos operadores de sistemas de alto risco que implementem medidas de supervisão humana que permitam aos supervisores: (i) compreender plenamente as capacidades e limitações do sistema; (ii) monitorar sua operação e detectar anomalias; (iii) intervir e interromper o sistema quando necessário; e (iv) não confiar cegamente nos outputs do sistema sem verificação independente. Essas obrigações não são meramente formais — elas exigem que as empresas invistam em treinamento, infraestrutura e processos organizacionais que tornem a supervisão humana genuinamente efetiva.

Auditoria Algorítmica: Transparência e Prestação de Contas

A opacidade dos sistemas de IA — identificada como um dos principais obstáculos à responsabilização — não é uma característica imutável. É possível, e juridicamente necessário, desenvolver mecanismos que aumentem a transparência dos sistemas e facilitem a investigação de falhas. A auditoria algorítmica é o instrumento mais promissor nessa direção.

A auditoria algorítmica consiste na avaliação independente dos sistemas de IA por entidades externas especializadas, com acesso ao código-fonte, aos dados de treinamento, à documentação técnica e aos registros de operação. Essa prática, ainda incipiente no Brasil, está sendo progressivamente institucionalizada na Europa pelo AI Act, que exige, para os sistemas de alto risco, a realização de avaliações de conformidade por organismos notificados antes da colocação no mercado.

No Brasil, o PL 2338/23 prevê, em seu artigo 15, a obrigação de avaliação de impacto algorítmico para sistemas de IA de alto risco antes de sua implantação. Essa avaliação deve identificar os riscos potenciais do sistema, as medidas de mitigação adotadas e os mecanismos de monitoramento previstos. Embora menos rigorosa do que a auditoria externa prevista no AI Act, a avaliação de impacto constitui um primeiro passo relevante no sentido da transparência e da prestação de contas.

Propostas para o Debate Legislativo Brasileiro

Com base nas reflexões acima, podem ser identificadas algumas propostas que merecem consideração no âmbito do debate legislativo sobre o PL 2338/23 e futuros instrumentos normativos sobre IA no Brasil.

Em primeiro lugar, a definição clara dos critérios de classificação de risco: a efetividade de qualquer regime baseado em risco depende de critérios objetivos e transparentes para a classificação dos sistemas. O PL 2338/23, em sua versão atual, utiliza critérios relativamente vagos que podem gerar incerteza jurídica e facilitar a evasão regulatória.

Em segundo lugar, a criação de um órgão regulador especializado: a fiscalização efetiva das obrigações impostas aos sistemas de IA exige competências técnicas que os órgãos reguladores generalistas tipicamente não possuem. A criação de uma autoridade reguladora especializada — a exemplo da proposta de Escritório de IA prevista no AI Act europeu — parece-nos uma condição necessária para a efetividade do marco regulatório.

Em terceiro lugar, a harmonização com a LGPD e outros instrumentos normativos: o regime regulatório da IA não pode ser elaborado de forma isolada, sem atenção às interfaces com a proteção de dados pessoais, o direito do consumidor e o direito da concorrência. A coerência sistêmica do ordenamento jurídico exige que o marco regulatório da IA seja elaborado em diálogo permanente com esses outros campos normativos.

A construção de um regime jurídico adequado para a IA no Brasil é, em última análise, uma tarefa coletiva que envolve legisladores, reguladores, acadêmicos, empresas e sociedade civil. Os casos e reflexões apresentados nesta seção pretendem contribuir para esse debate, oferecendo uma perspectiva que combina rigor técnico e sensibilidade jurídica — postura que nos parece indispensável para navegar com competência no universo complexo da inteligência artificial aplicada.