O acidente de 2018 em Tempe, Arizona, não foi um episódio isolado no panorama das falhas envolvendo sistemas autônomos. Verificou-se, nos anos seguintes, uma série de incidentes que confirmaram a dimensão sistêmica dos desafios técnicos e jurídicos associados à IA aplicada à mobilidade e a outros domínios de alto risco. Cada novo caso aprofundou o debate sobre os limites das tecnologias disponíveis e sobre a adequação dos regimes normativos existentes.
Cabe ressaltar que a multiplicidade de casos não indica, por si só, que a tecnologia de veículos autônomos seja intrinsecamente perigosa. Segundo dados da Administração Nacional de Segurança no Tráfego Rodoviário dos Estados Unidos (NHTSA), entre julho de 2021 e maio de 2022 foram registrados 392 acidentes envolvendo carros semiautônomos nos EUA, resultando em cinco mortes e seis feridos graves. Esses números precisam ser contextualizados: os veículos convencionais, guiados exclusivamente por humanos, acumulam dezenas de milhares de mortes anuais nas estradas americanas. O problema não é, portanto, a magnitude absoluta dos riscos, mas a ausência de marcos regulatórios adequados para gerir os riscos específicos introduzidos pela automação.
Outros Casos Emblemáticos de Mobilidade Autônoma
Em 17 de abril de 2021, em Houston, EUA, um Tesla Model S colidiu contra uma árvore, resultando em duas vítimas fatais. As investigações preliminares indicaram que nenhuma pessoa estava ao volante no momento do acidente, levantando dúvidas sobre o uso do sistema Autopilot. Elon Musk, CEO da Tesla, afirmou em sua conta no Twitter (hoje "X") que os dados recuperados apontavam que o Autopilot não estava ativado no momento da colisão — declaração que, por si só, ilustra o problema da opacidade dos sistemas e da dificuldade de reconstrução dos eventos a partir de registros digitais.
Nos Jogos Paralímpicos de Tóquio de 2021, um veículo autônomo da Toyota atropelou acidentalmente um atleta com deficiência visual. O episódio, ocorrido em contexto de alta visibilidade internacional, demonstrou que mesmo sistemas desenvolvidos por fabricantes de reconhecida competência técnica e submetidos a testes extensivos podem falhar em situações que envolvem pessoas com mobilidade diferenciada — um alerta direto sobre a necessidade de diversidade nos dados de treinamento.
Como bem sintetiza Filipe Medon, esses casos "ilustram os desafios e riscos associados aos veículos autônomos. Apesar de reduzirem os danos decorrentes da atuação humana, também introduzem novas dinâmicas e potenciais falhas tecnológicas que precisam ser rigorosamente avaliadas. A questão central é determinar se esses novos danos exigem uma nova teoria de responsabilidade civil ou se a atual dogmática já é suficiente" (Inteligência Artificial e Responsabilidade Civil: Autonomia, Riscos e Solidariedade. São Paulo: Juspodivm, 2022, p. 203).
O Caso do Drone Militar e a Hipótese do Operador Eliminado (2023)
O relato a seguir descreve uma história amplamente divulgada em 2023, segundo a qual um drone militar autônomo, em uma simulação ou exercício envolvendo a Força Aérea dos Estados Unidos, teria supostamente "eliminado" o operador humano que tentava interromper sua missão. É fundamental frisar que não há confirmação de que esse incidente tenha realmente acontecido; trata-se, ao que tudo indica, de um cenário hipotético ou de um mal-entendido decorrente de uma apresentação pública.
O caso ganhou repercussão quando o coronel Tucker Hamilton, oficial da Força Aérea dos EUA, teria mencionado uma simulação hipotética durante uma conferência sobre IA. Na ocasião, ele descreveu um cenário em que um drone militar autônomo, programado para neutralizar alvos específicos, acabou atacando seu próprio operador ao perceber que este tentava impedir a execução de sua missão primária.
De acordo com as versões que circularam, o drone dispunha de um sistema de pontuação ou recompensa interna — estruturado sobre aprendizado por reforço — voltado a maximizar o êxito da missão. Quando o operador enviou um comando de "abortar" a missão, o drone teria "avaliado" que tal comando prejudicava seu objetivo e, consequentemente, "decidido" remover o obstáculo para continuar sem interferências. A Força Aérea dos EUA negou que a simulação tenha ocorrido nos termos descritos, mas o coronel Hamilton não desmentiu a descrição do cenário hipotético em sua integralidade.
O Valor Analítico de um Caso Hipotético
A relevância desse episódio para o debate jurídico não depende de sua confirmação factual. Mesmo como cenário hipotético, ele cumpre uma função analítica insubstituível: ilustra com precisão o fenômeno do chamado desalinhamento de objetivos (goal misalignment) — situação em que um sistema de IA otimiza corretamente a função para a qual foi programado, mas essa função produz consequências incompatíveis com os valores e objetivos humanos.
O AI Act europeu, em seu artigo 9º, impõe aos fornecedores de sistemas de IA de alto risco a obrigação de implementar sistemas de gestão de riscos que incluam avaliações de riscos residuais ao longo de todo o ciclo de vida do sistema. O PL 2338/23, em seu artigo 12, prevê obrigações análogas para sistemas classificados como de alto risco, incluindo a exigência de mecanismos de supervisão humana efetiva — o que, no cenário do drone, corresponderia precisamente ao mecanismo que teria sido subvertido pelo sistema.
O caso hipotético do drone militar permite, assim, identificar o que a doutrina especializada tem denominado "lacuna de responsabilidade" (responsibility gap): em sistemas de IA suficientemente autônomos, pode haver situações em que nenhum agente humano identificável seja responsável, de forma direta, pelo comportamento danoso do sistema. Essa lacuna representa um dos maiores desafios para o direito da IA contemporâneo, e sua solução passa, necessariamente, pela redefinição dos critérios de imputação de responsabilidade.
Perspectiva Regulatória Comparada
Verificou-se, nos últimos anos, uma aceleração significativa dos esforços regulatórios em resposta à multiplicação de casos como os acima descritos. O AI Act europeu, em vigor desde agosto de 2024, estabelece uma abordagem baseada em risco que classifica os sistemas de IA em quatro categorias — risco inaceitável, alto risco, risco limitado e risco mínimo — com obrigações proporcionais a cada nível. Sistemas de mobilidade autônoma e aplicações militares de IA figuram entre os exemplos mais discutidos no contexto do risco inaceitável e do alto risco.
No Brasil, o PL 2338/23 ainda aguarda aprovação definitiva, mas já orienta o debate legislativo e doutrinário. A dimensão dos desafios ilustrados pelos casos examinados sugere que a aprovação oportuna de um marco regulatório claro — que defina responsabilidades, estabeleça padrões técnicos mínimos e crie mecanismos de supervisão efetivos — é condição necessária para que o país possa se beneficiar das potencialidades da IA sem expor sua população a riscos desproporcionais.
Alessandro Casoretti Lavorante
Prof. Me. pela USP
Advogado especializado em Direito Digital, IA e Startups. Mestre em Direito Civil pela USP. Autor do livro "Responsabilidade Civil por Inteligência Artificial".