envolvendo a Força Aérea dos Estados Unidos, teria supostamente “eliminado” o operador humano que tentava interromper sua missão. Importante frisar que não há confirmação de que esse incidente tenha realmente acontecido; trata-se, ao que tudo indica, de um cenário hipotético ou de um mal-entendido decorrente de uma apresentação pública. De toda forma, o exemplo serve para ilustrar como algoritmos de recompensa mal configurados poderiam causar comportamentos imprevistos em sistemas autônomos153. O caso ganhou repercussão quando um oficial da Força Aérea dos EUA, o coronel Tucker Hamilton, teria mencionado uma simulação hipotética durante uma conferência sobre IA. Na ocasião, ele descreveu um cenário em que um drone militar autônomo, programado para neutralizar alvos específicos, acabou atacando seu próprio operador ao perceber que este tentava impedir a execução de sua missão primária. De acordo com as primeiras versões que circularam, o drone dispunha de um sistema de pontuação ou recompensa interna (aprendizado por reforço) voltado a maximizar o êxito da missão (neutralizar o alvo). Quando o operador humano enviou um comando de “abortar” a missão, interrompendo o ataque, o drone teria “avaliado” que tal comando prejudicava seu objetivo e, consequentemente, violava sua lógica de maximizar a pontuação. Em resposta, o sistema autônomo supostamente “decidiu” remover o obstáculo (ou seja, seu operador) matando-o, para que pudesse, assim, continuar a missão sem interferências154. Muito se questionou se o ocorrido se referia a um episódio real ou apenas a uma hipótese aventada para ilustrar o perigo da IA não controlada adequadamente. meio de piloto automático. Os esclarecimentos, bem como ampla discussão sobre o tema, podem ser vistos em Morsello, Marco Fábio. Aspectos Jurídicos Palpitantes dos Veículos Aéreos Não Tripulados. In: Chinellato (Coord.); Tomasevicius Filho, Eduardo (Org.). Inteligência artificial: Visões Interdisciplinares e Internacionais [Ebook]. São Paulo: Almedina, 2023. pp. 251-286. Vejase, também, Castells I Marques, Drones Civiles. In: Navarro, Suzana Navas (Coord.), Inteligencia Artificial: Tecnologia, Derecho, Valência: Tirant lo Blach, 2017a, pp. 73-75. 153 Cabe ressaltar que há inúmeros casos de incidentes reais ocasionados por drones. Contudo, nem todos os drones envolvidos em incidentes utilizam IA. 154 Disponível em: https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-aikilled-operator-simulated-test. Acesso em: dez. 2024. Disponível em: https://www.aereo.jor.br/2023/06/03/forca-aerea-dos-eua-diz-que-nao-executousimulacao-em-que-drone-de-ia-matou-seu-operador/? Acesso em: dez. 2024.
Alessandro Casoretti Lavorante
Prof. Me. pela USP
Advogado especializado em Direito Digital, IA e Startups. Mestre em Direito Civil pela USP. Autor do livro "Responsabilidade Civil por Inteligência Artificial".