TJMS desenvolve ferramenta para identificar manipulações por IA em peças processuais

9
Foto: TJMS

O Tribunal de Justiça de Mato Grosso do Sul passou a adotar novas medidas de segurança voltadas ao uso da inteligência artificial no ambiente judicial. Recentemente, o TJMS identificou comandos ocultos de prompt injection em petições eletrônicas enviadas por um escritório de advocacia de Campo Grande, o que acendeu o alerta para tentativas de manipulação de sistemas baseados em IA.

Para enfrentar esse tipo de situação, a Secretaria de Tecnologia da Informação (STI) do tribunal desenvolveu uma ferramenta capaz de detectar estruturas suspeitas inseridas em peças processuais. 

O chamado “prompt injection” acontece quando comandos ocultos são inseridos em textos enviados a plataformas de inteligência artificial. Na prática, essas instruções podem tentar influenciar respostas automatizadas, alterar interpretações ou fazer com que sistemas ignorem parâmetros previamente definidos. 

O tema é abordado no artigo “Prompt Injection no Judiciário: Um Tema à Espera de Enquadramento Penal”, de autoria do desembargador Odemilson Roberto Castro Fassa, coordenador do Comitê de Governança e Ética para o uso de Inteligência Artificial no TJMS e pós-doutorando pela Universidade de São Paulo (USP). 

No artigo, o magistrado chama atenção para os impactos que esse tipo de prática pode causar à credibilidade do sistema de Justiça e à integridade do processo eletrônico. Segundo ele, o assunto ainda demanda maior amadurecimento jurídico e jurisprudencial no país. 

“A conduta é, em verdade, pluriofensiva: atinge patrimônio, administração da justiça, integridade de sistemas públicos e confiança na jurisdição. Definir como o direito penal brasileiro responderá a essa nova fronteira da litigância algorítmica predatória é debate que ainda está por ser feito e que merece análise aprofundada antes que os primeiros julgados consolidem entendimento sem o devido amadurecimento doutrinário”, escreveu o desembargador. 

O desembargador também aponta que as punições para o uso de prompt injection ainda são leves e insuficientes, ficando restritas a multas previstas no processo e a medidas disciplinares da OAB, como suspensão. Na prática, isso significa que não há responsabilização penal efetiva, o que, segundo ele, acaba criando um cenário preocupante: em ações de alto valor, o ganho obtido com a fraude pode ser muito maior do que o risco de punição, abrindo espaço para que esse tipo de prática se torne cada vez mais comum. 

A ferramenta desenvolvida pelo TJMS atua de forma preventiva, analisando padrões incompatíveis com a estrutura comum de documentos jurídicos e auxiliando na identificação de possíveis tentativas de interferência em sistemas inteligentes. A iniciativa faz parte das ações voltadas à segurança digital e ao uso responsável de novas tecnologias no Judiciário sul-mato-grossense. 

“A evolução das tecnologias exige atenção permanente do Poder Judiciário não apenas às possibilidades trazidas pela inteligência artificial, mas também aos riscos relacionados ao uso inadequado dessas ferramentas”, afirma a diretora da área, Liriane Nogueira. 

“O desenvolvimento interno dessa ferramenta demonstra a preocupação institucional do Tribunal em antecipar desafios e preservar a confiabilidade dos sistemas utilizados no ambiente processual”, completa. 

Com a nova ferramenta, o TJMS passa a ampliar o monitoramento sobre possíveis tentativas de manipulação em sistemas de inteligência artificial utilizados no ambiente processual, acompanhando um debate que começa a ganhar espaço no Judiciário brasileiro diante do avanço dessas tecnologias. 

Apesar da disponibilização do detector de prompt injection, o TJMS ressalta que a medida mais eficaz para evitar esse tipo de risco continua sendo a supervisão humana no uso da inteligência artificial. O Tribunal reforça que sistemas de IA funcionam apenas como ferramenta de apoio e que atos decisórios permanecem sob responsabilidade exclusiva de magistrados, com revisão obrigatória das informações produzidas pelas plataformas.

Entenda o caso – No caso identificado pelo TJMS, os comandos ocultos estavam inseridos em fonte branca dentro das petições eletrônicas, o que os tornava invisíveis em uma leitura convencional do documento. As instruções eram direcionadas a sistemas de inteligência artificial generativa e buscavam induzir respostas favoráveis a uma determinada tese jurídica, situação que reforçou a necessidade de mecanismos preventivos para detectar esse tipo de interferência em ambientes digitais do Judiciário.