Novo benchmark testa agentes de IA em mediações jurídicas com 972 casos

Pesquisadores da University of Science and Technology of China, da Singapore Management University e do Institute of Artificial Intelligence do Hefei Comprehensive National Science Center apresentaram um novo benchmark para avaliar agentes conversacionais de inteligência artificial em mediações jurídicas. O estudo ProMediConv foi disponibilizado no arXiv em 10 de setembro e aparece no repositório como aceito no Findings of EMNLP 2026.

O trabalho organiza 972 casos em diálogos multiparte e procura medir algo que avaliações tradicionais costumam reduzir ao desfecho: como a intervenção do mediador altera, turno a turno, a disposição de cada participante para compreender o problema, assumir responsabilidades e construir uma solução. Benchmark, nesse contexto, é um conjunto padronizado de casos, tarefas e métricas usado para comparar o desempenho de diferentes sistemas.

A estrutura divide a mediação em três estágios — compreensão, intervenção e reconciliação — e classifica a posição das partes em quatro estados comportamentais. Também identifica 11 estratégias de mediação, entre elas compreensão da situação, tomada de perspectiva, combinação de argumentos jurídicos e morais, reconhecimento, prevenção e formulação do acordo.

A base final contém 17.277 falas distribuídas pelos 972 casos, com média de 17,88 intervenções por diálogo e 4,54 participantes por caso, contando o mediador. Os conflitos foram agrupados em 13 tipos. Comunidade e vizinhança representam 19,3% da amostra; trabalho, 18,7%; família e casamento, 18%; e patrimônio e terra, 15,9%.

O dado exige uma distinção importante. Os pesquisadores não obtiveram 972 transcrições integrais de sessões reais prontas para uso. Eles partiram de 981 relatos publicados em 15 livros chineses sobre mediação, descartaram registros de baixa qualidade e empregaram uma cadeia automatizada para extrair fatos, sequência do caso e normas aplicáveis. Em seguida, reconstruíram os diálogos sob essas restrições e anonimizaram as identidades.

As posições comportamentais das partes também receberam anotação automatizada. A equipe comparou diferentes modelos com classificações humanas e escolheu o Qwen2.5-14B-Instruct por apresentar a maior concordância nesse teste. A metodologia amplia a escala, mas significa que parte daquilo que o benchmark trata como estado da parte já depende de uma inferência produzida por outro modelo.

Além da duração média e das taxas de sucesso, o estudo propõe a métrica MAD, sigla em inglês para diferença média de atributos. Ela acompanha a variação entre o estado inicial e o estado final de cada participante. A finalidade é detectar situações em que o sistema encerra rapidamente a conversa e registra um acordo, embora pedidos ou resistências relevantes continuem sem tratamento.

Esse problema apareceu nos experimentos como atalho para a solução. Em alguns diálogos, o agente alcançou uma conclusão aparente em menos turnos, mas deixou de enfrentar todas as pretensões. A nova métrica reduziu a vantagem desse comportamento ao atribuir valor à evolução individual das partes, e não apenas à presença de uma resposta final classificada como acordo.

O ProMediAgent, modelo-base treinado pelos autores, obteve taxa de sucesso de 0,9071, resultado superior aos demais sistemas avaliados no protocolo do estudo. Também registrou 10,34 turnos em média, pontuação de 0,9428 na taxa de sucesso gradual e 0,9893 na métrica MAD. Esses números servem para comparação dentro do ambiente experimental; não correspondem a percentuais de acordos reais nem demonstram que o sistema possa substituir um mediador humano.

A validação incluiu oito mediadores experientes, que avaliaram o estado de conclusão de uma amostra dos diálogos. O acordo entre avaliadores chegou a 87%. A MAD apresentou correlação positiva com a taxa de sucesso atribuída pelos profissionais, embora a correlação de Spearman reportada para essa comparação tenha ficado pouco acima do limiar convencional de significância estatística.

Os próprios resultados apontam dificuldades crescentes quando aumenta o número de participantes. As pontuações relacionadas à evolução das partes caíram e a quantidade de turnos subiu nos casos mais complexos. Modelos jurídicos especializados também não superaram automaticamente os modelos gerais: em algumas configurações, produziram informações irrelevantes, comportamento atribuído pelos autores a sobreajuste.

Há limites adicionais para qualquer transposição ao Brasil. O benchmark trabalha apenas com texto, deixa de fora comunicação não verbal e foi construído no contexto jurídico e cultural chinês. As interações de avaliação usam partes simuladas por modelos de linguagem de grande escala, ou LLMs, além de um modelo julgador para escolher o próximo interlocutor e um modelo de recompensa para estimar a evolução do diálogo.

Por isso, o estudo oferece uma ferramenta de pesquisa e comparação, não uma validação para uso autônomo da IA em mediações reais. Aplicações profissionais ainda precisam enfrentar consentimento informado, confidencialidade, proteção de dados, vieses culturais, explicabilidade, segurança das informações, autonomia das partes e supervisão humana qualificada.

A contribuição mais útil para câmaras, pesquisadores e formadores está no desenho da avaliação. Em vez de perguntar apenas se houve acordo e quantos turnos foram necessários, o ProMediConv propõe verificar quem avançou, quais interesses permaneceram sem resposta e se a solução resultou de uma transformação minimamente consistente do diálogo. O próximo passo será testar essa arquitetura em outros idiomas, culturas e modalidades, com comparação mais ampla entre simulação e prática profissional.