Por Carine Regina Serachi
Originalmente publicado na Revista Conjur
Este artigo aborda a importância da revisão humana em decisões automatizadas que impactam os interesses do indivíduo, principalmente ante o avanço das novas tecnologias, em especial o surgimento da inteligência artificial.
Tomando por base a experiência internacional e a atual posição do Judiciário brasileiro no sentido de adotar instrumentos semelhantes ao ChatGPT na formulação de decisões judiciais, torna-se necessário apontar o risco das decisões tomadas unicamente com base em tratamento automatizado, principalmente ante seu viés discriminatório.
Não apenas, mas se busca também rediscutir a redação dada ao artigo 20 da LGPD, o qual suprimiu a necessidade de revisão humana, em clara dissonância com a legislação européia, a GDPR, e o PL 2.338/23.
Freepik
O objetivo aqui é, portanto, trazer à tona os riscos de se automatizar a tomada de decisões no âmbito judicial, analisando os diplomas legais de forma comparada, a fim de garantir a uniformidade de tratamento aos direitos dos indivíduos na era tecnológica atual.
O panorama atual brasileiro
As decisões automatizadas tomadas por meio de sistemas de IA [1] não são algo recente no Poder Judiciário, já sendo utilizadas pelo STJ para triagem de casos repetitivos e pelo STF para análise de admissibilidade recursal. Neste ano, no entanto, a Comissão de Tecnologia da Informação e Inovação do CNJ foi instada a analisar a necessidade de proibir os juízes brasileiros de utilizar a tecnologia do ChatGPT para proferir ou fundamentar decisões nos casos concretos em que atuam [1].
Ocorre que no dia 17/10/2023, o ministro Luís Roberto Barroso, em reunião com representantes das big techs, solicitou uma ferramenta semelhante ao ChatGPT para uso estritamente jurídico. A ideia é que o esboço da decisão seja feito por meio de IA, aqui denominada como AI generativa por ter a capacidade de gerar novos conteúdos a partir de dados pré-existentes.
Outros tribunais também se manifestaram acerca do uso de tal ferramenta, sendo que atualmente há 111 projetos em andamento, com 58 tribunais (dos 91) já utilizando IA [2].
A experiência internacional e o viés discriminatório
Em vários países, a IA também se faz presente em seus sistemas judiciais. Na Noruega e Estônia, decisões automatizadas são utilizadas para resolver disputas de pequeno valor. Já na China, os juízes são compelidos a submeter casos à decisão de máquinas, reservando-se o direito de desautorizá-las mediante justificativa [3].
Por sua vez, nos Estados Unidos há um software denominado Compas (Correctional Offender Management Profiling [2] for Alternative Sanctions), o qual avalia a probabilidade de um réu reincidir no crime [4]. Referido sistema atribui um score (nota) aos indivíduos, a qual é utilizada pelo magistrado para decidir acerca da liberdade condicional e pena aplicada [5].
Ocorre que o algoritmo utilizado não só era discriminatório, como o juiz também não tinha acesso à lógica por trás da nota atribuída (a empresa que criou o Compas é privada, sendo resguardado o segredo industrial).
Em situação similar, o Tribunal Constitucional Alemão se posicionou pela inconstitucionalidade do novo software de análise de dados utilizado pela polícia. Referido Tribunal focou no perigo do perfilamento realizado pela ferramenta, mediante o cruzamento de dados em abstrato sem vinculação a um perigo concreto [6].
As decisões automatizadas na GDPR, LGPD e o PL 2.338/23
O artigo 22 da GDPR prevê o direito do titular de não se sujeitar a uma decisão baseada exclusivamente em processamento automatizado, que produza efeitos na sua esfera jurídica ou que o afete significativamente de forma similar.
Ainda segundo tal artigo, é possível se sujeitar a uma decisão automatizada, mas o controlador precisará implementar garantias aos titulares, o que significa dar ao titular o direito de contestar essa decisão e solicitar a revisão humana.
No entanto, para que esse direito possa ser exercido de forma efetiva, o titular precisa ter conhecimento quanto às informações que foram coletadas, como elas foram analisadas/interpretadas e o raciocínio utilizado para se chegar àquela conclusão (decisão).
Já o artigo 20 da LGPD estipulava que “o titular dos dados tem direito a solicitar revisão, por pessoa natural, de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses”.
Ocorre que a necessidade de intervenção humana foi suprimida da lei, quando promulgada em 2018. Já os parágrafos primeiro e segundo do artigo 20 permaneceram inalterados: o primeiro estabelece que o controlador deve fornecer informações claras sobre os critérios e procedimentos usados em decisões automatizadas (em similaridade com a GDPR) e o segundo trouxe a possibilidade (e não necessidade) de auditoria quando as informações não forem prestadas pelo controlador e houver dúvida quanto ao viés automatizado.
A LGPD, portanto, reconhece explicitamente a possibilidade de decisões automatizadas serem discriminatórias, pois dependem da forma como aquele sistema é treinado.
O PL 2.338/23, por sua vez, dispõe sobre o uso da inteligência artificial, prevendo a participação e supervisão humana efetiva (artigo 3º, III), a não discriminação artigo 3º, IV), a transparência, explicabilidade, inteligibilidade e auditabilidade (artigo 3º, VI), o que demonstra um grande alinhamento com a LGPD, mas em especial com a GDPR quanto à necessidade de intervenção humana (artigos 9º, 10 e 11).
Referido projeto também prevê a correção de vieses discriminatórios, atribuindo graus de risco (excessivo ou alto [3]) aos sistemas de IA, além de prever a supervisão humana como forma de controle, para que o ser humano possa decidir, em qualquer situação específica, por não usar o sistema ou ignorar, anular ou reverter seu resultado.
A necessidade de revisão humana efetiva
Não basta que a intervenção humana no processo decisório seja mera formalidade, devendo haver uma revisão humana efetiva da decisão automatizada, suficiente para garantir o respeito aos direitos do indivíduo [7].
Quando falamos de tratamentos automatizados que possam impactar não só o perfil pessoal e aspectos da personalidade do indivíduo, como também sua esfera jurídica, precisamos estar cientes de que não poderá o magistrado confiar cegamente na ferramenta, sendo imprescindível que o esboço da decisão gerada pela IA seja revista, de acordo com o caso concreto.
Num mundo de demandas excessivas, copia e cola, visual law para que a petição seja efetivamente lida, o risco de que erros como o Compas sejam repetidos é grande. Isto porque o Brasil possui um index de 47,46 de 100 no índice produzido pelo Oxford Insights, com a menor pontuação em governança e ética [8]. Referido índice busca responder a pergunta de quão pronto um governo está para implementar a IA nos serviços públicos.
Apesar disso, a Resolução CNJ nº 332/2020 dispõe sobre transparência e a governança no uso de IA no Poder Judiciário, prevendo a possibilidade de revisão da proposta de decisão, bem como dos dados utilizados para sua elaboração e, havendo a impossibilidade de eliminação do viés discriminatório do modelo de IA, a utilização do mesmo será descontinuada. O CNJ está ciente, portanto, de que o ChatGPT possui significativas limitações, podendo escrever respostas plausíveis, mas incorretas e/ou discriminatórias [9].
Referida Resolução, no entanto, ainda é muito embrionária e superficial. Segundo Ricardo Villas Bôas Cueva, desde maio de 2018, o Judiciário da Inglaterra estabeleceu um órgão dedicado ao processamento de reclamações sobre o tratamento de dados pessoais pelos tribunais. Na Espanha, o Conselho Geral do Poder Judiciário possui um delegado de proteção de dados pessoais, além de um detalhado registro de atividades de tratamento em seu site [10].
Nota-se, com isso, uma relação intrínseca entre dados pessoais e IA, já tendo a ANPD, em Nota Técnica nº 16/2023/CGTP/ANPD, relacionado o PL 2.338/2023 à LGPD [4], vez que muitos sistemas de IA dependem de vastos conjuntos de dados pessoais para seu funcionamento, podendo a LGPD ser utilizada como referência para identificar e classificar sistemas de IA de alto risco [11]. Não apenas, como a ANPD poderia atuar como órgão regulador central do tema, o que novamente demonstra a necessidade de consonância entre os dispositivos legais no nosso ordenamento e a razão da revisão humana ter sido prevista desde o começo pela legislação internacional [12].
Considerações finais
Considerando que já há notícias quanto ao uso de decisões automatizadas e os riscos de vieses discriminatórios, o PL 2.338/2023 houve por bem resgatar a “mens legis” da GDPR, prevendo a necessidade de revisão humana. No entanto, tal previsão foi suprimida quando da entrada em vigor da LGPD, devendo, portanto, ser revista e alterada a redação do art. 20 da lei.
Ainda, considerando que o Judiciário está caminhando em direção ao avanço tecnológico, deve o órgão garantir que o esboço de decisão feita por meio de IA venha sempre acompanhado da supervisão direta e efetiva do magistrado responsável, vez que considerada de alto risco [13].
Isso significa que não basta que a programação e alimentação do sistema seja feita com transparência e auditabilidade em todas as suas fases de implementação, sendo necessário, também, um controle de qualidade posterior, quando o sistema já estiver em uso.
Por tal motivo é que o magistrado e os indivíduos afetados pela decisão automatizada devem ter conhecimento quanto às informações que foram coletadas, como elas foram analisadas/interpretadas e o raciocínio utilizado para se chegar àquela decisão, como já previsto na GDPR. Não apenas, mas o magistrado deve efetivamente revisar a decisão tomada pela máquina, vez que somente com a garantia da influência humana efetiva, com equilíbrio e ponderação entre o interesse público e o particular, é que será possível resguardar os direitos fundamentais dos indivíduos.
Referências
[1] Conselho Nacional de Justiça. Procedimento de Controle Administrativo n. 0000416-89.2023.2.00.0000. Disponível em https://www.conjur.com.br/dl/cnj-avalia-proibir-juizes-usar-chatgpt.pdf. Acesso em 08.11.23.
[2] VASCONCELOS, Rosália. ChatGPT já ajudou a dar sentença judicial: esse é o futuro dos tribunais?. Disponível em https://www.uol.com.br/tilt/noticias/redacao/2023/03/12/juiz-usa-chatgpt-para-decisao.htm. Acesso em 08.11.23.
[3] AVILA, Ana Paula. ChatGPT e juízes-robôs: Problemas de amanhã (e de hoje). Disponível em https://www.migalhas.com.br/depeso/387008/chatgpt-e-juizes-robos-problemas-de-amanha-e-de-hoje. Acesso em 15.11.23.
[4] ANGWIN, Julia Angwin; LARSON, Jeff; MATTU, Surya Mattu; KIRCHNER, Lauren. Machine Bias. Disponível em https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Acesso em 25.11.23.
[5] KAMARINOU, Dimitra; MILLARD, Christopher; SINGH, Jatinder. Machine Learning with Personal Data: Profiling, Decisions and the EU General Data Protection Regulation. Queen Mary School of Law Legal Studies Research Paper n. 247/2016. Disponível em https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2865811. Acesso em 18.12.23.
[6] CAMPOS, Ricardo. Autodeterminação informacional 4.0 e o tratamento de dados pelo Estado. Disponível em https://www.conjur.com.br/2023-fev-28/direito-digital-tratamento-dados-estado-limites-constitucionais. Acesso em 23.11.23.
[7] ALMADA, Marco. Human Intervention in Automated Decision-Making: Toward the Construction of Contestable Systems (April 23, 2019). Forthcoming, 17th International Conference on Artificial Intelligence and Law (ICAIL 2019). Disponível em http://dx.doi.org/10.2139/ssrn.3264189. Acesso em 25.11.23.
[8] DATA PRIVACY BRASIL. Inteligência Artificial e Decisões Automatizadas. Revista Data, Vol. 1, N. 2, Maio 2022. Para mais informações sobre um modelo de governança no Judiciário brasileiro ver MARANHÃO, Juliano Souza de Albuquerque; JUNQUILHO, Tainá Aguiar; TASSO, Fernando Antonio. Transparência sobre o emprego de inteligência artificial no Judiciário: um modelo de governança. Suprema: revista de estudos constitucionais, Brasília, v. 3, n. 2, p. 145-187, jul./dez. 2023. DOI: https://doi.org/10.53798/suprema.2023.v3.n2.a231.
[9] Conselho Nacional de Justiça. Resolução 332/2020. Disponível em https://atos.cnj.jus.br/files/original191707202008255f4563b35f8e8.pdf. Acesso em 20.11.23.
[10] CUEVA, Ricardo Villas Bôas. Proteção de dados pessoais no Judiciário. Revista do Advogado, Ano XXXIX, n. 144, Novembro: 2019, p. 138-139.
[11] ABREU, Jaqueline de Souza. Proteção de dados pessoais e persecução criminal à luz da LGPD. Revista do Advogado, Ano XXXIX, n. 144, Novembro: 2019.
[12] Agência Nacional de Proteção de Dados. Nota Técnica nº 16/2023/CGTP/ANPD . Sugestões de incidência legislativa em projetos de lei sobre a regulação da Inteligência Artificial no Brasil, com foco no PL nº 2338/2023. Disponível em https://www.gov.br/anpd/pt-br/assuntos/noticias/Nota_Tecnica_16ANPDIA.pdf. Acesso em 23.11.23.
[13] Comissão Européia. Proposta de regulamento do Parlamento Europeu e do Conselho que estabelece regras harmonizadas em matéria de Inteligência Artificial e altera determinados atos legislativos da União. Disponível em https://eur-lex.europa.eu/legal-content/PT/TXT/HTML/?uri=CELEX:52021PC0206. Acesso em 25.11.23.
[1] O art. 4º, I do PL 2338/23 define a IA como um sistema computacional, com graus diferentes de autonomia, desenhado para inferir como atingir um dado conjunto de objetivos, utilizando abordagens baseadas em aprendizagem de máquina e/ou lógica e representação do conhecimento, por meio de dados de entrada provenientes de máquinas ou humanos, com o objetivo de produzir previsões, recomendações ou decisões que possam influenciar o ambiente virtual ou real.
[2] Cumpre relembrar que o perfil que guia a decisão automatizada é obtido sem intervenção humana, o que significa dizer que o profiling nada mais é do que uma subcategoria do processamento automatizado de dados.
[3] Na União Europeia foi instituído o AI Act, o qual classifica como “risco elevado” os sistemas que auxiliem a autoridade judiciária na investigação e interpretação de fatos e na aplicação da lei.
[4] Dentre os princípios gerais trazidos pela LGPD, podemos citar “o princípio da limitação da coleta, segundo o qual os dados devem ser obtidos de forma lícita, justa e transparente; o princípio da finalidade legítima (ou especificação do propósito), segundo o qual os objetivos de uso dos dados coletados devem ser anunciados antes da coleta e vinculam as operações que podem ser feitas com tais dados, não podendo ser desvirtuados a não ser com consentimento do titular ou por dever legal; (…) e o princípio da prestação de contas, segundo o qual detentores de dados devem estar sujeitos a mecanismos de responsabilização em caso de inobservância dos princípios e regras de proteção de dados pessoais.
