부에노스아이레스 법원, Prometea에서 ChatGPT로 전환해 판결 작성 시간 단축

2017년 부에노스아이레스 공공검찰청은 결과를 예측하고 일상적인 사법 업무를 자동화하기 위해 Prometea를 구축했다. 이 시스템은 30만 건 이상의 판결문과 사건 파일로 훈련되었으며, 법률 직원들은 계속해서 시스템의 권고를 검토했다.

Prometea는 표준화된 사건 처리를 훨씬 빠르게 만들었다. 사무소의 생산성은 월 약 130건에서 490건으로 거의 300% 상승했고, 시스템은 20초 이내에 90%의 정확도로 결과를 예측할 수 있었다. 그러나 새로운 범죄 유형이 생길 때마다 더 많은 훈련과 알고리즘 개발이 필요했다.

2024년, 사무소는 일부 공공고용 사건에서 Prometea를 단계적으로 폐지하고 ChatGPT로 전환하기 시작했다. 직원들이 문서를 업로드하면 예비 분류와 초안을 받고, 변호사가 모든 문장을 검토한 뒤 부검찰장이 승인한다. 20건의 판결문 초안이 작성되어 준비 시간이 약 한 시간에서 10분으로 단축되었으며, 사무소는 익명화 작업을 진행하면서 프로그램을 확대하는 한편 민감한 사건에는 Prometea를 계속 사용하고 있었다.

ChatGPT는 초안 작성 시간을 약 한 시간에서 10분으로 단축했다. Prometea는 이미 월 생산량을 약 130건에서 490건으로, 거의 300% 끌어올린 상태였다.

사무소는 이미 반복 가능한 법률 업무를 템플릿으로 정리해 두었고, 이로써 생성형 도구에 좁은 운영 범위를 부여했다.

모델의 초안을 판결로 취급하지 않고, 인간 편집자가 최종 텍스트에 책임을 지도록 유지했다.

이번 전환은 새로운 사건 범주마다 별도 모델을 구축해야 하는 유지보수 부담을 줄였다.

팀은 프라이버시, 편향, 환각(hallucination)을 운영상의 제약으로 다루었고, 더 민감한 사안에는 기존 시스템을 계속 사용했다.

반복 가능한 법률 업무를 자동화하되, 의사결정 경계에서는 인간 검토를 유지하라. 속도는 민감한 입력과 출력이 계속 관리될 때에만 도움이 된다.

이번 전환은 여전히 실험이었다. ChatGPT로 작성된 판결문은 20건에 불과했고, 직원들은 민감한 사건 데이터에 대한 익명화 절차를 여전히 개발 중이었다. 사무소는 이 도구를 조달 관련 민원으로 확대하는 한편, Prometea는 공공고용 판결과 아동 성적 학대 자료와 관련된 연구에 계속 사용되고 있었다. 따라서 더 새로운 도구가 더 많은 일상 업무를 처리하게 되면서도, 구 시스템의 적용 범위는 거버넌스 지침 역할을 하게 되었다.