레산, 오프라인 인쇄물을 아프리카의 뿔 언어 데이터셋으로 전환하다

암하라어와 티그리냐어의 콘텐츠 조정은 근본적인 데이터 문제에 직면했다. 이 언어들은 온라인에서 충분히 대표되지 않아 언어별 시스템을 훈련할 디지털화된 텍스트가 거의 없었다. 영어에서 학습한 내용을 전이하는 다국어 모델은 문화적 의미를 놓칠 수 있었고, 일부 모델은 티그리냐어 알파벳의 문자조차 포함하지 않았다.

레산은 단일 모델 해결책을 기다리는 대신 오프라인 자원으로 작업하기로 했다. 베를린에 기반을 둔 이 스타트업은 티그리냐어 사용 커뮤니티와 협력해 책과 잡지를 스캔한 뒤, 인쇄물을 기계가 읽을 수 있도록 맞춤형 문자 인식 도구를 구축했다.

이러한 풀뿌리 수집 작업은 아프리카의 뿔 전역 언어를 위한 벤치마크 데이터셋을 만들어냈다. 이후 레산은 분산 AI 연구소(Distributed AI Research Institute)와 협력해 에티오피아에서 사용되는 언어를 식별하고 그 언어로 된 유해 발언을 탐지하는 오픈소스 도구를 개발했다.

레산은 아프리카의 뿔 벤치마크 데이터셋을 만들었고, DAIR과 협력해 에티오피아 언어 식별 및 유해 발언 탐지를 위한 오픈소스 도구를 개발했다.

저자원 언어는 신뢰할 수 있는 언어별 조정 모델을 지원하기에 디지털화된 텍스트가 너무 적었다.

영어를 통한 교차 언어 전이는 문화적 뉘앙스를 지우고 오류나 오탐을 낳을 수 있었다.

티그리냐어 사용 커뮤니티는 글로벌 데이터셋에 없던 관련 인쇄물과 언어 지식을 제공할 수 있었다.

맞춤형 문자 인식 도구는 희소한 오프라인 자료를 재사용 가능한 기계 판독 데이터로 전환했다.

어떤 언어가 범용 모델에 쓰기에는 디지털 데이터가 너무 적을 때, 결정적인 조치는 도구를 확장하기 전에 현지 언어 전문성으로 지역사회가 보유한 인쇄물을 디지털화하는 것일 수 있다.

레산은 풀뿌리 데이터 수집 방식을 활용해 아프리카의 뿔 전역 언어를 위한 벤치마크 데이터셋을 만들었고, 이후 DAIR과 함께 에티오피아를 위한 오픈소스 언어 식별 및 유해 발언 도구를 개발했다. 이 기사는 초기 진전을 설명하지만 도입률, 매출, 정확도 지표는 제시하지 않으므로, 그 성과는 수치로 입증된 상업적 반전이라기보다 데이터와 파트너십의 돌파구로 이해하는 것이 가장 적절하다.