Lesan transformou material impresso offline em um conjunto de dados linguísticos do Chifre da África

A moderação de conteúdo em amárico e tigrínio enfrentava um problema básico de dados: as línguas eram sub-representadas online, de modo que havia pouco texto digitalizado para treinar sistemas específicos para esses idiomas. Modelos multilíngues que transferiam aprendizados do inglês podiam perder o significado cultural, e alguns modelos nem sequer continham caracteres do alfabeto tigrínio.

A Lesan optou por trabalhar a partir de recursos offline em vez de esperar por uma solução de modelo único. A startup sediada em Berlim coordenou-se com comunidades falantes de tigrínio para digitalizar livros e revistas, e então criou ferramentas personalizadas de reconhecimento de caracteres para tornar o material impresso legível por máquinas.

A coleta de base comunitária produziu um conjunto de dados de referência para línguas de todo o Chifre da África. A Lesan então firmou parceria com o Distributed AI Research Institute para desenvolver uma ferramenta de código aberto que identifica as línguas faladas na Etiópia e detecta discurso nocivo nelas.

A Lesan criou um conjunto de dados de referência do Chifre da África e firmou parceria com o DAIR em uma ferramenta de código aberto para identificação de línguas etíopes e detecção de discurso nocivo.

Línguas de baixos recursos tinham texto digitalizado insuficiente para sustentar modelos de moderação confiáveis e específicos para cada idioma.

A transferência interlíngue por meio do inglês podia apagar nuances culturais e produzir erros ou falsos alarmes.

Comunidades falantes de tigrínio podiam fornecer materiais impressos relevantes e conhecimento linguístico que os conjuntos de dados globais não tinham.

Ferramentas personalizadas de reconhecimento de caracteres converteram material offline escasso em dados reutilizáveis legíveis por máquinas.

Quando um idioma tem dados digitais insuficientes para um modelo geral, o movimento decisivo pode ser digitalizar material impresso mantido pela comunidade com expertise linguística local antes de escalar a ferramenta.

A Lesan usou seu método de coleta de dados de base comunitária para criar um conjunto de dados de referência para línguas de todo o Chifre da África, e então uniu-se ao DAIR em uma ferramenta de código aberto de identificação de línguas e detecção de discurso nocivo para a Etiópia. O artigo descreve progressos iniciais, mas não apresenta métricas de adoção, receita ou precisão, de modo que o resultado é mais bem compreendido como um avanço em dados e parcerias do que como uma recuperação comercial quantificada.