Lesan convirtió la impresión offline en un conjunto de datos lingüísticos del Cuerno de África

La moderación de contenido en amárico y tigriña enfrentaba un problema básico de datos: las lenguas estaban subrepresentadas en línea, por lo que había poco texto digitalizado para entrenar sistemas específicos para cada idioma. Los modelos multilingües que transferían aprendizajes del inglés podían perder el significado cultural, y algunos modelos ni siquiera contenían caracteres del alfabeto tigriña.

Lesan optó por trabajar a partir de recursos offline en lugar de esperar una solución de un solo modelo. La startup con sede en Berlín se coordinó con comunidades de habla tigriña para escanear libros y revistas, y luego creó herramientas personalizadas de reconocimiento de caracteres para que la impresión fuera legible por máquinas.

La recolección de base produjo un conjunto de datos de referencia para lenguas de todo el Cuerno de África. Lesan se asoció después con el Distributed AI Research Institute para desarrollar una herramienta de código abierto que identifica las lenguas habladas en Etiopía y detecta en ellas discursos dañinos.

Lesan creó un conjunto de datos de referencia del Cuerno de África y se asoció con DAIR en una herramienta de código abierto para la identificación de lenguas etíopes y la detección de discursos dañinos.

Las lenguas de bajos recursos tenían demasiado poco texto digitalizado para sustentar modelos de moderación específicos y fiables.

La transferencia interlingüística mediante el inglés podía borrar matices culturales y producir errores o falsas alarmas.

Las comunidades de habla tigriña podían aportar materiales impresos pertinentes y conocimientos lingüísticos de los que carecían los conjuntos de datos globales.

Las herramientas personalizadas de reconocimiento de caracteres convirtieron material offline escaso en datos reutilizables legibles por máquinas.

Cuando una lengua tiene demasiado pocos datos digitales para un modelo general, el movimiento decisivo puede ser digitalizar la impresión en manos de la comunidad con experiencia lingüística local antes de escalar la herramienta.

Lesan utilizó su método de recolección de datos de base para crear un conjunto de datos de referencia para lenguas de todo el Cuerno de África, y luego se unió a DAIR en una herramienta de código abierto de identificación de lenguas y detección de discursos dañinos para Etiopía. El artículo describe avances tempranos pero no ofrece métricas de adopción, ingresos ni precisión, por lo que el resultado se entiende mejor como un avance en datos y alianzas que como un giro comercial cuantificado.