Lesan a transformé des imprimés hors ligne en un jeu de données linguistiques pour la Corne de l'Afrique

La modération de contenu en amharique et en tigrinya se heurtait à un problème de données élémentaire : ces langues étaient sous-représentées en ligne, si bien qu'il existait peu de texte numérisé pour entraîner des systèmes propres à ces langues. Les modèles multilingues transférant des acquis de l'anglais pouvaient manquer le sens culturel, et certains modèles ne contenaient même pas les caractères de l'alphabet tigrinya.

Lesan a choisi de travailler à partir de ressources hors ligne plutôt que d'attendre une solution fondée sur un modèle unique. La start-up basée à Berlin s'est coordonnée avec des communautés tigrinyaphones pour numériser des livres et des magazines, puis a développé des outils de reconnaissance de caractères sur mesure afin de rendre ces imprimés lisibles par les machines.

Cette collecte de terrain a produit un jeu de données de référence pour les langues de la Corne de l'Afrique. Lesan s'est ensuite associé au Distributed AI Research Institute pour développer un outil open source qui identifie les langues parlées en Éthiopie et y détecte les discours nuisibles.

Lesan a créé un jeu de données de référence pour la Corne de l'Afrique et s'est associé à DAIR pour un outil open source d'identification des langues éthiopiennes et de détection des discours nuisibles.

Les langues à faibles ressources disposaient de trop peu de texte numérisé pour soutenir des modèles de modération propres à chaque langue et fiables.

Le transfert interlingue via l'anglais pouvait effacer les nuances culturelles et produire des erreurs ou de fausses alertes.

Les communautés tigrinyaphones pouvaient fournir des imprimés pertinents et un savoir linguistique qui manquaient aux jeux de données mondiaux.

Des outils de reconnaissance de caractères sur mesure ont converti des documents hors ligne rares en données réutilisables lisibles par les machines.

Lorsqu'une langue dispose de trop peu de données numériques pour un modèle général, le geste décisif peut être de numériser les imprimés détenus par la communauté avec une expertise linguistique locale avant de passer à l'échelle de l'outil.

Lesan a utilisé sa méthode de collecte de données de terrain pour créer un jeu de données de référence pour les langues de la Corne de l'Afrique, puis s'est associé à DAIR pour un outil open source d'identification des langues et de détection des discours nuisibles destiné à l'Éthiopie. L'article décrit des progrès initiaux mais ne fournit aucune mesure d'adoption, de revenus ou de précision ; le résultat se comprend donc mieux comme une avancée en matière de données et de partenariat que comme un redressement commercial chiffré.