Die Inhaltsmoderation in Amharisch und Tigrinya stand vor einem grundlegenden Datenproblem: Die Sprachen waren online unterrepräsentiert, sodass es wenig digitalisierten Text gab, um sprachspezifische Systeme zu trainieren. Mehrsprachige Modelle, die Erkenntnisse aus dem Englischen übertrugen, konnten kulturelle Bedeutung verfehlen, und manche Modelle enthielten nicht einmal Zeichen des Tigrinya-Alphabets.
Lesan entschied sich, mit Offline-Ressourcen zu arbeiten, statt auf eine Ein-Modell-Lösung zu warten. Das in Berlin ansässige Start-up koordinierte sich mit tigrinya-sprachigen Gemeinschaften, um Bücher und Zeitschriften zu scannen, und entwickelte dann eigene Zeichenerkennungswerkzeuge, um das Druckmaterial für Maschinen lesbar zu machen.
Die basisnahe Sammlung brachte einen Benchmark-Datensatz für Sprachen am Horn von Afrika hervor. Anschließend arbeitete Lesan mit dem Distributed AI Research Institute zusammen, um ein Open-Source-Werkzeug zu entwickeln, das in Äthiopien gesprochene Sprachen identifiziert und schädliche Sprache in ihnen erkennt.
Lesan erstellte einen Benchmark-Datensatz für das Horn von Afrika und arbeitete mit DAIR an einem Open-Source-Werkzeug zur Identifikation äthiopischer Sprachen und zur Erkennung schädlicher Sprache.
Für ressourcenarme Sprachen gab es zu wenig digitalisierten Text, um zuverlässige sprachspezifische Moderationsmodelle zu stützen.
Cross-lingualer Transfer über das Englische konnte kulturelle Nuancen auslöschen und Fehler oder Fehlalarme erzeugen.
Tigrinya-sprachige Gemeinschaften konnten relevantes Druckmaterial und Sprachwissen bereitstellen, das globalen Datensätzen fehlte.
Eigene Zeichenerkennungswerkzeuge verwandelten knappes Offline-Material in wiederverwendbare maschinenlesbare Daten.
Wenn eine Sprache zu wenig digitale Daten für ein allgemeines Modell hat, kann der entscheidende Schritt darin bestehen, von Gemeinschaften gehaltenes Druckmaterial mit lokaler Sprachkompetenz zu digitalisieren, bevor das Werkzeug skaliert wird.
Lesan nutzte seine basisnahe Datenerhebungsmethode, um einen Benchmark-Datensatz für Sprachen am Horn von Afrika zu erstellen, und schloss sich dann mit DAIR für ein Open-Source-Werkzeug zur Sprachidentifikation und Erkennung schädlicher Sprache für Äthiopien zusammen. Der Artikel beschreibt frühe Fortschritte, nennt aber keine Kennzahlen zu Adoption, Umsatz oder Genauigkeit, sodass das Ergebnis am besten als Durchbruch bei Daten und Partnerschaften zu verstehen ist und nicht als quantifizierter kommerzieller Umschwung.
DEN BELEGEN FOLGEN
Die Quellen
- AI content moderation problems: hate speech lost in translation Rest of World · restofworld.org ·