Lesanはオフライン印刷物をアフリカの角の言語データセットに変えた

アムハラ語とティグリニャ語のコンテンツモデレーションは、基本的なデータ問題に直面していた。これらの言語はオンライン上で十分に代表されておらず、言語固有のシステムを訓練するためのデジタル化されたテキストがほとんどなかった。英語から教訓を転移させる多言語モデルは文化的な意味を見落とす可能性があり、一部のモデルにはティグリニャ語のアルファベットの文字すら含まれていなかった。

Lesanは単一モデルの解決策を待つのではなく、オフラインのリソースから作業することを選んだ。ベルリンを拠点とするこのスタートアップは、ティグリニャ語を話すコミュニティと協力して書籍や雑誌をスキャンし、その後、印刷物を機械で読み取り可能にするための独自の文字認識ツールを構築した。

この草の根の収集活動により、アフリカの角全域の言語のためのベンチマークデータセットが生み出された。その後Lesanは、Distributed AI Research Instituteと提携し、エチオピアで話されている言語を識別し、それらの言語で有害な発言を検出するオープンソースツールを開発した。

Lesanはアフリカの角のベンチマークデータセットを作成し、エチオピアの言語識別と有害発言検出のためのオープンソースツールについてDAIRと提携した。

低リソース言語には、信頼できる言語固有のモデレーションモデルを支えるだけのデジタル化されたテキストがほとんどなかった。

英語を介した言語間転移は文化的なニュアンスを消し去り、エラーや誤検知を生み出す可能性があった。

ティグリニャ語を話すコミュニティは、世界的なデータセットには欠けていた関連する印刷物や言語知識を提供できた。

独自の文字認識ツールが、乏しいオフライン資料を再利用可能な機械可読データに変換した。

ある言語に汎用モデルを訓練するだけのデジタルデータが乏しい場合、決定的な一手は、ツールを拡大する前に、地域の言語の専門知識を活用してコミュニティが保有する印刷物をデジタル化することかもしれない。

Lesanは草の根のデータ収集手法を用いてアフリカの角全域の言語のためのベンチマークデータセットを作成し、その後DAIRと共同でエチオピア向けのオープンソースの言語識別および有害発言検出ツールに取り組んだ。この記事は初期の進展を述べているが、導入状況、収益、精度の指標には言及していないため、この成果は定量化された商業的復活というよりも、データと提携における突破口として理解するのが最も適切である。