Lesan 將線下印刷品轉化為非洲之角語言資料集

阿姆哈拉語和提格利尼亞語的內容審核面臨一個基本的資料問題：這些語言在網路上代表性不足，因此可供訓練語言特定系統的數位化文本很少。從英語遷移知識的多語言模型可能會遺漏文化含義，而有些模型甚至不包含提格利尼亞語字母表中的字元。

Lesan 選擇從線下資源著手，而不是等待單一模型解決方案。這家總部位於柏林的初創公司與提格利尼亞語社群協調，掃描書籍和雜誌，然後構建自訂的字元識別工具，使印刷品能被機器讀取。

這種草根收集方式產生了非洲之角各語言的基準資料集。Lesan 隨後與分散式 AI 研究所（Distributed AI Research Institute）合作，開發了一款開源工具，用於識別衣索比亞境內使用的語言並偵測其中的有害言論。

Lesan 建立了非洲之角基準資料集，並與 DAIR 合作開發了一款開源工具，用於衣索比亞語言識別和有害言論偵測。

低資源語言的數位化文本太少，無法支持可靠的語言特定審核模型。

透過英語進行的跨語言遷移可能會抹去文化細微差異，並產生錯誤或誤報。

提格利尼亞語社群可以提供全球資料集所缺乏的相關印刷材料和語言知識。

自訂的字元識別工具將稀缺的線下材料轉化為可重複使用的機器可讀資料。

當一種語言的數位資料太少，不足以供通用模型使用時，決定性的舉措可能是在擴展工具之前，先借助當地語言專業知識將社群持有的印刷品數位化。

Lesan 利用其草根資料收集方法，為非洲之角各語言建立了基準資料集，然後與 DAIR 合作開發了一款針對衣索比亞的開源語言識別和有害言論工具。文章描述了早期進展，但沒有提供採用率、營收或準確度指標，因此最好將這一成果理解為資料和合作夥伴關係的突破，而非可量化的商業轉機。