Lesan将线下印刷品转化为非洲之角语言数据集

阿姆哈拉语和提格里尼亚语的内容审核面临一个基本的数据问题：这些语言在网络上的代表性不足，因此几乎没有数字化的文本可用于训练特定语言的系统。从英语迁移的多语言模型可能会丢失文化含义，有些模型甚至不包含提格里尼亚语字母表中的字符。

Lesan选择从线下资源入手，而不是等待一个万能的解决方案。这家位于柏林的初创公司与提格里尼亚语社区协调，扫描书籍和杂志，然后构建定制的字符识别工具，使印刷品可被机器读取。

这种草根式收集产生了非洲之角语言的基准数据集。Lesan随后与分布式人工智能研究所合作，开发了一个开源工具，用于识别埃塞俄比亚境内使用的语言并检测其中的有害言论。

Lesan创建了非洲之角基准数据集，并与DAIR合作开发了用于埃塞俄比亚语言识别和有害言论检测的开源工具。

低资源语言的数字化文本太少，无法支持可靠的语言特定审核模型。

通过英语的跨语言迁移会丢失文化细微差别，导致错误或误报。

提格里尼亚语社区能够提供全球数据集所缺乏的相关印刷材料和语言知识。

定制字符识别工具将稀缺的线下材料转化为可复用的机器可读数据。

当一种语言的数字数据太少，无法支持通用模型时，决定性的举措可能是利用本地语言专业知识，将社区持有的印刷品数字化，然后再扩大工具规模。

Lesan利用其草根数据收集方法创建了非洲之角语言基准数据集，然后与DAIR合作开发了面向埃塞俄比亚的开源语言识别和有害言论检测工具。文章描述了早期进展，但没有提供采用率、收入或准确率数据，因此结果应被理解为数据和伙伴关系的突破，而非量化的商业转机。