Jain eLibraryが400万ページのスキャン画像を22,000人のユーザーのためにJainGPTへ

Jain eLibraryは、ジャイナ教の宗教文献が図書館、寺院の保管庫、専門機関に散在していたため、2008年に古代の写本、書籍、記事、音声ファイル、聖典のデジタル化を開始した。2020年にAnish Visariaが加わった時点で、プロジェクトには大規模だが扱いにくいアーカイブがあった。

Visariaは光学文字認識（OCR）を用いて、400万ページを超えるスキャン画像から生テキストを抽出した。完全な対話型AIシステムを待つのではなく、チームはまずGoogleのような検索エンジンであるJain Quantumを構築し、その後2023年にJainGPTを立ち上げて、ユーザーがジャイナ教とその一次資料について質問できるようにした。

段階的なアプローチは測定可能な到達を生んだ。Jain Quantumは過去1年間で790,000人のユーザーを抱え、JainGPTは立ち上げ後に22,000人のユーザーを抱え、その大半は14歳から35歳だった。このツールはまだ自然言語の大規模言語モデルではなくセマンティック検索であったにもかかわらず、研究者、教授、ディアスポラのユーザー、非ジャイナ教徒も利用した。

Jain Quantumは過去1年間で790,000人のユーザーを抱え、JainGPTは2023年の立ち上げ後に22,000人のユーザーに達し、一次資料を若い読者や研究者に開いた。

既存のジャイナ教文献は、図書館、寺院の保管庫、専門機関の外では入手が困難だった。

若いユーザーは、聖典や関連作品について質問し回答を得るより簡単な方法を必要としていた。

OCRは400万ページを超えるスキャン画像を、検索可能な製品を支える生テキストに変換した。

JainGPTより先にJain Quantumを構築したことで、完全な大規模言語モデルを待たずに有用性を提供した。

専門的なアーカイブが扱いにくい場合、まず基盤となるコーパスをデジタル化し、その後検索と対話型アクセスを追加する。最終的なインターフェースが完全に成熟する前に、採用は拡大し得る。

Jain eLibraryのデジタルアクセスはジャイナ教徒を超えて広がった。Visariaは、JainGPTが研究者や教授だけでなく、儀礼、祈り、ジャイナ哲学を学ぶユーザーにも役立ったと述べた。このツールには依然として自然言語のLLM層が必要だったが、アーカイブはすでに検索可能で世界的に利用可能なリソースになっていた。