Google Translate a ajouté le sorani kurde en transformant des bénévoles en équipe linguistique

Après avoir obtenu un diplôme d'anglais en 2014, Bokan Jaff a eu du mal à trouver un emploi stable et a accepté des missions de traduction à Halabja. Ses voisins lui demandaient sans cesse pourquoi le persan, l'arabe, l'anglais et d'autres langues étaient disponibles sur les plateformes automatisées alors que le sorani ne l'était pas. L'écriture du sorani, proche de l'arabe, rendait également la tâche plus difficile pour les systèmes entraînés sur les alphabets latins.

En 2019, un ami argentin a mis Jaff en relation avec le programme Crowdsource de Google. Jaff est devenu le lien entre les ingénieurs de Google et les passionnés de langue kurde : il coordonnait les traductions, vérifiait le travail des autres et aidait à résoudre les problèmes spécifiques au sorani. Lorsqu'une version bêta a été prête en mai 2021, il l'a envoyée au groupe Facebook Google Crowdsource ; environ 5 000 utilisateurs ont répondu, et des bénévoles l'ont testée pendant un an.

Google a lancé le sorani aux côtés de 23 autres langues en mai 2022. Le service est devenu largement accessible à environ 8 millions de locuteurs du sorani, et l'ancien ingénieur de Google Keith Stevens a attribué sa qualité à la validation humaine de la communauté. Le résultat était significatif mais imparfait : Google possédait le service, les bénévoles n'étaient pas rémunérés et un bug de traduction politiquement sensible subsistait.

Google a lancé la prise en charge du sorani pour environ 8 millions de locuteurs ; un réseau de bénévoles a fourni la validation humaine nécessaire pour rendre la bêta largement accessible.

Le sorani est utilisé par environ 8 millions de personnes mais était absent des principales plateformes de traduction automatisée.

Son écriture dérivée de l'arabe posait un défi de traitement pratique pour les systèmes entraînés sur des langues à alphabet latin.

Google avait besoin d'une évaluation suffisante par des locuteurs natifs pour déterminer si le modèle était précis et sûr à lancer.

Jaff disposait déjà d'une communauté qu'il pouvait mobiliser, offrant à Google une source peu coûteuse de validation spécifique à la langue.

Lorsqu'une langue ou un marché manque de données conventionnelles, l'actif manquant peut être une communauté d'utilisateurs engagés. Construisez et coordonnez cette communauté avant de demander au produit de passer à l'échelle.

Le lancement a rendu le sorani disponible à l'échelle mondiale et a fait de Jaff un symbole local célébré par les médias, les politiciens, les diplomates et les gens ordinaires. Le service comportait encore des bugs, notamment une confusion occasionnelle entre partis politiques kurdes rivaux ; Jaff et un ancien ingénieur de Google ont également critiqué Google pour ne pas rémunérer les contributeurs ni publier les données ouvertement.