Merge remote-tracking branch 'LCTT/master'

published/20200410 How I-m using AI to translate -wash your hands- in 500 languages.md

@@ -1,47 +1,46 @@
 [#]: collector: (lujun9972)
 [#]: translator: (wxy)
-[#]: reviewer: ( )
-[#]: publisher: ( )
-[#]: url: ( )
+[#]: reviewer: (wxy)
+[#]: publisher: (wxy)
+[#]: url: (https://linux.cn/article-12131-1.html)
 [#]: subject: (How I'm using AI to translate 'wash your hands' in 500 languages)
 [#]: via: (https://opensource.com/article/20/4/ai-translation)
 [#]: author: (Daniel Whitenack https://opensource.com/users/datadan)
 
-我是如何用 AI 把 “请洗手”翻译成 500 种语言的？
+我是如何用 AI 把“请洗手”翻译成 500 种语言的？
 ======
 
 > 通过使用人类和机器生成的翻译，可以将关键的健康短语翻译成世界各地的当地语言。
 
-![Two diverse hands holding a globe][1]
+![](https://img.linux.net.cn/data/attachment/album/202004/20/184427f1a2t5z61m5xxo1t.jpg)
 
-你可能不知道，目前世界上有 [7117 种语言][2]，不是方言，而是在用的语言! 然而，世界上大部分的数字媒体只采用几十种语言，而像谷歌翻译这样的翻译平台只支持 100 种左右的语言。这样的现实意味着，由于缺乏及时获取信息的机会，全世界有数十亿人被边缘化。当前的冠状病毒（COVID-19）大流行已经让人痛苦地意识到了这一点，凸显了将健康相关的短语（如“<ruby>请洗手<rt>wash your hands</rt></ruby>”或“保持距离”等）即时、快速翻译成小众语言的必要性。
+你可能不知道，目前世界上有 [7117 种语言][2]在使用，不是方言，而是在用的语言! 然而，世界上许多数字媒体只能使用几十种语言，而像谷歌翻译这样的翻译平台只支持 100 种左右的语言。这样的现实意味着，由于缺乏及时获取信息的机会，全世界有数十亿人被边缘化。当前的冠状病毒（COVID-19）大流行已经让人痛苦地意识到了这一点，凸显了将健康相关的短语（如“<ruby>请洗手<rt>wash your hands</rt></ruby>”或“保持距离”等）即时、快速翻译成小众语言的必要性。
 
-为此，我应用了最先进的AI技术，用 544 种语言构建出了与“请洗手”相近的短语并进行了统计（我的 GPU 还在运行）。<ruby>多语言无监督和监督嵌入<rt>Multilingual Unsupervised and Supervised Embeddings</rt></ruby>（MUSE）方法被用来训练这 544 种语言和英语之间的跨语言单词嵌入。然后，这些嵌入方法可以从现有文档中提取出与目标短语相似的短语。
+为此，我应用了最先进的 AI 技术，用 544 种语言构建出了与“请洗手”相近的短语并进行了统计（我的 GPU 还在运行）。<ruby>多语言无监督和受监督嵌入<rt>Multilingual Unsupervised and Supervised Embeddings</rt></ruby>（MUSE）方法被用来训练这 544 种语言和英语之间的跨语言单词嵌入。然后，这些嵌入方法可以从现有文档中提取出与目标短语相似的短语。
 
 我与 SIL 国际公司的同事们合作完成了这项工作，他们收集了该短语的更多的人工翻译结果。这些人工翻译结果和我的一些机器翻译结果的组合可以在[这个民族语指南页面][3]上搜索到（机器生成的短语用一个小的机器人图标表示），更多的翻译将在生成/收集到的时候加入。
 
 ### 利用现有的语料库
 
-SIL 国际公司已经完成了 2000 多种语言的语言工作，目前管理着 1600 多个语言项目。因此，当我解决这个特殊的问题时，我知道我们很可能已经多次将“请洗手”和/或类似的短语翻译成了数百种语言，而这一猜测得到了回报。我很快就从我们的档案库中收集到了超过 900 种语言的文件（主要是完成的贝壳书模板、教材和圣经）。这些文件中的每一份文件都有一个英文的对应语，其中必然包括“请洗手”和/或类似“请洗脸”这样的短语。此外，这些文件的质量都很高，并与当地语言社区合作进行了翻译和检查。
+SIL 国际公司已经完成了 2000 多种语言的语言工作，目前管理着 1600 多个语言项目。因此，当我解决这个特殊的问题时，我知道我们很可能已经多次将“请洗手”和/或类似的短语翻译成了数百种语言，而这一猜测得到了回报。我很快就从我们的档案库中收集到了超过 900 种语言的文档（主要是完成的贝壳书模板、教材和圣经）。这些文档中的每一份都有一个英文的对应版本，其中必然包括“请洗手”和/或类似“请洗脸”这样的短语。此外，这些文档的质量都很高，并与当地语言社区合作进行了翻译和检查。
 
 这是相当多语言的数据集。然而，有两个问题需要克服。首先，这个数据包含了大多数语言的数千种样本，这与训练机器翻译模型所使用的数百万个样本形成了鲜明对比。其次，即使文档中包含目标语言中的“请洗手”这个短语，我们也不知道这个短语在周围文本中的确切位置。
 
-我们当然可以利用[低资源语言的机器翻译][4]中的一些最新技巧，但要在每一对语言中快速调整翻译模型的自动化方法，还需要一些时间。此外，我们所针对的许多语言都没有现成的可以与之比较评估指标的基线，例如[BLEU 评分][5]。考虑到对冠状病毒大流行的迫切担忧，我们希望比这更快一点（尽管我们计划在将来再来解决这个问题）。
+我们当然可以利用[低资源语言的机器翻译][4]中的一些最新技巧，但是需要花费一些时间来调整自动化方法，以快速适应每种语言对中的翻译模型。此外，我们所针对的许多语言都没有现成的的基线，可以用来比较评估指标（例如 [BLEU 评分][5]）。考虑到对冠状病毒大流行的迫切担忧，我们希望比这更快一点（尽管我们计划在将来再来解决这个问题）。
 
-我选择通过在现有的文档中寻找短语本身或短语的组件（如“请洗”或“你的手”）来尝试构建“请洗手”这个短语。为了找到这些成分，我使用 Facebook Research 的 [多语言无监督和监督嵌入（MUSE）][6]对每个 {英语、目标语言} 对进行<ruby>跨语言<rt>cross-lingual</rt></ruby>嵌入训练。MUSE 以<ruby>单语言<rt>monolingual</rt></ruby>的单词嵌入作为输入（我使用 [fasttext][7] 来生成这些词），并使用对抗性方法学习从英语到目标嵌入空间的映射。这个过程的输出是<ruby>跨语言<rt>cross-lingual</rt></ruby>的单词嵌入。
+我选择通过在现有的文档中寻找短语本身或短语的组件（如“请洗”或“你的手”）来尝试构建“请洗手”这个短语。为了找到这些成分，我使用 Facebook Research 的[多语言无监督和受监督嵌入（MUSE）][6]对每个 {英语、目标语言} 对进行了<ruby>跨语言<rt>cross-lingual</rt></ruby>嵌入训练。MUSE 以<ruby>单语言<rt>monolingual</rt></ruby>的单词嵌入作为输入（我使用 [fasttext][7] 来生成这些词），并使用对抗性方法学习了从英语到目标嵌入空间的映射。这个过程的输出是<ruby>跨语言<rt>cross-lingual</rt></ruby>的单词嵌入。
 
 ![Using fasttext along with MUSE to perform cross-language embedding][8]
 
-一旦产生了跨语言嵌入，我们就可以开始在目标语言文档中寻找短语成分。结果发现，整个文档中清楚地使用了“请洗脸”这个短语以及单独的“手”、“请洗”等词。对于每一种语言，我都通过 n-grams 搜索我预期该短语会出现的地方（根据其在英语平行语中的用法）。使用跨语言嵌入法对 n-grams 进行了矢量化，并使用各种距离指标与英语短语的矢量化版本进行了比较。在嵌入空间中，与英文短语“最接近”的 n-grams 被确定为目标语言匹配。
+一旦产生了跨语言嵌入，我们就可以开始在目标语言文档中寻找短语组件。结果发现，整个文档中清楚地使用了“请洗脸”这个短语以及单独的“手”、“请洗”等词。对于每一种语言，我都通过 n-gram 搜索我预期该短语会出现的地方（根据其在英语的对应版本中的用法）。使用跨语言嵌入法对 n-gram 进行了矢量化处理，并使用各种距离指标与英语短语的矢量化版本进行了比较。在嵌入空间中，与英文短语“最接近”的 n-gram 被确定为与目标语言匹配。
 
-最后，将与英语对应的成分短语进行组合，生成目标语言中的“请洗手”短语。这种组合方式再次利用跨语言嵌入，确保组件短语的组合方式合适。例如，如果我们在目标语言中匹配“请洗脚”这个短语，就必须将“脚”对应的 n-gram 替换成“手”对应的 n-gram。下面是<ruby>伯利兹·克里奥尔<rt>Belize Kriol</rt></ruby>英语的一个例子：
+最后，将与英语对应的成分短语进行组合，生成目标语言中的“请洗手”短语。这种组合方式再次利用了跨语言嵌入，以确保以合适方式组合组件。例如，如果我们在目标语言中匹配“请洗脚”这个短语，就必须将“脚”对应的 n-gram 替换成“手”对应的 n-gram。下面是<ruby>伯利兹·克里奥尔<rt>Belize Kriol</rt></ruby>英语的一个例子：
 
 ![][9]
 
-当然，在这个匹配过程中，有一些假设，这个过程完全有可能不能产生语法上正确的预测。例如，我假设在大多数语言中，“手”的单词和“脚”的单词都是一个字元长的（字元由空格和标点符号隔开）。当然，情况肯定不一定是这样。这可能会造成类似于“和洗的和手你”或类似的不好的词条。希望我们可以克服其中的一些局限性，并在未来扩展这个系统，但是，现在，我们选择用图形来强化这个想法。
-
-我们将世界卫生组织的洗手说明改编成了一个 PNG 图片模板。然后，我们把我们翻译和生成的短语，用 Bash 和 Go 脚本的组合将其渲染到洗手图像中。这样，在文字和图像中都强调了正确洗手的理念（只是为了防止我们生成的翻译有问题）。
+当然，在这个匹配过程中，会做一些假设，这个过程完全有可能不能产生语法上正确的预测。例如，我假设在大多数语言中，“手”的单词和“脚”的单词都是一个<ruby>字元<rt>token</rt></ruby>长的（字元由空格和标点符号隔开）。当然并非总是如此。这可能会造成类似于“和洗和手你”或类似的瑕疵词条。希望我们可以克服其中的一些局限性，并在未来扩展这个系统，但是，现在，我们选择用图形来强化这个想法。
 
+我们将世界卫生组织的洗手说明改编成了一个 PNG 图片模板。然后，我们把我们翻译和生成的短语，用 Bash 和 Go 脚本的组合将其渲染到洗手图像中。这样，在文字和图像中都强调了正确洗手的理念（以防万一我们生成的翻译很尴尬）。
 
 ![][10]
 
@@ -91,11 +90,11 @@ SIL 国际公司已经完成了 2000 多种语言的语言工作，目前管理
 - 我们的系统：yaakuuvaitana nnikiiyauvaa fini
 - 谷歌翻译：不支持
 
-构建的短语类似于参考翻译，或者似乎是“请洗手”的另一种说法。例如，在保加利亚语中，我预测为“умий ръцете”，而谷歌翻译预测为“Измий си ръцете”。然而，如果我用谷歌翻译回译我的预测，我还是会得到“请洗手”。有一些不确定的地方，我无法与参考译文（例如，所罗门群岛的 Pijin [pis]）或人类注释的跨度进行比较，但我仍然可以验证“洗”（wasim）和“手”（han）分别用在其他必定是谈论洗或手的参考文件中。大约有 15% 的译文可以用这个方法验证，我希望在收集参考文献字典的过程中，能验证更多的译文。
+构造的短语类似于参考翻译，或者似乎是“请洗手”的另一种说法。例如，在保加利亚语中，我预测为“умий ръцете”，而谷歌翻译预测为“Измий си ръцете”。 然而，如果我用谷歌翻译回译我的预测，我还是会得到“请洗手”。有一些不确定的地方，我无法与参考译文（例如，所罗门群岛的 Pijin [pis]）或人类注释的跨度进行比较，但我仍然可以验证“洗”（wasim）和“手”（han）分别用在其他必定是谈论洗或手的参考文件中。 大约有 15% 的译文可以用这个方法验证，我希望在收集参考文献字典的过程中能进行更多的验证。
 
-请注意，我最多使用了每种语言中大约 7000 个句子来得到上述译文，即使是意大利语这样的高资源语言也是如此。我也没有依赖语言对之间的对齐句子。尽管在这种数据非常稀缺、无监督的情况下，但对于两个系统都支持的语言，我仍然能够获得类似于谷歌翻译的短语。这证明了这种“混合”方法（无监督的单词嵌入+基于规则的匹配）在将短语翻译成数据非常少的语言中的潜在用途。
+请注意，我最多使用了每种语言中大约 7000 个句子来得到上述译文，即使是意大利语这样的高资源语言也是如此。我也不依赖语言对之间的对齐句子。尽管存在这种数据非常稀缺、无监督的情况，但对于两个系统都支持的语言，我仍然能够获得类似于谷歌翻译的短语。这证明了这种“混合”方法（无监督的单词嵌入+基于规则的匹配）在将短语翻译成数据非常少的语言中的潜在用途。
 
-注意：我绝对不是说这是解决冠状病毒和其他健康相关的信息传播问题的解决方案。这里仍有很多东西需要探索和正式评估，我们正在为此努力。在很多情况下，这种方法无法帮助构建数百种语言的重要信息资料。但是，我认为，我们都应该尝试着为当前危机的相关问题制定创造性的解决方案。也许这只是一个非常大的拼图中的一块。
+注意：我绝对不是说这是解决冠状病毒和其他健康相关的信息传播问题的解决方案。这里仍有很多东西需要探索和正式评估，我们正在为此努力。在很多情况下，这种方法无法帮助构建数百种语言的重要信息资料。但是，我认为，我们所有人都应该尝试着为当前危机的相关问题制定创造性的解决方案。也许这只是一个非常大的拼图中的一块。
 
 你可以在[这个民族语言指南][3]上查看经过验证的译文加上人工翻译的完整列表。此外，我们即将以论文的形式对这一系统进行更深入的描述和分析。我们欢迎公众对翻译进行反馈，以帮助系统进行微调，最重要的是，确保将健康信息传递给世界各地的边缘化语言社区。
 
@@ -116,7 +115,7 @@ via: https://opensource.com/article/20/4/ai-translation
 作者：[Daniel Whitenack][a]
 选题：[lujun9972][b]
 译者：[wxy](https://github.com/wxy)
-校对：[校对者ID](https://github.com/校对者ID)
+校对：[wxy](https://github.com/wxy)
 
 本文由 [LCTT](https://github.com/LCTT/TranslateProject) 原创编译，[Linux中国](https://linux.cn/) 荣誉推出