香港最快开奖现直播 88zzcc 香港管家婆官网 5585kj手机最快报码室c0m

谷歌神经网络研究报告:Transformer解决翻译难题

  【编者按】我们所熟知的机器翻译工具在翻译过程中,其效果可能并不常好,会出现一些明显的错误。最近,谷歌利用神经网络技术来处理语言理解,优化其翻译效果。

  本文中介绍了谷歌研发的新工具Transformer,这是一种基于关注机制的新型神经网络架构。

  神经网络,特别是循环神经网络(RNNS),是语言建模、机器翻译和问答系统等语言理解任务的主要核心方法。本文中我们将介绍Transformer,是一种基于关注机制的新型神经网络架构,并且非常适用于语言理解。

  Transformer优于英语到德语及英语到法语之间翻译基准的反复性和卷积模型。对于更高的翻译质量而言,Transformer只需要较少的计算来进行训练,同时更加适合于现代机器学习硬件。

  神经网络通常通过生成固定的或变长的向量空间模型表示来处理语言。从单个单词或是部分单词的表示开始,神经网络便从周围的单词中收集信息,以确定上下文中特定语言的含义。例如,在“I arrived at the bank after crossing the…”这句话中,要确定句中“bank”的意思代表“银行”还是“河岸”,那么就必须知道句子结尾是“”还是“河”。

  近年来,RNNs成为典型的翻译网络架构,以左向右或右向左的方式顺序处理语言。一次读一个单词,这RNNs执行多个步骤来做出决定,这些决定依赖于这些不相连的单词之间的关系。在上述例子中,RNN只能通过逐步阅读“bank”和“river”之间的每个单词后才能确定“bank”在这里意味着“河岸”的意思。之前的研究表明,决策需要的步骤越多,循环网络就越难做出这些决定。

  RNNs的顺序特性也使得充分利用诸如TPUs和GPUs等现代快速计算设备变得更加困难,因为这些设备擅长并行处理而不是顺序处理。卷积神经网络(CNNs)的序列比RNNs要少得多,但在CNN的架构中,要整合来自远端输入信息的步骤数量随着距离的增加而增多。

  相比之下,Transformer只需执行少量的、持续的步骤。在每个步骤中,它应用了一种可以直接与句子中所有单词建立关系的关注机制,且不需要考虑单词所在的。在上述例子中,“我过河后达到了河岸。(I arrived at the bank after crossing the river.)”这句话中,Transformer只需识别到““river”就能对“bank”的意思做出决策。

  具体来讲,如果要计算出给定单词“bank”的意思,Transformer会将其与句子中的其他单词进行比较。这种比较的结果是对句子中的每个单词赋予其关注度得分。这些关注度分值决定了每一个单词对“bank”意思的贡献度。例如,消除歧义的单词“river”对“bank”表示“河岸”的意思做出巨大贡献值,也得到很高的关注度得分。这些关注度得分的加权平均值被输入到一个全连通的网络,从而生成“bank”的意思是与河岸相关。

  机器翻译的神经网络通常包含一个编码器来读取输入语句并生成其表示。然后,译码器在咨询编码器生成的表示时,逐字生成输出的句子,这些由未填充的圆圈表示;然后通过关注,Transformer从所有其他的单词中聚合信息,在整个上下文中生成一个新的表示,由填充的圆圈表示;最后这个步骤并行重复多次,从而形成一个新的表示。

  解码器运行规律类似,但每次都按照从左到右的顺序生成单词。它不仅包括之前生成的单词,还包括由编码器生成的最终表示。

  除了计算性能和更高的准确性以外,Transformer还能够形象化地显示如何处理给定的单词,以及信息是如何在网络中传输。

  为了说明这一点,我们选取了一个众所周知的挑战机器翻译系统的案例:指代消除。让我们来看一下下面的句子及其法语翻译。

  很明显,在第一个句子中,“it”指的是动物,第二个句子中,“it”指的是街道。

  在将这些句子翻译成法语时,“it”的翻译取决于名词的性,而法语中的“animal”和“street”则有不同的属性。与现行的谷歌翻译模型不同的是,Transformer能将这两句话正确地翻译成法语。当计算“it”的最终表示时,Transformer注意到编码器所关注的单词,从而了网络是如何做出决定的。在其中的一个步骤中,Transformer清楚地确定了“it”所指代的两个名词,并在不同语境中做出正确选择。

  编码器将其关注分布在Transformer英译汉训练模型中的第5层和第6层。

  鉴于此,Transformer在句法解析的经典语言分析任务中表现良好,也不足为奇,这也是自然语言处理群体几十年来针对高度专业化系统的突破。

  谷歌自然语言理解部门的软件工程师Jakob Uszkoreit表示,我们对Transformer的未来潜力非常感兴趣,并且已经开始将其应用到其他问题,不仅包括自然语言,还包括不同的输入和输出,例如图像和视频。

  【新零售行业峰会来袭!】2016年马云在云栖大会上首提“新零售”,自此“新零售”已成为当下电商界最热词,各电商大佬反复提到“线上线下融合”。如今,无人便利店、无人货架等模式也上升至新的风口,入局者蜂拥而至……

  从旧到新,从传统到智能,零售经历着种种变化。对于企业来说,如何做到真正的落地执行?怎样借力实现销量和渠道的裂变?现场嘉宾将在峰会上碰撞出精彩的火花,这将是一场新零售思想的盛宴。

  2017年9月14日,亿欧智库正式发布了《2017中国智能金融产业研究报告》,该报告在梳能金融概念、宏观和公司现状的基础上,总结了七大应用场景,并分析了金融机构的智能金融应用以及互联网巨头的布局,最后总结了智能金融的未来发展趋势与挑战。了解更多报告内容,请点击:《2017中国智能金融产业研究报告》。

  凡来源为亿欧网的内容,其版权均属亿欧网盟科技有限公司所有。文章内容系作者个人观点,不代表亿欧对观点赞同或支持。

  请发送邮箱到,说明自己在登录过程中遇到的问题,工作人员将会第一时间为您提供帮助