“学习语言的机器就像孩子一样”

孩子们通过注意他们的环境，倾听他们周围的人和他们看到的点和听到的点之间的点来学习语言。 除此之外，还有助于孩子确立语言的语序，如主语和动词在句中的位置等。

在计算中，学习语言是句法分析器的作用。 这些系统是由描述单词背后的结构和意义的人类注释句子训练出来的。 解析器相对于互联网检索，自然语言数据库查询和alexa、siri等语音识别系统越来越重要。 很快，可能也会用于家用机器人。

然而，收集注释数据对于不太常见的语言来说可能是时间和困难的。 此外，人类并不一定同意注释，注释本身可能并不正确地反映人类自然说话的方式。

在本周自然语言解决经验会议上发表的论文中，麻省理工学院的研究人员谈到了一个可以通过注意更近距离模仿儿童语言学习过程来大幅扩展解析器能力的解析器。 为了学习语言的结构，解析器注意标题视频，没有其他新闻，而是将单词与被记录的对象和动作相关联。 指定新语句后，解析器可以使用所学习的语言结构，在没有视频的情况下准确预测语句的含义。

这种薄弱的监测方法意味着需要有限的培训数据。 也就是说，模仿孩子如何注意周围的世界学习语言，没有人需要直接提供背景。 研究人员表示，这种方法可以扩展数据类型，减少训练解析器所需的工作量。 例如，一些直接注释的语句可以通过与多个更容易获得的字幕视频进行组合来提高性能。

将来，解析器可以用于改善人类和机器人之间的自然交互。 例如，具备解析器的机器人可以不断注意环境，以加强对口头命令的理解，包括口语句子不完整的语法和不明确的情况。 人们用部分句子、连续的思想和混乱的语言相互对话。 你希望家里的机器人能够适应他们特定的说话方式……同时也能找到他们的意思。 作者:安德烈·巴布，计算机科学与人工智能实验室( csail )研究人员，麻省理工学院麦戈文研究所大脑、大脑和机械中心( cbmm )。 。

解析器还能帮助幼儿更好地理解如何学习语言。 孩子们可以从听父母和兄弟姐妹谈论世界、听触觉新闻和视觉新闻、[帮助他和她]了解世界、共同作者所说的各种方法中得到冗长的补充消息。 boris katz先生，首席研究科学家兼csail infolab小组的负责人。 解决所有这些同步感觉输入是一个很棒的课题。 这个事业是了解这种学习是如何在世界上发生的更多的部分。

这篇论文的共同作者是第一作者，candace ross，电气工程与计算机科学系和csail研究生，cbmm研究员yevgeni berzak博士17，大脑与认识科学系计算心理语言学组博士后csail研究生Battus Hig Myail，

视觉学习者

针对他们的工作，研究者通过语义分析器和视频将训练对象、人类和活动识别的计算机视觉组件组合起来。 语义分析器一般训练为用匹配各个单词语义和单词之间关系的代码注释的句子。 有些人接受了静态图像和计算机模拟的训练。

罗斯说，新的解析器是第一个利用视频进行训练的解析器。 从某种意义上说，录像更有助于减少歧义。 如果解析器不明确语句的行为和对象，可以参考视频来清除事物。 时间成分-物体相互作用，与人相互作用-以及静止图像和语言看不见的高级属性，罗斯说。

研究人员制作了约400个视频数据集，描述了人们进行了多种动作，包括拾取物体，还是放下物体前往物体等。 云平台机器土耳其人的参与者随后为这些视频提供了1200个字幕。 他们预约了840个用于训练和调整的视频标题的例子，采用360进行了测试。 采用基于视觉的分析的优点之一是不需要几乎相同数量的数据。 虽然有“数据”，但可以扩展到较大的数据集。 barbu先生说。

在训练中，向分析器提供了明确句子是否正确描述特定视频的目标。 他们给解析器提供了视频和匹配标题。 解析器将标题的可能含义提取为逻辑数学表达式。 例如，女性在摘苹果这个词可以表示如下吗？ xy 女x，pick_up xy，苹果y。

这些表达和视频被输入到barbu和其他研究者开发的被称为sentence tracker的计算机视觉算法中。 该算法可以查看每个视频帧，跟踪对象和人如何随时间变化，并明确动作是否如上所述播放。 这样，弄清楚视频的意思是否正确。

连接点

具有对象、具有人与动作最紧密匹配表现的表现是标题最有可能的含义。 最初，表达式可以指向视频中的多个不同对象和动作，但一组可能的含义可以用作帮助分析器继续降低可能性的训练信号。 通过假设所有句子都必须遵守同样的规则，它们来自同样的语言，可以同时观看多个标题视频，进一步缩小其意义。 barbu先生说。

简单来说，解析器通过被动注意来学习:为了明确视频标题是否为真，解析器必须识别标题的最高概率意义。 评价视频句子是否真实的唯一方法是这中间步骤，句子是什么意思？ 否则，你不知道如何连接两者，巴布解释说。 我们不给系统赋予句子的意义。 我们说有句子和视频。 语句必须应用于视频。 为了让视频成为现实，找一点中间的表示。

为了学习单词而训练生成句法和语义语法。 给出新句子后，解析器不需要视频，而是利用其语法和词汇来明确句子的结构和意义。

最终，这个过程你还像个孩子一样在学习。 barbu说。 看看你周围的世界，听听人们的话学习意义。 有一天，我给你一个句子，问它意味着什么，即使没有视觉，你也知道它的意义。

在未来的事业中，研究者不仅对被动注意，而且对建模相互作用感兴趣。 孩子们在学习中与环境交流。 我们的想法是建立一个可以用感觉学习的模型。 罗斯说。

该业务部分得到了cbmm、国家科学基金会、福特基金会研究生研究奖学金、丰田研究院和mit-ibm大脑启发多媒体理解项目的支持。