“人工智能可以预测在线仇恨言论的传递吗”

网络赋予了每个人发言权，这显然对公民公开挑战权威和辩论问题的方式产生了积极的影响。 另一方面，如果挑战和讨论蔓延到对少数民族和弱势群体的攻击，显然有可能引起伤害。

这种形式的仇恨言论被认为有可能以危险的方式激化个人，鼓励非法和暴力行为，特别是在与社会剥夺和精神疾病等其他因素一起遭遇的情况下。

为了让伊斯兰国家的恐怖组织在煽动视频和暴力的推广材料中采用仇恨言论，种族主义和反穆斯林材料激励了安第斯·布雷维克这样的杀手，他们在年的枪击事件中杀死了69名年轻人，2019年在基督山清真寺射击，其中55人

一直以来，人们都说在线和现实行动之间的这些联系，从常识上来说有可能存在，但要科学地说明并不容易。 但是，由于联合国和庞培法拉大学的研究和ibm的协调，拼图掉到了位置上。

ibm的主要研究者kush varshney告诉我们，关注在线和离线关系的第一条新闻是，告诉我们为什么要使用这样的技术方法来研究这种关系。

研究人员首先编制了政府机构和非政府组织认为的关键字和短语的列表，作为仇恨言论的指标。 其中包括在twitter和reddit上发表的伊斯兰极端主义和反伊斯兰教帖中的表现。 研究人员通过搜索这些平台，确认了这些单词和短语确实很常见。 这是因为遇到了其他术语和出现的术语，这些术语也会被添加到列表中。 除了关于伊斯兰恐怖主义和反伊斯兰暴力的信息报道外，这份名单也是调查数据的首要来源。

该客户制作的5000万份副本和300，000多份reddit帖子由约1500万客户制作。 包括这些单词和短语，根据他们的观点(伊斯兰极端主义和反伊斯兰)等要素进行分类，显示了消息的严重性。 从简单地采用歧视性语言，到彻底煽动包括种族灭绝在内的暴力，严重性都是如此。

本研究还将考虑讨论框架。 帖子的要点是提出问题的定义(穆斯林可能是恐怖分子)、原因的诊断(移民恐怖主义的增加)、道德评价(基督教是邪恶的宗教，或者是为了实现政治目的的恐怖主义攻击等处理方案。

编译数据集分类后，进行时间线分析，使用机器学习在线生成的仇恨语音信息数量与包括奥兰多夜总会射击在内的事实的相关性照片、年伊斯坦布尔机场攻击、年围栏伯里公园、伦敦、车辆攻击。 所有这些事情都与穆斯林和阿拉伯人作为受害者和肇事者在19个月内发生有关。

以前，围绕仇恨言论概念的许多机器学习分解都集中于构建算法来明确是否讨厌特定的帖子和文案片段。

varshney告诉我们，机器学习社区的很多人都在处理分类言论是冒犯还是仇恨的问题。 我们处理这个问题对我们来说不重要，经常是问题，如果什么接近可恶的事，在哪里画画？

我们关注的是在线世界发生的事件和现实世界发生的事件之间的关系是什么。

这项研究表明，在发生高度恐怖主义和伊斯兰极端主义暴力事件后，网络上的仇恨言论确实有所增加。 这对谁都不是意外的事件。 因为是基于粗心大意，一般被认为是真实的。 但是，更有趣的是，在伊斯兰极端主义暴力事件中，穆斯林不仅面临着仇视他们的言论增加，而且袭击事件经常扩大到其他少数群体。

varshney告诉我们，攻击的严重性也在增加。 因为这些人很可能煽动暴力……而且，在线留言的目标也在扩大。 这是因为与现实世界中发生的任何事件无关的其他团体也在经历仇恨言论的增加。 可能是同性恋等其他群体……这些都是有点兴趣的发现。

那么，网络仇恨言论和现实世界的暴力是循环问题吗？ 事实表明，一方(现实世界的暴力)导致了另一方。 但是，相反，引起了仇恨和暴力的恶性、自我饲养的圈子吗？

目前还不清楚。 但是，解释仇恨言论和暴力之间的因果关系是这个行业研究的自然下一步，varshney说。

但是，出于许多理由，这种逆向关系可能更成问题。 从科学的角度来看，包括在线激进化过程本身没有被充分理解这一事实。 对于在一个身体上推进暴力，什么时间段和个人的心理健康如何发挥其作用所需要的仇恨材料的暴露程度还没有得到回答。

varshey说，这可能是一项更重要的研究。 我们没有进入这个特定的项目。 因为因果关系需要还不具备的技术。

这鼓励了我们做越来越多的技术工作。 这个方向显然是工作的下一步，应该如此。

这项研究可以在这里全面展开，作为ibm社会福利科学的一部分进行，目的是将机器学习应用于联合国明确为可持续快速发展目标的17个问题。