• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

注释:同时关注所有用于全抽象生物关系提取的事物


Recommended Posts

Simultaneously Self-Attending to All Mentions for Full-Abstract Biological Relation Extraction

作者:Verga et al., NAACL 2018.

目录

简介

模型

摘要

1 简介

主要用于文档级实体关系抽取,基于Transformer编码。因为整个文档中的所有表达式,需要进行跨句子处理。多示例学习用于聚合表达式的所有表达式,并获得跨度表达式来预测关系类型。同时,多示例学习对噪声也有一定的抑制作用。

2 模型

关系提取的整体结构如图1所示。

q3mt1mbvd254354.png

变压器编码序列

对每个编码的令牌输出进行两次线性更改,即头MLP和尾MLP分别将每个令牌表示为关系实体对的头令牌和尾令牌。

然后做一个基于\ (e _ i {head},e _ i {tail} \)的双仿射运算(仿射变换?)即计算一个维数为\(n \乘以L \乘以N \)的张量A,它代表每个可能三元组\((h,r,t)\)的得分。n是序列中记号的数量,L是关系类别的数量。以下公式,即\((n \ Times d)\ Times(d \ d)Times)=(n \ Times l \ Times n)\)在这一点上,它相当于一个二维表格,表格中有token的行和列,每个单元格是一个维数为l的关系得分向量。

levcsb5yujn4355.png

对于关系分类,前一步是成对标记表。如图1中的表格所示,我们通常指的是每个实体集群在解析后包含多个实体提及。在本文中,每个提及都包含多个令牌。因此,对于当前实体对中实体的每一个导师,聚合所有令牌表示,得到导师表示和成对导师的L个关系的分数(个人理解没有那么详细)。然后,在这之后,对两两导师的分数进行exp、sum和log运算来进行两个实体的导师遍历(到目前为止,所谓的多实例学习聚合了多个导师?),并得到实体对在所有关系上的得分如下图所示,其中\ (p {head},p {tail} \)分别代表头部实体和尾部实体的提及指数的集合。

dd5zseqvnnx4356.png

要进行NER,使用transformer编码的每个标记的表示作为输入,将其提供给全连接分类器,并标记每个标记。因为使用了生物标签NER,所以要标记每个令牌,例如B-.我-.诸如此类。但是,现在看来这种方法还不够。如果你想做联合提取,你可以只做NER。

3 总结

看这篇文章主要是为了弥补(Eberts et al .EACL 2021) \ ({[2]} \)这篇论文,也就是主要参考文献,对多示例学习在doc级RE中的应用有一个简要的了解。

参考

[1]帕特里克韦尔加,艾玛斯特鲁贝尔,安德鲁麦卡勒姆。同时自关注所有提及用于全抽象生物关系提取。NAACL 2018。

[2]马库斯埃伯斯。阿德里安乌尔吉斯。基于多示例学习的实体级关系抽取端到端模型。EACL 2021。

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now