【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……

简介: 【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……

·阅读摘要:

 提出了一种新的神经网络初始化方法:利用标签共现初始化最终隐藏层。

 [1] Improved Neural Network-based Multi-label Classification

with Better Initialization Leveraging Label Co-occurrence

【注一】:重要概念:

标签共现:一个文本会有多个标签,这种现象叫做标签共现。

标签共现模式:设一个多标签分类数据集有a-z共26个标签,那么a-z的任何一种大于2个标签的组合都可以成为是一个标签共现模式(pattern),形如{a,b}、{x,y,z}等等等等。

[0] 摘要


  提出了一种新的神经网络初始化方法:把最后一层隐含层中的一些神经元作为每个标签共现模式的专用神经元。这些专用的神经元权重被初始化,以连接到相应的共现标签,这些标签具有比其他标签更强的权重。

【注二】:最后一层隐含层,是指在最后用于分类的全连接层。

[1] 介绍


 在多标签文本分类中,一个文本可以与多个标签相关联。


 提出了一种新颖的神经网络初始化方法,将最终隐藏层中的一些神经元作为每个标签共现模式的专用神经元。这些专用的神经元被初始化,以连接到相应的共发生标签,其权重比其他的更强。


 通过一个真实的文档检索系统和公开的多标签数据集的实验,论文提出的方法简单直接地将标签共现信息嵌入到一个神经网络中,提高了NLQ分类的准确性。

[2] 相关工作


  介绍了论文使用的TextCNN模型(就是Kim发布的那一篇)。

image.png

  还介绍了三种损失函数:负对数似然、交叉熵、二元交叉熵,三种损失函数的效果论文也给出:

image.png

[3] 基于TextCNN提出改进方法


[3.1] 利用标签共现初始化最后一层网络权重

image.png

  如上图,一一介绍:

   1、上图的下方 就是一个全连接层,它的输入大小假设如图有7个,它的输出大小假设如图有5个(即是5个标签)。

   2、上图的上方 是这个全连接层的参数权重表,7*5=35个参数。假设出于某种原因、方法(这是个可以研究的点)我们找了几个比较突出的标签共现模式,体现在图中就是image.png

 对于以上2个模式,我们觉得它们在某种程度上很重要,我们希望开辟一个专用通道给它们使用。所以论文提出,初始化对应的权重参数,使它们在迭代时有优势。

 具体方法是,每一个模式对应全连接层左边的一个神经元,它的模式中有哪些标签,就设置对应标签位置上初始值为w ww,其他位置为0。其他未被分配的神经元参数都是随机的。

[3.2] 专用神经元的权重设置

  介绍神经元初始值image.png的求法:

image.png

image.png

另外,论文根据训练数据中标签共现模式的频率来改变这个值。其背景思想是,频繁出现的标签共现模式比不太频繁的模式更重要。假设在训练数据f次中出现了特定的标签共现模式,那么另外一种UB的算法为:

image.png

文中给出了各种初始值W = U B算法的效果:

image.png



相关文章
|
11月前
|
机器学习/深度学习 数据挖掘
【提示学习】HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
本文是较早把Prompt应用到层级多标签文本分类领域的论文。思路是把层级标签分层编入到Pattern中,然后修改损失函数以适应多标签的分类任务。
166 0
|
11月前
|
数据挖掘
【提示学习】Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification
文章提出了一种简单确高效地构建verbalization的方法:
|
机器学习/深度学习 人工智能 自然语言处理
OneIE:A Joint Neural Model for Information Extraction with Global Features论文解读
大多数现有的用于信息抽取(IE)的联合神经网络模型使用局部任务特定的分类器来预测单个实例(例如,触发词,关系)的标签,而不管它们之间的交互。
153 0
|
11月前
|
数据挖掘
【提示学习】Prompt Tuning for Multi-Label Text Classification: How to Link Exercises to Knowledge Concept
文章这里使用的是BCEWithLogitsLoss,它适用于多标签分类。即:把[MASK]位置预测到的词表的值进行sigmoid,取指定阈值以上的标签,然后算损失。
|
自然语言处理 算法 知识图谱
DEGREE: A Data-Efficient Generation-Based Event Extraction Model论文解读
事件抽取需要专家进行高质量的人工标注,这通常很昂贵。因此,学习一个仅用少数标记示例就能训练的数据高效事件抽取模型已成为一个至关重要的挑战。
106 0
|
机器学习/深度学习 自然语言处理 索引
GTEE-DYNPREF: Dynamic Prefix-Tuning for Generative Template-based Event Extraction 论文解读
我们以基于模板的条件生成的生成方式考虑事件抽取。尽管将事件抽取任务转换为带有提示的序列生成问题的趋势正在上升,但这些基于生成的方法存在两个重大挑战
114 0
|
机器学习/深度学习 移动开发 算法
DISCOBOX: Weakly Supervised Instance Segmentation and Semantic Correspondence from Box Supervision
定位和识别物体的能力是人类视觉的核心。这促使视觉社区研究对象检测 [1] 作为一项基本的视觉识别任务。在检测之上进一步引入实例分割 [2] 以预测前景对象掩码,从而实现像素级精度的定位。
80 0
|
机器学习/深度学习 算法 数据挖掘
A Generative Adversarial Network-based Deep Learning Method for Low-quality Defect ImageReconstructi
本文提出了一种基于生成对抗网络 (GAN) 的 DL 方法,用于低质量缺陷图像识别。 GAN用于重建低质量缺陷图像,并建立VGG16网络识别重建图像。
134 0
|
数据挖掘
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
106 0
【多标签文本分类】Initializing neural networks for hierarchical multi-label text classification
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text
【多标签文本分类】Ensemble Application of Convolutional and Recurrent Neural Networks for Multi-label Text