跨模态多标签生物医学图像分类建模识别

被引：11

作者：

于玉海 ^{[1
,2
]}

林鸿飞 ^{[1
]}

孟佳娜 ^{[2
]}

郭海 ^{[2
]}

赵哲焕 ^{[1
]}

机构：

[1] 大连理工大学计算机科学与技术学院

[2] 大连民族大学计算机科学与工程学院

来源：

中国图象图形学报 | 2018年 / 06期

关键词：

多标签分类; 卷积神经网络; 迁移学习; 生物医学图像; 深度学习;

D O I：

暂无

中图分类号：

TP391.41 [];

学科分类号：

080203 ;

摘要：

目的生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果本文提出的跨模态多标签分类算法,在Image CLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。

引用

页码：917 / 927

页数：11

共 10 条

[1]

Multi-label classification of chronically ill patients with bag of words and supervised dimensionality reduction algorithms[J] . Stefano Bromuri,Damien Zufferey,Jean Hennebert,Michael Schumacher. Journal of Biomedical Informatics . 2014

[2]

Multilabel classification using heterogeneous ensemble of multi-label classifiers[J] . Muhammad Atif Tahir,Josef Kittler,Ahmed Bouridane. Pattern Recognition Letters . 2011 (5)

[3]

Classifier chains for multi-label classification.[J] . Jesse Read,Bernhard Pfahringer,Geoff Holmes,Eibe Frank. Machine Learning . 2011 (3)

[4]

Multilabel classifiers with a probabilistic thresholding strategy[J] . José Ramón Quevedo,Oscar Luaces,Antonio Bahamonde. Pattern Recognition . 2011 (2)

[5] The Pascal Visual Object Classes (VOC) Challenge [J].

Everingham, Mark ;

Van Gool, Luc ;

Williams, Christopher K. I. ;

Winn, John ;

Zisserman, Andrew .

INTERNATIONAL JOURNAL OF COMPUTER VISION, 2010, 88 (02) :303-338

[6]

M L-KNN : A lazy learning approach to multi-label learning[J] . Min-Ling Zhang,Zhi-Hua Zhou. Pattern Recognition . 2007 (7)

[7] Learning multi-label scene classification [J].

Boutell, MR ;

Luo, JB ;

Shen, XP ;

Brown, CM .

PATTERN RECOGNITION, 2004, 37 (09) :1757-1771

[8]

BoosTexter: A Boosting-based System for Text Categorization.[J] . Robert E. Schapire,Yoram Singer. Machine Learning . 2000 (2-3)

[9]

Visual and Textual Sentiment Analysis of a Microblog Using Deep Convolutional Neural Networks .2 Yu Y,Lin H,Meng J,et al. Algorithms . 2016

[10]

Graphical figure classification using data fusion for integrating text and image features .2 Cheng B B,Stanley R J,Antani S,et al. Preceedings of the 12th International Conference on Document Analysis and Recognition . 2013

← 1 →