深度学习的可解释性

被引:37
作者
吴飞 [1 ]
廖彬兵 [1 ]
韩亚洪 [2 ]
机构
[1] 浙江大学计算机科学与技术学院
[2] 天津大学智能与计算学部
关键词
深度学习; 可解释性; 端到端; 可视化; 智能人机交互; 人工智能;
D O I
暂无
中图分类号
TP183 [人工神经网络与计算];
学科分类号
081104 ; 0812 ; 0835 ; 1405 ;
摘要
深度学习已经成功运用在自然语言、多媒体、计算机视觉、语音和跨媒体等相关的特定领域。然而,这一架构在"端到端"模式下、通过标注大量数据来进行误差后向传播而优化参数的学习方法被比喻为一个"黑盒子",解释性较弱。可解释性指算法要对特定任务给出清晰概括,并与人类世界中已定义的原则或原理联结。在诸如自动驾驶、医疗和金融决策等"高风险"领域,利用深度学习进行重大决策时,往往需要知晓算法所给出结果的依据。因此,透明化深度学习的"黑盒子",使其具有可解释性,具有重要意义。围绕深度学习可解释性这一问题,本文从卷积神经网络可视化、卷积神经网络的特征分析、卷积神经网络的缺陷及优化、利用传统机器学习模型来解释神经网络和基于可解释模块的深度网络学习这五个方面介绍现有研究工作。对近年来人工智能顶级会议上关于深度学习可解释性的论文发表数量进行统计分析,发现深度学习的可解释性是目前人工智能研究的一个热点。最后,本文认为深度学习的可解释性研究可从因果模型、推理、认知理论和模型、智能人机交互等方面着手,以构建出可解释、更通用和适应性强的人工智能理论、模型和方法。
引用
收藏
页码:39 / 46
页数:8
相关论文
共 9 条
[1]   Visual interpretability for deep learning:a survey [J].
Quan-shi ZHANG ;
Song-chun ZHU .
FrontiersofInformationTechnology&ElectronicEngineering, 2018, 19 (01) :27-39
[2]   挑战与希望:AI 2.0时代从大数据到知识(英文) [J].
Yue-ting ZHUANG ;
Fei WU ;
Chun CHEN ;
Yun-he PAN .
Frontiers of Information Technology & Electronic Engineering, 2017, 18 (01) :3-15
[3]  
Growing Interpretable Part Graphs on Conv Nets via MultiShot Learning .2 Zhang Quanshi,Cao Ruiming,Wu Yingnian,et al. AAAI Conference on Artificial Intelligence . 2017
[4]  
Learning How to Explain Neural Networks:Pattern Net and Pattern Attribution .2 Kindermans P J,Schütt K T,Alber M,et al. International Conference on Learning Representations . 2018
[5]  
Inverting visual representations with convolutional networks .2 DOSOVITSKIY A,BROX T. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition . 2016
[6]  
Interpretable explanations of black boxes by meaningful perturbation .2 Fong RC,Vedaldi A. IEEE Int Conf on Computer Vision . 2017
[7]  
Understanding black-box predictions via influence functions .2 Koh P W,Liang P. https://arxiv.org/pdf/ 1703.04730.pdf . 2017
[8]  
Dynamic Routing Between Capsules .2 Sara Sabour,Nicholas Frosst,Geoffrey E.Hinton. Neural Information Processing Systems (NIPS) . 2017
[9]  
Understanding deep image representations by inverting them .2 Mahendran A,Vedaldi A. Computer Vision and Pattern Recognition . 2015