通用深度学习语言模型的隐私风险评估

被引：6

作者：

潘旭东

张谧

颜一帆

陆逸凡

杨珉

机构：

[1] 复旦大学计算机科学技术学院

来源：

计算机研究与发展 | 2021年 / 05期

基金：

上海市自然科学基金;

关键词：

深度学习隐私; 通用语言模型; 自然语言处理; 深度学习; 人工智能; 信息安全;

D O I：

暂无

中图分类号：

TP309 [安全保密]; TP18 [人工智能理论];

学科分类号：

081201 ; 0839 ; 1402 ; 081104 ; 0812 ; 0835 ; 1405 ;

摘要：

近年来,自然语言处理领域涌现出多种基于Transformer网络结构的通用深度学习语言模型,简称"通用语言模型(general-purpose language models, GPLMs)",包括Google提出的BERT(bidirectional encoder representation from transformers)模型等,已在多个标准数据集和多项重要自然语言处理任务上刷新了最优基线指标,并已逐渐在商业场景中得到应用.尽管其具有很好的泛用性和性能表现,在实际部署场景中,通用语言模型的安全性却鲜为研究者所重视.近年有研究工作指出,如果攻击者利用中间人攻击或作为半诚实(honest-but-curious)服务提供方截获用户输入文本经由通用语言模型计算产生的文本特征,它将以较高的准确度推测原始文本中是否包含特定敏感词.然而,该工作仅采用了特定敏感词存在与否这一单一敏感信息窃取任务,依赖一些较为严格的攻击假设,且未涉及除英语外其他语种的使用场景.为解决上述问题,提出1条针对通用文本特征的隐私窃取链,从更多维度评估通用语言模型使用中潜在的隐私风险.实验结果表明:仅根据通用语言模型提取出的文本表征,攻击者能以近100%的准确度推断其模型来源,以超70%的准确度推断其原始文本长度,最终推断出最有可能出现的敏感词列表,以重建原始文本的敏感语义.此外,额外针对3种典型的中文预训练通用语言模型开展了相应的隐私窃取风险评估,评估结果表明中文通用语言模型同样存在着不可忽视的隐私风险.

引用

页码：1092 / 1105

页数：14

共 12 条

[1] 人工智能系统安全与隐私风险 [J].

陈宇飞 ;

沈超 ;

王骞 ;

李琦 ;

王聪 ;

纪守领 ;

李康 ;

管晓宏 .

计算机研究与发展, 2019, 56 (10) :2135-2150

[2]

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding[J] . Yu Sun,Shuohuan Wang,Yukun Li,Shikun Feng,Hao Tian,Hua Wu,Haifeng Wang.Proceedings of the AAAI Conference on Artificial Intelligence . 2020 (05)

[3]

RoBERTa: A Robustly Optimized BERT Pretraining Approach[J] . Yinhan Liu,Myle Ott,Naman Goyal,Jingfei Du,Mandar Joshi,Danqi Chen,Omer Levy,Mike Lewis,Luke Zettlemoyer,Veselin Stoyanov.CoRR . 2019

[4]

GPT-based Generation for Classical Chinese Poetry[J] . Yi Liao,Yasheng Wang,Qun Liu,Xin Jiang.CoRR . 2019

[5]

Cross-lingual Language Model Pretraining[J] . Guillaume Lample,Alexis Conneau.CoRR . 2019

[6]

Pre-Training with Whole Word Masking for Chinese BERT[J] . Yiming Cui,Wanxiang Che,Ting Liu 0001,Bing Qin 0001,Ziqing Yang,Shijin Wang,Guoping Hu.CoRR . 2019

[7]

Domain-Adversarial Training of Neural Networks[J] . Yaroslav Ganin,Evgeniya Ustinova,Hana Ajakan,Pascal Germain,Hugo Larochelle,Fran?ois Laviolette,Mario Marchand,Victor S. Lempitsky.Journal of Machine Learning Research . 2016

[8]

Adam: A Method for Stochastic Optimization[J] . Diederik P. Kingma,Jimmy Ba.CoRR . 2014

[9]

ERNIE:Enhanced language representation with informative entities .2 Zhang Zhengyan,Han Xu,Liu Zhiyuan,et al. Proc of the 57th Annual Meeting of the ACL . 2019

[10]

BERT:Pre-training of deep bidirectional transformers for language understanding .2 Delvin J,Chang Mingwei,Lee K,et al. Proc of the 20th Annual Conf of the North American Chapter of the Association for Computational Linguistics . 2019

← 1 2 →