常见的AI安全风险(数据投毒、后门攻击、对抗样本攻击、模型窃取攻击等) |
您所在的位置:网站首页 › 巴特勒对抗后中投这么稳 › 常见的AI安全风险(数据投毒、后门攻击、对抗样本攻击、模型窃取攻击等) |
文章目录
数据投毒(Data Poisoning)后门攻击(Backdoor Attacks)对抗样本攻击(Adversarial Examples)模型窃取攻击(Model Extraction Attacks)参考资料
数据投毒(Data Poisoning)
数据投毒是一种通过在 训练数据 中植入恶意样本或修改数据以欺骗机器学习模型的方法。这种攻击旨在使模型 在未来的预测或决策中 产生错误结果。攻击者可能会植入具有误导性标签或特征的数据,以扭曲模型的学习过程,导致模型偏离真实数据的表征。数据投毒攻击可能在模型训练过程中不被察觉,但其影响可能在模型部署和运行时显现出来。 后门攻击(Backdoor Attacks)后门攻击是一种在模型 训练过程 中植入后门或隐藏功能的方式。这些后门可能是针对特定输入触发的,使得模型在遇到这些特定标记或输入时产生意外行为。后门攻击的目的是在模型表现正常的情况下,对特定情况下的预测或决策进行操控,可能导致安全隐患或隐私泄露。 【注】后门攻击和数据投毒攻击的异同点: 相同点: 都是发生在模型的训练阶段。 不同点: 数据投毒:主要目的是使模型的泛化性能变差, 也即在测试集上的效果变差, 模型不能进行有效的学习, 甚至无法收敛。后门攻击:目的则是使模型学习到攻击者指定的内容, 其对 正常样本 仍旧具有良好的测试效果,但对于 中毒样本 则会输出攻击者预先设定的标签。 对抗样本攻击(Adversarial Examples)对抗样本攻击是通过对输入数据进行微小但有针对性的修改,使得机器学习模型产生错误分类或错误预测的样本。这些微小的变化对人类观察几乎不可察觉,但足以使模型做出错误的推断。对抗样本攻击是针对模型的鲁棒性和稳定性,即使在面对微小扰动时也能保持准确性。 模型窃取攻击(Model Extraction Attacks)模型窃取攻击是一种针对机器学习模型的攻击,旨在通过观察模型的输出并利用查询功能,从中 重建或复制 原始模型。攻击者可能使用额外的查询信息来近似或重建受攻击模型,从而破坏模型拥有者的 知识产权 或 潜在商业优势 。 参考资料 深度学习中的后门攻击综述,杜巍, 刘功申,2022信息安全学报 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |