数据投毒攻击和模型投毒攻击

简介: 数据投毒攻击通过污染恶意客户端的训练数据,模型投毒攻击则修改全局模型嵌入后门。前者依赖固定模式触发器或优化触发器模式,但存在异常修改易被检测和异质性导致效果不佳的问题。后者需大量系统先验信息,现实中难以获取,且面对新兴防御策略,成功发动后门攻击愈发困难。

数据投毒攻击通过对恶意客户端的训练数据进行投毒,而模型投毒攻击则修改全局模型以嵌入后门。数据中毒攻击通常依赖于固定模式的触发器,或者通过在客户端本地数据上训练的模型来优化触发器模式。然而,这些方法有两个显著的缺点:首先,使用固定模式的触发器更有可能引发模型结构和参数的异常修改,从而增加被检测到的风险,特别是在涉及人工检查的场景中。其次,由于异质性,对本地模型有效的后门攻击可能对全局模型不具有同样的有效性。
在模型投毒攻击中,攻击者通常需要足够的系统先验信息,例如全局模型的结构、学习率和裁剪规范,以便在配备防御机制的服务器中避免被检测到。然而,这在现实场景中是不切实际的。此外,各种更灵活的防御策略正在涌现,使得成功发动后门攻击变得更加困难。

相关文章
【论文速递】NDSS2021 - 操纵 Byzantine: 联邦学习的模型中毒攻击与防御优化
【论文速递】NDSS2021 - 操纵 Byzantine: 联邦学习的模型中毒攻击与防御优化
|
6月前
|
SQL 人工智能 自然语言处理
别让你的大模型被忽悠了,聊聊prompt注入攻击
本文探讨了Prompt工程中的隐私与安全问题,重点分析了“奶奶漏洞”及更广泛的Prompt攻击现象,特别是Prompt注入的原理与防御手段。Prompt注入通过构造恶意输入突破模型限制,使LLM执行非预期操作。文章介绍了直接注入和间接注入类型,并提供了多种防御方案,如输入过滤、强化系统指令、接入第三方校验库及多模型协作防御。此外,还讨论了Prompt逆向工程及其正负影响,以及恶意MCP服务投毒的实际案例,如GitHub Copilot漏洞。最后提出了动态权限控制和持续安全监测等解决策略。
|
人工智能 安全 算法
上交大、上海人工智能实验室开源首个多轮安全对齐数据集 SafeMTData
最近,以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升,在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称,推理可以让模型更好的遵守安全政策,是提升模型安全的新路径。
双模态后门攻击框架
本研究提出一种融合数据投毒与模型投毒优势的联邦学习双模态后门攻击框架,通过动态协同攻击机制,在数据层面利用生成对抗网络生成自适应触发器,在模型层面引入梯度伪装机制,实现攻击隐蔽性和持续性突破。实验表明,该方案在CIFAR-10和Fashion-MNIST数据集上攻击成功率提升23.7%,并在20轮模型更新中保持后门功能存活。
|
10月前
|
机器学习/深度学习 运维 安全
联邦学习系统攻击与防御技术研究综述
联邦学习作为新兴技术,能解决分布式数据隐私泄露问题,广泛应用于各领域。但其在数据收集、训练和推理阶段存在安全与隐私威胁。本文围绕机密性、完整性和可用性,定义联邦学习的安全属性,系统综述攻击方式(投毒、对抗样本、推理攻击等)及防御手段(鲁棒性提升、隐私增强技术),并提出未来研究方向。
|
12月前
|
传感器 安全 物联网
阿里云先知安全沙龙(北京站) ——车联网安全渗透测试思路分享
本文介绍了智能汽车的整车架构、协议栈结构、攻击点分析、渗透思路及案例分享。整车架构涵盖应用层、协议层和物理层,详细解析各层次功能模块和通信机制。攻击点包括Wi-Fi、USB、NFC等,展示车辆通信接口和系统组件的安全风险。渗透思路从信息收集到系统内部探索,利用固件漏洞控制车辆功能。案例展示了网段隔离不足导致的SSH访问和OTA日志审计漏洞,揭示了潜在的安全威胁。
|
机器学习/深度学习 人工智能 监控
深度学习之模型攻击(Model Attack)详解
模型攻击通常指在机器学习和人工智能领域中,故意设计的行为或方法,旨在操纵或欺骗机器学习模型的输出。这类攻击可能导致模型做出错误的决策或泄露敏感信息,对于安全性至关重要的应用(如金融服务、医疗和自动驾驶)尤其具有破坏性。
651 3
|
机器学习/深度学习 分布式计算 安全
联邦学习的简要概述
联邦学习(Federated Learning, FL)是一种分布式机器学习方法,旨在保护数据隐私的同时,利用多方数据进行模型训练。
1336 5
|
JSON 开发框架 网络安全
[网络安全] Dirsearch 工具的安装、使用详细教程
[网络安全] Dirsearch 工具的安装、使用详细教程
8810 0