大语言模型推荐系统攻击研究整合报告

大语言模型推荐系统攻击研究整合报告

一、概述

大语言模型（LLM）在推荐系统中的应用已成为研究热点，尤其在电商、内容推荐等领域。然而，LLM推荐系统面临多种安全威胁，包括文本攻击、数据投毒、偏见问题和隐私泄露等。本报告整合了多篇顶级会议论文（如ACL 2024、SIGIR 2024/25、BigData 2024等）的研究成果，重点分析了LLM推荐系统的攻击手法、防御策略及其在教育场景（如学生做题推荐/精准学）的迁移应用。

二、LLM推荐系统的通用攻击手法

1. 文本篡改攻击（Stealthy Text Attack）

• 攻击方式：攻击者在测试阶段修改项目文本（如商品标题、描述），以提升曝光率。
• 特点：无需干扰训练过程，修改细微难以察觉，且不影响整体推荐性能。
• 代表性论文：ACL 2024 Stealthy Attack on LLM-based Recommendation。

2. 数据投毒攻击（Data Poisoning Attack）

• 攻击方式：在训练数据中注入虚假用户行为（如伪造用户-项目交互），操纵推荐模式。
• 特点：攻击者通过注册虚假账号模拟行为，污染协同信号。
• 代表性论文：SIGIR 2024 LoRec（序列推荐投毒防御）。

3. 认知偏见攻击（Cognitive Bias Attack）

• 攻击方式：利用LLM继承的人类认知偏见（如社会认同、稀缺性），通过修改描述文本影响推荐结果。
• 特点：攻击隐蔽，难以防御，可能加剧推荐不公平性。
• 代表性论文：arxiv 2025 Bias Beware。

4. 位置偏差攻击（Position Bias Attack）

• 攻击方式：操纵输入顺序（如候选项目列表的顺序），利用LLM对位置敏感的特性影响输出。
• 特点：导致推荐结果不稳定，方差大。
• 代表性论文：arxiv 2023 Large Language Models are Not Stable Recommender Systems。

5. 无ID系统攻击（ID-Free System Attack）

• 攻击方式：在无ID推荐系统中，通过生成“仿热门”文本描述（使用LLM智能代理），欺骗系统推荐低质项目。
• 特点：针对冷启动场景，攻击成本低且效果好。
• 代表性论文：SIGIR 2025 ID-Free Not Risk-Free。

6. 隐私窃取攻击（Privacy Inference Attack）

• 攻击方式：通过观察推荐结果反推用户隐私（如成员推断攻击）。
• 特点：泄露用户历史行为、能力画像等敏感信息。
• 代表性论文：Privacy Risks of LLM-Empowered Recommender Systems。

三、防御策略

1. 重写检测与一致性校验

• 方法：检测文本前后段的一致性（如RewriteDetection），或校验元数据（标签、知识点）与内容是否匹配。
• 适用场景：防御文本篡改和元数据攻击。

2. LLM增强校准器（LCT）

• 方法：利用LLM识别虚假用户行为（如异常答题序列），对可疑数据降权。
• 适用场景：防御数据投毒攻击（LoRec框架）。

3. 偏见审计与公平性指标

• 方法：采用统计奇偶性差异（SPD）、差异影响（DI）等指标量化偏见，并引入去偏模块。
• 适用场景：缓解认知偏见和群体不公平问题。

4. 贝叶斯稳定性校准（STELLA）

• 方法：通过探测位置偏差构建转移矩阵，用贝叶斯策略调整输出。
• 适用场景：降低推荐结果对输入顺序的敏感性。

5. 隐私保护技术

• 方法：采用差分隐私、联邦学习等技术，防止从推荐结果反推用户隐私。
• 适用场景：防御隐私窃取攻击。

四、在教育场景（做题推荐/精准学）的迁移与应用

1. 攻击场景迁移

• 元数据攻击：题目文本不可改，但攻击者可篡改题目标签、知识点分类、难度系数等元数据，误导推荐系统。
• 用户行为投毒：伪造虚拟学生账号，模拟刷题行为（如故意错答特定题目），污染训练数据。
• 位置偏差攻击：改变题目输入顺序，影响系统推荐稳定性。
• 偏见攻击：利用LLM的认知偏见，导致系统过度推荐某些题型（如性别偏见、地域偏见）。
• 隐私窃取：通过推荐结果反推学生能力画像、错题历史等敏感信息。

2. 防御策略适配

• 元数据校验：用LLM自动校验题目内容与标签的一致性，防止恶意标注。
• 行为异常检测：基于LLM分析真实学生行为模式（如答题速度、解析查看率），识别虚假账号。
• 公平性监控：定期审计推荐结果，确保不同学生群体（如性别、地区）获得公平推荐。
• 稳定性校准：采用STELLA框架降低题目顺序对推荐的影响。
• 隐私保护：对输出加入噪声或聚合推荐，防止隐私推断。

3. 研究价值与方向

• 新攻击面：教育场景的“题目不可改”约束反而凸显了元数据、行为序列等新攻击向量。
• 可落地防御：多数防御策略不需修改题目文本，符合教育平台实际约束。
• 未来方向：探索多模态（题目文本+图像）安全、跨域偏见缓解、以及轻量级实时防御方案。

五、LLM推荐系统的现状与挑战

1. LLM推荐本身的问题

• 推荐不准：由于位置偏差、幻觉、偏见等问题，纯LLM推荐稳定性差，难以直接用于工业级系统。
• 效率低下：LLM推理成本高、延迟大，无法应对高并发场景。

2. 工业界主流方案

• 传统深度学习模型为主：DeepFM、SASRec、DIN等模型仍是推荐核心，因其高效、稳定、可扩展。
• LLM作为增强组件：LLM主要用于：
  • 特征增强：生成题目语义特征（知识点、难度等），输入给传统模型。
  • 冷启动处理：理解新题目文本，辅助初始推荐。
  • 可解释性：生成推荐理由和诊断报告。

3. 未来趋势

• 融合架构：传统模型处理高频行为，LLM处理深度语义与冷启动。
• 安全加固：针对LLM引入的新攻击面（如文本操纵、投毒），需设计轻量级实时防御机制。

六、总结

LLM推荐系统安全研究揭示了文本攻击、投毒、偏见和隐私等多维威胁。尽管教育场景（如做题推荐）存在“题目文本不可改”的约束，但攻击者可转向元数据、用户行为等层面实施攻击。相应防御策略（如重写检测、LLM校准、偏见审计）可迁移至教育系统，提升精准学的安全性和公平性。当前工业界仍以传统推荐模型为主，LLM主要起辅助作用，但其安全风险仍需高度重视。未来研究应聚焦于轻量级防御、多模态安全及隐私保护，以构建更可靠的LLM增强推荐系统。