📖 SimAC: A Simple Anti-Customization Method for Protecting Face Privacy

摘要

大多數「基於對抗性的攻擊」方法採用了簡單直接的設計，例如以端到端的方式進行優化，專注於對抗性地最大化原始訓練損失，從而忽略了擴散模型內在的細緻特性，甚至在某些擴散時間步驟中導致優化無效。

分析 Anti-DreamBooth 攻擊的梯度分佈隨 diffusion timesteps 的變化：在較大的 timesteps（接近純高斯 noise）時，攻擊的效果會大幅減弱。

---

主要貢獻

Comparison between Anti-DreamBooth before and after adding SimAC

• 較低的 timestep 對對抗性噪聲的貢獻更大 → 提出了適應性貪婪搜索方法，優化時間步驟並整合到現有反定制方法中。
• 設計了一個基於特徵的優化框架 → 提高身份干擾效果，保護用戶隱私和版權。

---

Analysis

梯度閾值分析

設置了一個閾值，用於評估在不同時間步的擾動圖像中，絕對值低於該閾值的梯度數量。在總時間間隔 (0, MaxTrainStep) 的後期，絕對梯度低於指定閾值的數量急劇增加。

頻域差異分析

• 當 t∈[0,100] 時，原始圖像與重建圖像之間的主要差異集中在高頻成分，高頻信息是主要受到影響的部分。
• 當 t∈[700,800] 時，重建圖像與輸入圖像之間的低頻成分佔據主導地位。

不同時間步中重建圖像與輸入圖像在頻域中的差異

adv-noise 的影響：

• 在時間步較小時，添加高頻對抗噪聲可以有效破壞原始圖像的重建，這符合「反定制化」（anti-customization）的目標。
• 當時間步較大時，由於重建圖像和原始圖像的主要差異集中在低頻成分，擾動圖像的梯度接近於零，導致對抗噪聲的優化效果變差。

---

Method

Feature Interference Loss

---

Comparison

• Image Similarity Metric：衡量生成圖像與目標圖像之間的相似性，值越低越好，生成圖像與目標圖像的差異越大。
• Face Detection Failure Rate：衡量生成圖像中人臉檢測失敗的比例，值越高越好，生成的對抗圖像能更有效地干擾人臉檢測模型。
• Blind/Referenceless Image Spatial Quality Evaluator：衡量圖像的感知質量（例如清晰度、噪聲等），值越高越好。
• Specific Error Rate for Face Quality Assessment：衡量人臉質量評估模型對生成圖像的錯誤率，值越低越好。

---

Results

Resolution = 512, Train batch size = 1, Training steps = 1000

Before

Add perturbation

Prompt: a photo of "sks" person

---

Experiment Configurations

	Iteration	Perturbation Size	μ	Loss
1	200	16/255	0	diff+ms
2	200	16/255	0.2	diff+ms
3	200	16/255	0.4	diff+ms
4	200	16/255	0.6	diff+ms
5	200	16/255	0.8	diff+ms
6	200	16/255	1.0	diff+ms
7	200	32/255	0.6	diff+ms
8	100	16/255	0.6	diff+ms
9	50	16/255	0.6	diff+ms
10	100	16/255	0.6	diff
11	100	16/255	0.6	ms