📖 Conceptwm: A Diffusion Model Watermark for Concept Protection
摘要
本研究提出了一種將對抗性水印嵌入到生成模型（如擴散模型）的新方法，目的是在確保圖像質量的同時，實現對數位內容的版權保護。我們的方法通過結合對抗性擾動和水印嵌入技術，實現在潛在空間中生成穩健的水印。本文詳細討論了水印元件的預訓練、針對概念的水印微調以及保真度保護擾動調節等技術細節，並提出了一系列損失函數來平衡水印嵌入的準確性與圖像的視覺一致性。
1. 引言
隨著生成模型（如擴散模型）在圖像生成領域的快速發展，如何保護生成內容的版權成為一個重要問題。傳統的數位水印方法在生成模型中面臨挑戰，特別是在潛在空間中信息容易丟失。本研究旨在解決這些問題，提出一種基於對抗性水印的嵌入方法，並在模型學習過程中加入對抗性擾動以提高水印的穩健性。
2. 方法
2.1 水印元件的預訓練
現有的圖像水印方法通常在水印嵌入模式與潛在空間之間存在顯著差異，這導致水印信息在經過 VAE 編碼器或擴散模型再生成過程中被擾亂甚至丟失。我們的目標是將一種穩健的水印嵌入到圖像中，該水印既具有抵抗力，又有助於 U-Net 架構的高效學習。
消息損失公式
我們使用二元交叉熵（Binary Cross Entropy, BCE）來衡量水印解碼的準確性：
1
Lm = − ∑ [mk log σ(m′k) + (1 − mk) log(1 − σ(m′k))], k = 0 到 n−1
- m 是原始水印消息，m′ 是解碼後的水印消息，σ 是 sigmoid 函數。
LPIPS 損失與通道損失
為了確保圖像的視覺一致性和限制局部修改，我們引入了以下損失函數：
1
2
Res(I0, Ir) = 1/3 ∑ |Ic0(i, j) − Icr(i, j)|, c = 1 到 3
Lchannel = ∑ [Top-k (Res(I0, Ir))], k = 1 到 K
- I0 是原始圖像，Ir 是重建圖像。
- Top-k 策略選擇差異最大的區域進行損失計算。
總損失公式
整體損失函數用於平衡水印嵌入的準確性、圖像的全局一致性和局部修改限制：
1
Ltotal = Lm + λLpips + μLchannel
- λ 和 μ 是權重係數。
2.2 針對概念的水印微調
在此階段，我們將水印嵌入到特定概念中，並注入到 U-Net 中。由於樣本數量有限且對抗性擾動的引入，直接使用 DreamBooth 訓練範式可能會導致模型無法有效學習概念。我們的核心方法是將概念學習與對抗性水印學習解耦。
微調損失公式
我們的目標是讓模型學會區分帶有對抗性擾動的圖像和不帶擾動的圖像：
1
Lft(θ) := Et,c,x [∥ϵθ(xt + φ, t, c) − ϵori(xt, t, c)∥²]
- φ 是對抗性擾動，包含水印。
- ϵori 是固定模型，ϵθ 是訓練中的模型。
2.3 保真度保護擾動調節
此模組的目標是生成對抗性水印，干擾模型的學習過程，同時保持圖像質量。
對抗性水印優化公式
我們希望最大化條件損失 Lcond，同時最小化微調損失 Lft：
1
2
3
σ∗(i) = arg max Lcond(θ∗, x(i)), ∀i ∈ {1, .., Nft},
s.t. θ∗ = arg min ∑ Lft(θ, x(i) + σ(i)), i=1 到 Nft,
且 ∥σ(i)∥j ≤ η, ∀i ∈ {1, .., Nft}
- σ(i) 是對抗性擾動，η 是擾動限制範圍。
消息損失約束
為了確保水印的解碼準確性，我們引入消息損失作為約束：
1
Lmsg = BCE(decoder(x + σ1 + σ(i)/2), mtarget)
- decoder 是解碼器，mtarget 是目標水印消息。
3. 實驗結果
（此部分根據具體實驗數據補充，展示水印嵌入的效果、圖像質量的保持以及對抗性擾動的影響。）
4. 結論
本文提出了一種將對抗性水印嵌入到生成模型的新方法，通過結合多種損失函數和對抗性擾動調節技術，實現了水印嵌入的穩健性與圖像生成質量的平衡。我們的方法在概念學習與對抗性水印學習之間實現了解耦，為數位內容的版權保護提供了一種有效的解決方案。