Fan, Chongyu, et al. "Salun: Empowering machine unlearning via gradient-based weight saliency in both image classification and generation." arXiv preprint arXiv:2310.12508 (2023).

Salun: Empowering Machine Unlearning via Gradient-based Weight Saliency in Both Image Classification and Generation

Abstract

데이터 규제가 진화함에 따라, **머신 언러닝(Machine Unlearning, MU)**은 오늘날의 AI 모델에서 신뢰와 안전을 증진시키는 중요한 도구가 되었다. 그러나 기존의 MU 방법들은 데이터 및/또는 가중치(weight) 관점에 초점을 맞추고 있으며, 언러닝 정확도, 안정성, 그리고 교차 도메인 적용 가능성에서 종종 한계를 겪는다. 이러한 문제들을 해결하기 위해, 우리는 모델 설명(model explanation)에서의 입력 saliency와 유사하게, MU를 위한 'weight saliency' 개념을 도입한다. 이 혁신은 MU의 초점을 전체 모델이 아닌 특정 모델 가중치로 향하게 하여 효과성과 효율성을 향상시킨다.

그 결과로 우리가 **saliency unlearning (SalUn)**이라고 부르는 이 방법은 '정확한(exact) 언러닝'(잊어야 할 데이터 포인트들을 제거한 후 모델을 처음부터 재학습하는 것)과의 성능 격차를 좁힌다. 우리가 아는 한, SalUn은 이미지 분류 및 생성 task 모두에서 잊어야 할 데이터, 클래스 또는 개념의 영향을 효과적으로 지울 수 있는 최초의 원칙적인 MU 접근 방식이다.

예를 들어, SalUn은 **높은 분산의 무작위 데이터 망각(high-variance random data forgetting)**에서 안정성 이점을 제공한다. 예를 들어, CIFAR-10 데이터셋에서 exact unlearning과 비교하여 0.2%의 격차를 보인다. 또한, conditional diffusion model이 유해한 이미지를 생성하는 것을 방지하는 데 있어, SalUn은 거의 100%의 언러닝 정확도를 달성하며, Erased Stable Diffusion 및 Forget-Me-Not과 같은 현재 state-of-the-art baseline을 능가한다. 코드는 https://github.com/OPTML-Group/Unlearn-Saliency 에서 확인할 수 있다.

1 Introduction

**Machine Unlearning (MU)**은 사전학습된 모델에 특정 데이터 포인트가 미치는 영향을 효율적이고 효과적으로 완화하는 task이다 (Shaik et al., 2023). 이는 '잊힐 권리'와 같은 데이터 보호 규제에 대응하여 등장했지만 (Hoofnagle et al., 2019), 컴퓨터 비전(CV) 분야의 다양한 신뢰할 수 있는 머신러닝(ML) 문제를 해결하기 위해 그 범위와 중요성이 빠르게 확장되고 있다. 이러한 문제에는 백도어 공격 방어 (Liu et al., 2022a), 모델 공정성 향상 (Oesterling et al., 2023), 전이 학습 능력 강화를 위한 사전학습 방법 개선 (Jain et al., 2023; Jia et al., 2023), 그리고 부적절한 prompt에 노출되었을 때 텍스트-이미지 생성 모델이 민감하거나 유해하거나 불법적인 이미지 콘텐츠를 생성하는 것을 방지하는 것 (Gandikota et al., 2023) 등이 포함된다.

대략적으로 현재의 MU 방법은 정확한(exact) 또는 인증된(certified) MU와 근사(approximate) MU의 두 가지 범주로 나눌 수 있다. 전자는 증명 가능한 오류 보장 또는 unlearning 인증을 제공하는 방법 개발에 중점을 둔다. 이러한 방법의 예로는 차등 프라이버시(DP)가 적용된 unlearning 및 인증된 데이터 제거 (Guo et al., 2019; Chien et al., 2022)가 있다. 이 범주 내에서, 원래 학습 데이터셋에서 잊어야 할 데이터셋을 제거한 후 모델을 처음부터 다시 학습시키는 정확한 unlearning은 일반적으로 MU의 **황금 표준(gold standard)**으로 간주된다 (Thudi et al., 2022b;a). 그러나 재학습 기반의 정확한 unlearning 방법은 상당한 계산 자원을 필요로 하며, 본 연구에서 고려하는 diffusion 기반 생성 모델과 같은 오늘날의 대규모 ML 모델에는 적용하기 어렵다.

정확한 또는 인증된 MU와 달리, 근사 unlearning은 '빠르고' '정확한' unlearning을 위한 보다 실용적인 접근 방식으로 부상했다. 정확도가 증명 가능한 보장을 충족하지 못할 수 있지만, 멤버십 추론 공격(membership inference attacks) (Carlini et al., 2022)과 같은 더 넓은 범위의 실용적인 지표를 사용하여 평가할 수 있으며, 일반적으로 인증된 unlearning과 관련된 데이터-모델 또는 알고리즘 가정이 필요하지 않다. 실용성과 효율성이라는 장점에도 불구하고, 근사 unlearning의 성능은 여전히 상당한 편차를 보일 수 있다. 예를 들어, 학습 데이터 포인트의 영향 함수(influence function) 분석 (Koh & Liang, 2017)을 기반으로 하는 영향 unlearning(influence unlearning) (Izzo et al., 2021; Warnecke et al., 2021)은 영향 함수 근사에 필요한 하이퍼파라미터 선택, 그리고 특정 unlearning 시나리오 및 평가 지표로 인해 높은 성능 편차를 보인다 (Becker & Liebig, 2022). 이는 근사 unlearning 방법의 불안정성에 대한 우려를 제기한다. Fisher forgetting (Golatkar et al., 2020), gradient ascent (Thudi et al., 2022a), finetuning 기반 접근 방식 (Warnecke et al., 2021; Jia et al., 2023)을 포함한 다른 근사 unlearning 방법들도 나중에 설명하겠지만 유사한 문제에 직면한다. 더 나아가, 위에서 언급된 많은 MU 방법들은 주로 이미지 분류에 적용되어 왔다. 이와 대조적으로, 생성 모델링을 위한 새로운 diffusion model (DM) 또한 저작권을 보호하고 유해한 콘텐츠 생성을 방지하기 위한 효과적인 MU 기술을 요구한다 (Schramowski et al., 2023; Gandikota et al., 2023; Zhang et al., 2023a). 그러나 본 연구에서 입증하듯이, 이미지 분류를 위해 설계된 기존 MU 방법들은 이미지 생성에서의 MU를 해결하기에 불충분하다 (제안하는 방법과 기존 MU의 개략적인 개요는 Fig. 1 참조). 기존 MU 방법의 한계에 대응하여, 우리는 다음 질문을 해결하고자 한다:

$$(\boldsymbol{Q}) \text { 분류 및 생성 task 모두에서 효과적인 } M U \text { 를 위한 원칙적인 접근 방식이 있는가? }$$

(Q)를 해결하기 위해 우리는 혁신적인 MU 패러다임인 'weight saliency'를 개발한다. 모델 설명에서의 input saliency와 유사하게, 우리의 아이디어는 MU의 초점을 전체 모델에서 특정하고 영향력 있는 weight로 옮긴다. 이러한 집중된 관심은 **무작위 레이블링(random labeling)**과 같은 간단한 MU 방법조차도 성능을 향상시킬 수 있다. 'saliency unlearning (SalUn)'이라고 명명된 우리의 접근 방식은 정확한 unlearning과의 성능 격차를 줄일 수 있으며, 이미지 분류 및 생성 전반에 걸쳐 효과적인 원칙적인 MU 방법을 제공한다.

Figure 1: 유해한 개념 'nudity'의 영향을 diffusion 생성에서 제거하는 맥락에서 우리의 제안 (SalUn)과 기존 unlearning 방법의 개략적인 개요.

우리의 기여는 다음과 같다. (1) 우리는 현재 MU 기술의 두 가지 한계, 즉 **불안정성(예: 다양한 양의 forgetting data에 직면했을 때)**과 이미지 생성 task에 대한 적응성 부족을 식별한다. (2) 우리는 MU에서 weight saliency 개념을 도입하고, saliency-guided 접근 방식인 SalUn을 개발한다. 우리는 weight saliency가 현재 MU 방법의 한계를 해결하는 핵심이 될 수 있음을 보여준다. (3) 우리는 SalUn의 효과를 검증하기 위한 포괄적인 실험을 수행하며, 이미지 분류에서 7가지 MU baseline과 이미지 생성에서 2가지 concept-erasing baseline과 비교한다. 주목할 만한 응용으로, 우리는 SalUn이 부적절한 prompt (I2P)가 주어졌을 때 stable diffusion이 유해한 이미지를 생성하는 것을 방지하는 데 가장 효과적인 방법임을 보여준다 (Schramowski et al., 2023).

2 Related Work

이미지 분류에서의 Unlearning. MU는 특정 데이터 포인트나 클래스의 영향을 제거하기 위해 ML 모델을 수정하는 것을 목표로 하며, 이는 훈련 후 발생할 수 있는 잠재적인 개인 정보 침해를 완화하기 위해 처음 개발되었다 (Ginart et al., 2019; Neel et al., 2021; Ullah et al., 2021; Sekhari et al., 2021). 그러나 이론적으로는 타당하지만, 정확한 unlearning, 즉 처음부터 다시 훈련하는 것은 상당한 계산 비용을 초래한다. 이를 완화하기 위해 일부 연구에서는 **차등 프라이버시(DP)**와 같은 확률적 방법을 탐구해왔다 (Ginart et al., 2019; Guo et al., 2019; Neel et al., 2021; Ullah et al., 2021; Sekhari et al., 2021). 하지만 이러한 방법들은 특히 **멤버십 추론 공격(membership inference attacks)**에 대한 방어에 있어 실질적인 효과를 저해하는 내재적인 한계를 가지고 있다 (Dwork et al., 2006; Graves et al., 2021). 따라서, 더 효과적이고 효율적인 unlearning 전략을 개발하는 방향으로 전환이 이루어지고 있다 (Golatkar et al., 2020; Becker & Liebig, 2022; Thudi et al., 2022a; Jia et al., 2023; Chen et al., 2023; Warnecke et al., 2021). MU의 범위는 연합 학습(federated learning) (Wang et al., 2022; Liu et al., 2022b; Wu et al., 2022) 및 그래프 신경망(graph neural networks) (Chen et al., 2022a; Chien et al., 2022; Cheng et al., 2023)과 같은 다양한 영역으로 확장되었다.

이미지 생성에서의 Unlearning. 최근 텍스트 조건부 이미지 생성 모델의 발전은 텍스트 설명과 밀접하게 일치하는 고품질 이미지를 생성하는 놀라운 능력을 보여주었다 (Rombach et al., 2022; Ho & Salimans, 2022). 그러나 이러한 성과는 LAION-400M 및 LAION-5B와 같은 방대한 데이터셋에 의존하는 경우가 많으며 (Schuhmann et al., 2021; 2022), 이는 본질적으로 편향 및 관련 위험을 초래한다. 이러한 우려는 다양한 연구에서 강조된 바와 같이 (Birhane et al., 2021; Schramowski et al., 2023; Somepalli et al., 2023; Bae et al., 2023; Zhang et al., 2023b) 해당 분야 전반의 광범위한 문제를 나타낸다. 이러한 문제들을 해결하기 위해서는 효과적인 MU 기술을 탐구할 시급한 필요성이 있다. 현재 연구들 (Gandikota et al., 2023; Zhang et al., 2023a; Heng & Soh, 2023)은 diffusion model에서 개념 삭제(concept erasure) 전략을 제공하지만, 정확한 unlearning에 필적하는 정밀도를 달성하는 것은 여전히 어려운 과제이다.

데이터 및 모델 saliency 분석. 설명 가능한 ML 기술 개발을 위해 입력 saliency map에 대한 광범위한 연구가 진행되어 왔다. 예를 들어, 픽셀 공간 민감도 맵(pixel-space sensitivity map) 방법 (Simonyan et al., 2013; Zeiler & Fergus, 2014; Springenberg et al., 2014; Smilkov et al., 2017; Sundararajan et al., 2017)과 클래스 판별적 지역화(class-discriminative localization) 방법 (Zhou et al., 2016; Selvaraju et al., 2017; Chattopadhay et al., 2018; Petsiuk et al., 2018)이 있다. 또한, 데이터 수준 saliency 분석에 초점을 맞춘 연구도 증가하고 있으며, 이는 종종 **데이터 귀인(data attribution)**이라고 불린다 (Koh & Liang, 2017; Park et al., 2023; Ilyas et al., 2022). 데이터 귀인의 응용 분야에는 모델 설명(model explanation) (Jeyakumar et al., 2020; Grosse et al., 2023), 디버깅(debugging) (Ilyas et al., 2022), 효율적인 훈련(efficient training) (Xie et al., 2023), 모델 일반화 능력 향상(improving model generalization) (Jain et al., 2023) 등이 포함된다. 입력 saliency 및 데이터 귀인에 비해 모델 saliency는 덜 탐구된 개념이다. 모델 효율성을 높이기 위한 **가중치 가지치기(weight pruning)**에 일반적으로 사용되는 가중치 희소성(weight sparsity) (Han et al., 2015; Frankle & Carbin, 2018)은 모델의 일반화 능력을 보존하는 데 중점을 둔 가중치 saliency map의 한 형태로 볼 수 있다. 자연어 처리(NLP) 분야에서는 모델 편집(model editing) 연구 (Dai et al., 2021; Meng et al., 2022; De Cao et al., 2021; Patil et al., 2023)가 모델 가중치를 직접 대상으로 수정하여 모델 내의 특정 지식을 찾아 수정하는 데 초점을 맞춰왔다. 이러한 '편집 가능한 모델 영역(editable model region)' 개념은 NLP에서 가중치 saliency의 개념과 일치하며, 특정 모델 파라미터가 다른 파라미터보다 더 영향력이 있고 편집 가능하다고 간주된다.

3 Preliminaries and Problem Statement

Machine Unlearning (MU): 목표 및 설정
**Machine Unlearning (MU)**은 ML 분야에서 필수적인 개념이자 접근 방식으로 자리 잡았으며, 사전학습된 ML 모델에서 특정 데이터 포인트, 데이터 클래스, 또는 더 높은 수준의 데이터 개념의 영향력을 제거할 수 있게 해준다. 이 과정은 모델을 처음부터 완전히 재학습할 필요 없이 이루어진다. unlearning 대상으로 지정된 데이터 포인트 집합은 일반적으로 forgetting dataset으로 알려져 있다. 따라서 MU의 주요 목표는 사전학습된 ML 모델을 효율적이고 효과적으로 업데이트하여, forgetting dataset을 학습 세트에서 제거한 후 완전히 재학습한 모델(Retrain이라고 함)과 동등한 성능을 달성하는 것으로 정의할 수 있다.

구체적으로, $N$개의 데이터 포인트(supervised learning의 경우 데이터 feature $\mathbf{x}_{i}$와 label $\mathbf{y}_{i}$ 포함)를 포함하는 학습 데이터셋을 $\mathcal{D}=\left\{\mathbf{z}_{i}\right\}_{i=1}^{N}$라고 하자. 그리고 $\mathcal{D}_{\mathrm{f}} \subseteq \mathcal{D}$를 forgetting dataset이라고 한다. 그 보완 집합인 $\mathcal{D}_{\mathrm{r}}=\mathcal{D} \backslash \mathcal{D}_{\mathrm{f}}$는 remaining dataset이라고 불린다. MU 이전에, 우리는 예를 들어 **empirical risk minimization (ERM)**을 사용하여 $\mathcal{D}$에서 학습된 원래 모델을 $\boldsymbol{\theta}_{\mathrm{o}}$로 표기한다. 기존 문헌(Thudi et al., 2022a; Jia et al., 2023)과 일관되게, 우리는 Retrain을 MU의 gold standard로 간주한다. 이는 $\mathcal{D}_{\mathrm{r}}$에서 모델 파라미터($\boldsymbol{\theta}$)를 처음부터 다시 학습하는 것을 포함한다. 그럼에도 불구하고, Retrain은 계산 비용이 많이 들 수 있다. 따라서 MU의 핵심 과제는 $\boldsymbol{\theta}_{\mathrm{o}}$로부터 $\mathcal{D}_{\mathrm{f}}$ 및/또는 $\mathcal{D}_{\mathrm{r}}$에 대해 **unlearned model ($\boldsymbol{\theta}_{\mathrm{u}}$로 지칭)**을 얻는 것이다. 이 unlearned model은 Retrain을 정확하고 계산적으로 효율적으로 대체할 수 있어야 한다. 다음으로, 본 연구의 주요 초점인 두 가지 MU 패러다임을 소개한다: 이미지 분류를 위한 MU와 이미지 생성을 위한 MU이다.

이미지 분류를 위한 MU
이는 문헌에서 가장 흔하게 연구되는 MU 문제이다 (Shaik et al., 2023). forgetting dataset $\mathcal{D}_{\mathrm{f}}$의 구성에 따라, 이미지 분류를 위한 MU는 두 가지 시나리오로 더 분류될 수 있다: class-wise forgetting과 random data forgetting이다. 전자는 특정 이미지 클래스의 영향력을 제거하는 것을 목표로 하고, 후자는 전체 학습 세트에서 무작위로 선택된 데이터 포인트의 영향력을 제거하는 것을 목표로 한다.

이미지 분류를 위한 MU의 효과를 평가하는 데는 다양한 지표가 사용되어 왔다. 아직 합의가 부족하지만, 우리는 포괄적인 'full-stack' MU 평가를 고려하는 (Jia et al., 2023)이 제안한 최근 접근 방식을 따른다. 여기에는 다음이 포함된다:

• Unlearning Accuracy (UA): unlearned model $\boldsymbol{\theta}_{\mathrm{u}}$의 $\mathcal{D}_{\mathrm{f}}$에 대한 정확도 $1-$
• Membership Inference Attack (MIA) on $\mathcal{D}_{\mathrm{f}}$: $\mathcal{D}_{\mathrm{f}}$에 대한 $\boldsymbol{\theta}_{\mathrm{u}}$의 프라이버시 측정
• Remaining Accuracy (RA): unlearned model $\boldsymbol{\theta}_{\mathrm{u}}$의 remaining training set $\mathcal{D}_{\mathrm{r}}$에 대한 충실도
• Testing Accuracy (TA): $\boldsymbol{\theta}_{\mathrm{u}}$의 일반화 성능
• Run-Time Efficiency (RTE): MU 방법을 적용하는 데 걸리는 계산 시간

조건부 Diffusion Model (DM)에서의 이미지 생성을 위한 MU
이 unlearning 문제는 조건부 DM이 부적절한 텍스트 prompt가 주어졌을 때 유해한 콘텐츠(예: 노출)를 포함하는 이미지를 생성할 수 있다는 최근 연구 결과(Schramowski et al., 2023)에 따라 부상하고 있다. 본 연구는 두 가지 유형의 DM에 초점을 맞출 것이다: classifier-free guidance를 사용하는 denoising diffusion probabilistic model (DDPM) (Ho & Salimans, 2022)과 latent diffusion model (LDM) 기반의 stable diffusion (Rombach et al., 2022)이다.

우리는 diffusion process와 DM 학습을 간략하게 검토한다. $\epsilon_{\boldsymbol{\theta}}\left(\mathbf{x}_{t} \mid c\right)$는 텍스트 prompt $c$ (예: DDPM의 이미지 클래스 또는 LDM의 텍스트 설명, 'concept'라고 함)에 조건화되고 기본 노이즈를 추정하도록 구조화된 (역 diffusion process를 통해 달성됨) $\boldsymbol{\theta}$로 매개변수화된 노이즈 생성기를 상징한다. 여기서 $\mathbf{x}_{t}$는 diffusion step $t$에서 **노이즈 주입 대상 데이터 또는 잠재 feature (순방향 diffusion process를 통해 얻어짐)**를 나타낸다. diffusion process는 다음과 같이 주어진다:

$$\hat{\epsilon}_{\boldsymbol{\theta}}\left(\mathbf{x}_{t} \mid c\right)=(1-w) \epsilon_{\boldsymbol{\theta}}\left(\mathbf{x}_{t} \mid \emptyset\right)+w \epsilon_{\boldsymbol{\theta}}\left(\mathbf{x}_{t} \mid c\right)$$

여기서 $\hat{\epsilon}\left(\mathbf{x}_{t} \mid c\right)$는 $c$가 주어진 조건부 DM을 활용하여 얻은 최종 노이즈 추정치를 나타내고, $w \in[0,1]$는 guidance weight이며, $\epsilon\left(\mathbf{x}_{t} \mid \emptyset\right)$는 DM의 해당 무조건부(unconditional) 사용을 의미한다. 추론 단계는 Gaussian noise $z_{T} \sim \mathcal{N}(0,1)$로 시작하며, 이는 $\hat{\epsilon}_{\boldsymbol{\theta}}\left(\mathbf{x}_{T} \mid c\right)$를 사용하여 denoising되어 $z_{T-1}$을 얻는다. 이 절차는 $t=0$에서 실제 데이터를 생성하기 위해 반복된다. DM $\boldsymbol{\theta}$를 학습할 때, mean-squared-error (MSE) loss가 일반적으로 사용된다:

$$\ell_{\mathrm{MSE}}(\boldsymbol{\theta} ; \mathcal{D})=\mathbb{E}_{t, \epsilon \sim \mathcal{N}(0,1)}\left[\left\|\epsilon-\epsilon_{\boldsymbol{\theta}}\left(\mathbf{x}_{t} \mid c\right)\right\|_{2}^{2}\right]$$

여기서 표현의 용이성을 위해 $\mathcal{D}$의 학습 데이터에 대한 기댓값은 생략한다.

잘 학습된 DM $\boldsymbol{\theta}$가 주어졌을 때, 이미지 생성을 위한 MU의 목표는 두 가지이다: (1) $\boldsymbol{\theta}$가 원치 않는 이미지 콘텐츠(예: 노출과 같은 유해한 개념에 조건화될 때)를 생성하는 것을 방지하고, (2) unlearning 후 업데이트된 DM이 일반 이미지에 대한 이미지 생성 품질을 유지하도록 보장하는 것이다. 마지막으로, 기존 문헌에서 이미지 생성을 위한 MU 문제는 MU의 관점에서 연구되지 않았다는 점에 주목할 필요가 있다. 대신, 이는 처음에는 'learning to forget' 또는 'concept erasing' (Schramowski et al., 2023; Gandikota et al., 2023; Zhang et al., 2023a)으로 불렸다. 그러나 우리는 MU가 이 문제를 해결하기 위한 체계적인 프레임워크를 제공한다는 것을 보여줄 것이다.

4 Challenges in Current Machine Unlearning Methods

이 섹션에서는 현재 MU(Machine Unlearning) 방법론의 두 가지 주요 한계점, 즉 unlearning 안정성(stability) 부족과 일반성(generality) 부족을 강조한다. 이러한 한계점들은 본질적으로 비자명(non-trivial)한, 새롭고 견고한 MU 솔루션의 절실한 필요성을 부각시킨다. 우리는 다음 5가지 MU 방법론을 재검토할 것이다:

1. fine-tuning (FT): 사전학습된 모델 $\boldsymbol{\theta}_{\mathrm{o}}$를 남은 데이터셋 $\mathcal{D}_{\mathrm{r}}$에 대해 fine-tuning하는 방식 (Warnecke et al., 2021).
2. random labeling (RL): 잊혀질 데이터셋 $\mathcal{D}_{\mathrm{f}}$에 대해 무작위 레이블을 사용하여 $\boldsymbol{\theta}_{\mathrm{o}}$를 fine-tuning함으로써 unlearning을 강제하는 방식 (Golatkar et al., 2020).
3. gradient ascent (GA): $\mathcal{D}_{\mathrm{f}}$에 대해 gradient ascent를 사용하여 $\boldsymbol{\theta}_{\mathrm{o}}$의 학습을 역전시키는 방식 (Thudi et al., 2022a).
4. influence unlearning (IU): influence function (Koh & Liang, 2017)을 활용하여 $\boldsymbol{\theta}_{\mathrm{o}}$에서 $\mathcal{D}_{\mathrm{f}}$의 영향을 지우는 방식 (Izzo et al., 2021; Jia et al., 2023).
5. $\ell_{1}$-sparse MU: unlearning 과정에 weight sparsity를 주입하는 방식 (Jia et al., 2023).

Figure 2: CIFAR-10에서 MU 방법론의 불안정성 한계. (a) 잊혀질 데이터 양의 함수로서 Retrain에 대한 성능 차이의 민감도 ('$\mid$ Method - Retrain $\mid$'로 측정). 5가지 MU 방법론(FT, RL, GA, IU, $\ell_{1}$-sparse)이 포함된다. (b) 다양한 하이퍼파라미터 선택에 따른 Retrain, IU, 그리고 제안된 weight saliency-integrated IU의 unlearning 정확도를 보여주는 box plot. box 크기는 하이퍼파라미터 값에 대한 UA의 분산을 나타낸다.

불안정성 한계 (The instability limitation)
MU 방법론의 성능을 평가할 때, 이전 연구들은 종종 잊혀질 데이터의 고정된 양, 예를 들어 전체 클래스 내의 데이터 포인트나 훈련 세트의 고정된 비율을 가정해왔다. 잊혀질 데이터의 양이 달라짐에 따라 unlearning 성능이 어떻게 영향을 받는지를 탐구하는 평가는 제한적이었다.
Figure 2a에서 우리는 잊혀질 데이터 포인트의 양에 따른 gold standard인 Retrain 대비 unlearning 성능 차이를 조사한다. 이 성능 차이는 모든 지표(UA, RA, TA, MIA 포함)의 평균으로 측정된다. 성능 차이가 작을수록 바람직하다.
우리가 볼 수 있듯이, 잊혀질 데이터 양이 10%일 때 관찰된 MU 방법론(1)-(5)의 unlearning 효과는 잊혀질 데이터 양이 50%로 증가했을 때 반드시 유지되지 않는다. 유사하게, 이러한 불안정성은 다른 성능 지표에서도 관찰될 수 있으며, 이는 이후 실험 결과에서 나타날 것이다.

Figure 2b는 unlearning 방법론의 하이퍼파라미터 선택과 관련된 또 다른 형태의 불안정성을 보여준다. IU(influence unlearning)를 예로 들면, Fisher information regularization 파라미터의 튜닝이 필수적이다 (Izzo et al., 2021; Jia et al., 2023). Figure 2b에서 CIFAR-10 데이터의 10% 영향을 잊는 고정된 unlearning 시나리오를 고려할 때, 우리는 Retrain에 비해 IU의 unlearning 성능에서 현저히 높은 분산을 관찰한다. 대조적으로, 우리의 제안(Sa IUn)과의 통합은 이러한 불안정성을 감소시킨다.

일반성 한계 (The generality limitation)
본 연구의 한 가지 초점은 이미지 분류 및 생성 모두에서 MU task를 효과적으로 해결할 수 있는 원칙적인 MU 접근 방식을 개발하는 것임을 상기하자. 우리의 솔루션을 제시하기 전에, 이미지 분류를 위해 개발된 고전적인 MU 방법론이 이미지 생성을 위한 MU에 효과적으로 적용될 수 있는지를 탐구하는 것이 '반드시 시도해야 할' 단계이다. 그러나 우리는 기존 MU 방법론이 효과적이지 않다는 것을 발견했다.
Figure 3은 'airplane' 이미지 생성을 방지하는 것을 목표로 unlearned DM을 생성하기 위해 기존 MU 방법론(GA, RL, FT, $\ell_{1}$-sparse 포함)과 Retrain을 사용했을 때의 대표적인 결과를 보여준다. 기존 MU 방법론은 과도하게 잊어버려 $\mathcal{D}_{\mathrm{r}}$의 이미지 클래스에 대한 생성 품질이 저하되거나(예: GA, RL), 또는 **불충분하게 잊어버려 'airplane' 이미지에 대한 unlearning이 실패하는 경향(예: FT, $\ell_{1}$-sparse)**이 있다. 이는 'airplane' 개념 하에 관련 없는 이미지를 생성하면서도 다른 클래스에 대한 이미지 생성 품질을 유지하는 능력을 가진 Retrain과 극명한 대조를 이룬다. 그러나 Retrain은 DM에 상당한 계산 부담을 준다.

Figure 3: CIFAR-10에서 classifier-free guidance를 사용하는 DDPM으로 시연된 DM에 대한 MU baseline의 성능. 각 열은 'airplane' 클래스와 잊혀지지 않는 클래스('car', 'bird', 'horse', 'truck')에 대해 1000 타임 스텝 동안 동일한 노이즈 시드로부터 생성된 4개의 이미지를 포함한다.

5 SalUn: Weight Saliency Is Possibly All You Need for MU

Gradient 기반 가중치 saliency map.
먼저, MU를 위한 gradient 기반 가중치 saliency 탐색의 배경을 설명한다. 최근 연구들은 현대 ML 모델이 어느 정도 모듈성(modularity) 특성을 보인다고 제시한다 (Menik & Ramaswamy, 2023). 여기서 모듈성은 대규모 ML 모델이 관리 가능한 하위 부분으로 분해될 수 있으며, 각 하위 부분이 독립적으로 더 쉽게 유지보수 및 업데이트될 수 있는 속성을 의미한다. 특히, 가중치 희소성(weight sparsity) [Frankle & Carbin, 2018]은 모듈성의 중요한 동인으로 인식되어 왔으며, 효율성 [Riquelme et al., 2021], 해석 가능성 [Wong et al., 2021], 견고성 [Chen et al., 2022b]을 포함한 ML의 다양한 측면에서 개선을 가져왔다. MU의 맥락에서, 가중치 희소성은 unlearning 프로세스를 용이하게 하는 데에도 활용되어, $\ell_1$-sparse unlearning baseline [Jia et al., 2023]으로 이어졌다. 그러나 가중치 희소성은 MU에 적용될 때 다음과 같은 몇 가지 한계에 직면한다:
(1) ML 모델(예: DM)에 대한 적절한 희소 패턴을 결정하는 것 자체가 어려운 task일 수 있다.
(2) 희소성이 달성 가능하더라도, Sec. 4의 $\ell_1$-sparse MU 방법에서 예시된 바와 같이, 관찰된 성능 저하로 인해 일부 애플리케이션에서는 MU 후에 희소 모델을 제공하는 것을 선호하지 않을 수 있다.

위 논의를 바탕으로, 우리는 가중치 희소성과는 다른 대체 메커니즘을 식별하여, MU의 초점을 MU에 중요하다고 판단되는 특정 모델 가중치로 유도하는 것을 목표로 한다. gradient 기반 입력 saliency map [Smilkov et al., 2017; Adebayo et al., 2018]에서 영감을 받아, MU를 돕기 위해 가중치 saliency map을 구성할 수 있는지에 대한 질문을 던진다. 이 개념을 통해 우리는 unlearning 전 모델 가중치($\boldsymbol{\theta}_{\mathrm{o}}$)를 두 가지 구성 요소로 분해할 수 있다: MU 동안 업데이트 대상으로 지정된 salient model weights와 변경되지 않은 상태로 유지되는 intact model weights. 입력 saliency map과 유사하게, 우리는 forgetting dataset $\mathcal{D}_{\mathrm{f}}$ 하에서 모델 가중치 변수 $\boldsymbol{\theta}$에 대한 forgetting loss( $\ell_{\mathrm{f}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)$로 표기)의 gradient를 활용한다. hard thresholding 연산을 적용함으로써, 원하는 가중치 saliency map을 얻을 수 있다:

$$\mathbf{m}_{\mathrm{S}}=\mathbb{1}\left(\left|\nabla_{\boldsymbol{\theta}} \ell_{\mathrm{f}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_{\mathrm{o}}} \mid \geq \gamma\right),$$

여기서 $\mathbb{1}(\mathbf{g} \geq \gamma)$는 $i$-번째 요소가 $g_i \geq \gamma$이면 1을, 그렇지 않으면 0을 반환하는 요소별 지시 함수(element-wise indicator function)이며, $|\cdot|$는 요소별 절댓값 연산이고, $\gamma>0$는 hard threshold이다. 실제로 우리는 $\gamma$를 gradient 벡터 $\left.\nabla_{\boldsymbol{\theta}} \ell_{\mathrm{f}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_{\mathrm{o}}}$의 중앙값으로 설정하는 것이 충분히 효과적인 선택임을 관찰했다. (3)을 기반으로, 우리는 unlearning 모델 $\boldsymbol{\theta}_{\mathrm{u}}$를 다음과 같이 명시적으로 표현한다:

$$\boldsymbol{\theta}_{\mathrm{u}}=\underbrace{\mathbf{m}_{\mathrm{S}} \odot\left(\Delta \boldsymbol{\theta}+\boldsymbol{\theta}_{\mathrm{o}}\right)}_{\text {salient weights }}+\underbrace{\left(\mathbf{1}-\mathbf{m}_{\mathrm{S}}\right) \odot \boldsymbol{\theta}_{\mathrm{o}}}_{\text {original weights }}$$

여기서 $\odot$는 요소별 곱(element-wise product)이고, $\mathbf{1}$은 모든 요소가 1인 벡터를 나타낸다. (4)의 의미는 MU에서 가중치 업데이트 동안 salient weights에 주의를 집중할 수 있다는 것이다.

기존 MU 방법에서 사용되는 forgetting loss $\ell_{\mathrm{f}}$는 가중치 saliency map (3)을 계산하는 데 적합한 후보로 간주될 수 있다는 점에 주목할 필요가 있다. 본 연구에서는 GA(gradient ascent) [Thudi et al., 2022a]의 forgetting loss가 이미지 분류 및 생성에서 효과적이고 간단한 해결책을 제시한다는 것을 발견했다:

$$\text { Classification: } \ell_{\mathrm{f}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)=\mathbb{E}_{(\mathbf{x}, y) \sim \mathcal{D}_{\mathrm{f}}}\left[\ell_{\mathrm{CE}}(\boldsymbol{\theta} ; \mathbf{x}, y)\right] ; \text { Generation: } \ell_{\mathrm{f}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)=\ell_{\mathrm{MSE}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)$$

여기서 $\ell_{\mathrm{CE}}$는 supervised classification을 위한 cross-entropy (CE) loss이고, $\ell_{\mathrm{MSE}}$는 DM 학습 (2)에서 정의되었다. MU를 위한 가중치 saliency map은 (3)과 (5)를 통해 얻을 수 있다.
Saliency 기반 unlearning (SalUn).
다음으로, (4)를 unlearning 프로세스에 통합하는 SalUn을 소개한다. SalUn의 한 가지 장점은 plug-and-play 기능으로, 기존 unlearning 방법 위에 적용할 수 있다는 것이다. 특히, 우리는 가중치 saliency를 RL(random labeling) 방법과 통합하는 것이 유망한 MU 솔루션을 제공한다는 것을 발견했다; Table A1의 ablation study를 참조하라.
이미지 분류에서 RL은 forgetting data point에 무작위 이미지 레이블을 할당한 다음, 무작위로 레이블링된 $\mathcal{D}_{\mathrm{f}}$에 대해 모델을 fine-tuning한다. SalUn에서는 RL을 활용하여 (4)의 salient weights를 업데이트한다. 이는 이미지 분류를 위한 SalUn과 관련된 최적화 문제로 이어진다:

$$\underset{\Delta \boldsymbol{\theta}}{\operatorname{minimize}} L_{\mathrm{SalUn}}^{(1)}\left(\boldsymbol{\theta}_{\mathrm{u}}\right):=\mathbb{E}_{(\mathbf{x}, y) \sim \mathcal{D}_{\mathrm{f}}, y^{\prime} \neq y}\left[\ell_{\mathrm{CE}}\left(\boldsymbol{\theta}_{\mathrm{u}} ; \mathbf{x}, y^{\prime}\right)\right]+\alpha \mathbb{E}_{(\mathbf{x}, y) \sim \mathcal{D}_{\mathrm{r}}}\left[\ell_{\mathrm{CE}}\left(\boldsymbol{\theta}_{\mathrm{u}} ; \mathbf{x}, y\right)\right]$$

여기서 $y^{\prime}$는 이미지 $\mathbf{x}$의 무작위 레이블이며 $y$와 다르고, $\boldsymbol{\theta}_{\mathrm{u}}$는 (4)에서 정의되었다. 또한, forgetting data point에 대한 unlearning과 non-forgetting data point에 대한 모델의 일반화 능력 보존 사이의 균형을 달성하기 위해, $\mathcal{D}_{\mathrm{r}}$에 대한 regularization term이 보존되며, $\alpha>0$는 regularization parameter이다.

더 나아가, 우리는 SalUn 내에서 RL의 사용을 이미지 생성 맥락으로 확장한다. 이 맥락에서 RL은 (2)의 prompt 조건 $c$로 표현되는 forgetting concept를, concept $c$에 속하지 않는 misaligned 이미지 $\mathbf{x}^{\prime}$와 연관시킴으로써 구현된다. DM의 이미지 생성 능력을 유지하기 위해, 우리는 또한 나머지 데이터셋 $\mathcal{D}_{\mathrm{r}}$에 대한 MSE loss (2)를 regularization으로 도입한다. 이는 이미지 생성을 위한 SalUn의 최적화 문제로 이어진다:

$$\underset{\Delta \boldsymbol{\theta}}{\operatorname{minimize}} L_{\mathrm{SalUn}}^{(2)}\left(\boldsymbol{\theta}_{\mathrm{u}}\right):=\mathbb{E}_{(\mathbf{x}, c) \sim \mathcal{D}_{\mathrm{f}}, t, \epsilon \sim \mathcal{N}(0,1), c^{\prime} \neq c}\left[\left\|\epsilon_{\boldsymbol{\theta}_{\mathrm{u}}}\left(\mathbf{x}_{t} \mid c^{\prime}\right)-\epsilon_{\boldsymbol{\theta}_{\mathrm{u}}}\left(\mathbf{x}_{t} \mid c\right)\right\|_{2}^{2}\right]+\beta \ell_{\mathrm{MSE}}\left(\boldsymbol{\theta}_{\mathrm{u}} ; \mathcal{D}_{\mathrm{r}}\right)$$

여기서 $c^{\prime} \neq c$는 concept $c^{\prime}$가 $c$와 다르다는 것을 나타내고, $\boldsymbol{\theta}_{\mathrm{u}}$는 (4)에 의해 주어진 saliency 기반 unlearned 모델이며, $\beta>0$는 (6)의 $\alpha$와 유사한 regularization parameter로, forgetting dataset $\mathcal{D}_{\mathrm{f}}$에 대한 RL 기반 unlearning loss와 non-forgetting dataset $\mathcal{D}_{\mathrm{r}}$에 대한 diffusion training loss $\ell_{\text {MSE }}\left(\boldsymbol{\theta}_{\mathrm{u}} ; \mathcal{D}_{\mathrm{r}}\right)$ (이미지 생성 품질 보존을 위함) 사이의 최적화 trade-off를 설정한다. (6)과 유사하게, SalUn은 사전학습된 모델 $\boldsymbol{\theta}_{\mathrm{o}}$로 시작하여 unlearning을 달성하기 위해 (7)의 최적화를 따른다. 알고리즘 구현에 대해서는 Appendix A를 참조하라.
'soft-thresholding' SalUn으로의 확장.
SalUn의 구현은 (3)에서 가중치 saliency map $\mathbf{m}_{\mathrm{S}}$를 결정하기 위해 미리 선택된 hard threshold에 의존한다. 이 hard-thresholding 접근 방식은 잘 작동하지만, soft thresholding을 사용하여 더 유연한 saliency map 결정을 허용하는 SalUn의 대체 구현도 개발할 수 있다; 더 많은 알고리즘 세부 사항은 Appendix B를 참조하라. 그러나 실제로 soft-thresholding 변형은 hard-thresholding 버전보다 성능이 뛰어나지 않다. 따라서 우리는 기본적으로 hard-thresholding 구현에 중점을 둘 것이다.

Table 1: ResNet-18을 사용하여 CIFAR-10에서 두 가지 unlearning 시나리오(10% 무작위 데이터 망각 및 50% 무작위 데이터 망각)에 대한 다양한 MU 방법(제안된 SalUn 및 SalUn-soft와 7가지 다른 baseline 포함)의 성능 요약. 결과 형식은 $a_{ \pm b}$로 주어지며, 10회 독립적인 실험에 대한 평균 $a$와 표준 편차 $b$를 나타낸다. Retrain에 대한 성능 차이는 ($\bullet$)로 제공된다. MU 방법의 더 나은 성능은 Retrain과의 더 작은 성능 차이에 해당한다. metric averaging (avg.) gap은 UA, MIA, RA, TA를 포함한 정확도 관련 metric으로 측정된 성능 차이의 평균으로 도입 및 계산된다. RTE는 분 단위이다. Table A6은 10%에서 50%에 이르는 더 많은 망각 비율을 다루는 추가 결과를 제시한다.

6 Experiments

6.1 Experiment setups

데이터, 모델 및 unlearning 설정.
이미지 분류 task에서는 **무작위 데이터 망각(random data forgetting)**에 초점을 맞추고, 데이터 모델(CIFAR-10, ResNet-18) (He et al., 2016; Krizhevsky et al., 2009)에 대한 성능을 평가한다. 추가적으로, CIFAR-100 (Krizhevsky et al., 2009), SVHN (Netzer et al., 2011), Tiny ImageNet (Le & Yang, 2015) 데이터셋, 그리고 VGG-16 (Simonyan & Zisserman, 2014), Swin-T (Liu et al., 2021) 아키텍처로 평가를 확장한다. 또한, 이미지 분류에서 클래스별 망각(classwise forgetting) 설정도 고려한다. 이러한 추가 실험에 대한 자세한 내용은 Appendix C.2를 참조하라.

이미지 생성 task에서는 두 가지 unlearning 시나리오에 초점을 맞춘다:

• classifier-free guidance를 사용하는 DDPM (DDPM으로 지칭) (Ho & Salimans, 2022)을 이용한 클래스별 망각(class-wise forgetting)
• LDM 기반 stable diffusion (SD) (Rombach et al., 2022)을 이용한 개념별 망각(concept-wise forgetting)

클래스별 망각은 DDPM이 특정 객체 클래스에 속하는 이미지를 생성하지 못하도록 하는 것을 목표로 하며, 이는 클래스 이름을 diffusion guidance로 사용하여 달성된다. DDPM 기반 unlearning 실험은 CIFAR-10 데이터셋에서 수행될 것이다. 또한, SD에 대한 클래스별 망각도 Imagenette 데이터셋 (Howard & Gugger, 2020)에서 고려되며, 이는 'an image of [class name]'과 같은 특정 텍스트 prompt로부터 이미지 생성을 방지하기 위함이다. CIFAR-10의 경우, 1000 time step으로 DDPM을 사용하여 샘플링한다. Imagenette의 경우, 100 time step으로 SD를 사용하여 샘플링한다. 별도로 명시되지 않는 한, weight saliency의 희소성(sparsity)은 50%로 설정된다. 또한, SD에서 NSFW (not safe for work) 콘텐츠 생성을 피하기 위한 개념별 망각을 고려할 것이며, 여기서 개념은 예를 들어 **누드 관련 prompt (예: 'Shirtless Putin at pride')**로 주어진다. 다른 MU 학습 세부 사항은 Appendix C.1을 참조하라.

Baseline 및 평가.
우리 실험에서는 9가지 unlearning baseline을 다룰 것이다. 여기에는 Sec.4에 제시된 5가지 기존 baseline인 FT (Warnecke et al., 2021), RL (Golatkar et al., 2020), GA (Thudi et al., 2022a), IU (Izzo et al., 2021; Jia et al., 2023), $\ell_{1}$-sparse (Jia et al., 2023)가 포함된다. 또한, 4가지 새로운 baseline도 포함되는데, 이는 2가지 boundary unlearning 방법인 boundary shrink (BS) 및 boundary expanding (BE) (Chen et al., 2023), 그리고 2가지 concept-unlearning 방법인 erased stable diffusion (ESD) (Gandikota et al., 2023) 및 forget-me-not (FMN) (Zhang et al., 2023a)이다. 이미지 분류 성능 평가에서는 Sec.3에 설명된 5가지 평가 지표를 따른다. 우리는 UA와 MIA를 사용하여 unlearning 효능을 측정하고, RA와 TA를 사용하여 unlearned classifier의 충실도(fidelity)와 일반화 능력(generalization ability)을 평가하며, RTE를 사용하여 MU의 계산 효율성(computation efficiency)을 평가한다. 이미지 생성의 맥락에서는 외부 classifier를 학습시켜 UA (unlearning accuracy)를 평가하며, 생성된 이미지가 망각 클래스/개념에 속하지 않도록 보장한다. 우리는 CIFAR-10으로 학습된 ResNet-34와 ImageNet으로 사전학습된 ResNet-50을 사용한다. 망각 데이터에 대한 UA 외에도, FID를 사용하여 망각하지 않는 클래스/prompt에 대한 이미지 생성 품질을 평가한다.

6.2 Experiment results

이미지 분류에서의 MU 성능
Table 1에서는 우리가 제안하는 방법(SalUn과 그 soft-thresholding 변형인 'SalUn-soft')과 이미지 분류를 위해 설계된 7가지 다른 MU baseline(FT, RL, GA, IU, $\ell_{1}$-sparse, BS, BE) 간의 포괄적인 비교를 제시한다. Section 4에서 논의된 바와 같이, 망각 데이터 포인트의 양이 증가할 때 발생하는 불안정성이라는 한계에 착안하여, 우리는 두 가지 unlearning 시나리오를 탐구한다:

• 표준적인 10% 무작위 데이터 망각(random data forgetting)
• 더 높은 50% 무작위 데이터 망각.

unlearning 성능은 이전에 소개된 UA, MIA, RA, TA, RTE의 다섯 가지 지표를 사용하여 평가된다. 또한, 비교를 위해 정확한 unlearning 방법인 Retrain의 성능도 포함한다.
더 나은 근사 unlearning 방법은 Retrain과 비교하여 더 작은 성능 차이(performance gap)를 보여야 한다는 점이 중요하다. 성능 차이의 감소를 정량화하기 위해, 우리는 평균(avg.) gap이라는 지표를 도입한다. 이는 UA, MIA, RA, TA를 포함한 정확도 관련 지표에서 측정된 성능 차이의 평균으로 계산된다. 아래에서 Table 1로부터 몇 가지 주요 관찰 사항을 도출한다.

Figure 4: CIFAR-10에서 DDPM에 대해 SalUn과 무작위 가중치 saliency masking 변형(우리는 'random'이라고 부름)을 사용한 이미지 생성 결과. 망각 클래스는 'airplane'으로 주어지며, 'I'는 'airplane' 클래스 조건에서 생성된 이미지 샘플을, 'C'는 비망각 클래스 이름(예: 'car' (C1))을 나타낸다.

첫째, 모든 baseline 중에서 SalUn은 두 가지 망각 시나리오 모두에서 Avg. Gap 지표가 나타내듯이 Retrain과의 평균 성능 차이가 가장 작다. 또한, SalUn-soft는 두 번째 또는 세 번째로 작은 성능 차이를 달성한다. 특히, SalUn-soft는 SalUn에 비해 Retrain과의 MIA gap이 더 크다. 우리는 SalUn에서 hard thresholding을 사용하는 것이 MU의 효과에 도움이 되는 엄격한 sparse 가중치 saliency map을 생성하는 반면, SalUn-soft는 sparsity를 엄격하게 강제하지 않아 unlearning 효율성에 영향을 미칠 수 있다고 가정한다. 따라서, 별도로 명시하지 않는 한, 이후 실험에서는 주로 SalUn에 초점을 맞출 것이다.

둘째, 단일 지표만으로 MU의 성능을 평가하는 것은 오해의 소지가 있는 효과를 초래할 수 있으므로 피해야 한다. 예를 들어, 10% 무작위 데이터 망각 시나리오에서 UA만 고려할 경우 $\ell_{1}$-sparse가 가장 강력한 baseline으로 보일 수 있다. 그러나 이러한 겉보기 강점은 RA와 TA를 희생하는 대가로 얻어진다. 이와 대조적으로, SalUn은 unlearning 효율성(UA 및 MIA)과 보존된 모델 충실도(RA 및 TA) 사이에서 최상의 trade-off를 달성한다. SalUn은 또한 RTE 지표에서 알 수 있듯이 계산 효율성도 유지한다.

셋째, 망각 데이터의 비율을 50%로 늘리면 모든 MU 방법에서 Retrain과의 unlearning gap이 증가하는 것으로 보아, unlearning 시나리오가 더 어려워진다. 예를 들어, 10% 데이터 망각 시나리오에서 좋은 성능을 보인 baseline인 BS와 $\ell_{1}$-sparse는 Avg. Gap이 크게 증가한다. 즉, BS의 경우 2.67에서 8.13으로, $\ell_{1}$-sparse의 경우 2.26에서 5.72로 증가한다. 그러나 SalUn은 일관되게 효과적인 성능을 유지한다.

더 나아가, 우리는 Appendix C.2의 (3)에서 제안된 가중치 saliency map ($\mathbf{m}_{\mathrm{S}}$)의 효과를 고전적인 MU 방법(FT, RL, GA, IU)에 $\mathbf{m}_{\mathrm{S}}$를 통합함으로써 입증한다.

가중치 saliency mask는 이미지 생성에서 MU를 적용하는 데 핵심이다.
Fig. 4에서는 이미지 생성으로 전환할 때 SalUn에서 가중치 saliency mask의 영향을 탐구한다. 비교를 위해 무작위 마스킹 baseline도 포함한다. SalUn에서 무작위 마스킹을 사용하면 망각 클래스 'airplane' 또는 다른 비망각 클래스로 조건이 설정될 때 불안정한 생성 성능을 초래할 수 있다. 첫째, 노이즈가 많은 이미지(I1-I4)의 생성은 과도한 망각을 나타낼 수 있으며, 이는 Fig. 3에 나타난 Retrain으로 얻은 결과와 모순된다. 둘째, 비망각 클래스가 지정될 때 무작위 마스킹을 사용하면 생성 품질이 저하되는 것을 확인했다(예: 그림의 C2, C3, C6, C7). 이와 대조적으로, 적절한 가중치 saliency map을 활용하는 우리가 제안하는 SalUn은 무작위 마스킹을 사용하는 구현보다 우수한 성능을 보인다. 이는 이미지 생성에서 MU를 위한 적절한 가중치 saliency의 중요성을 강조한다.

Table 2: SD를 사용한 Imagenette에서의 클래스별 망각 성능. 각 망각 클래스에 대한 최상의 unlearning 성능은 UA 및 FID에 대해 각각 굵게 표시된다.

Fig. 4에서 확장하여, Appendix C.3에서는 Retrain, ESD, SalUn의 unlearning 성능을 이전에 소개된 두 가지 지표인 FID와 UA를 사용하여 정량화한다. 비슷한 UA 성능을 보일 때, SalUn이 FID에서 ESD를 크게 능가한다는 점은 주목할 만하다. ESD는 CIFAR-10과 같은 저품질 이미지를 망각하고 학습할 때 불안정성을 보이는 것으로 보인다. 우리는 또한 Appendix C.1에서 가중치 saliency에 대한 sparsity ratio 선택을 조사한다.

이미지 생성에서의 클래스별 망각 성능
Table 2는 Imagenette에서 SD의 클래스별 망각 성능을 제시하며, 여기서 망각 클래스는 텍스트 prompt(예: 'an image of [garbage truck]')를 사용하여 지정된다. DDPM과 유사하게, unlearning 성능은 UA와 FID로 측정된다. ESD 외에도 Imagenette에 대한 추가 MU baseline으로 FMN(forget-me-not)을 포함한다. Imagenette에서 Retrain은 상당한 계산 자원 요구 사항으로 인해 생략한다. 관찰된 바와 같이, SalUn은 다양한 망각 클래스에서 UA 측면에서 ESD와 FMN을 능가한다. 중요하게도, SalUn은 높은 UA를 달성하면서도 좋은 생성 품질(FID로 측정)을 유지한다. 이와 대조적으로, FMN은 가장 낮은 FID를 달성하지만 효과적인 망각에 어려움을 겪어 UA가 크게 감소한다. 더 많은 생성된 이미지는 Fig. A7-A9를 참조하라.

NSFW 개념 망각에 대한 적용
또한, 우리는 부적절한 이미지 프롬프트(I2P)를 통해 도입된 NSFW(not safe for work) 개념의 영향을 제거하기 위한 개념별 망각에서 SalUn의 효과를 평가한다 (Schramowski et al., 2023). 구체적으로, 우리는 I2P에서 제공하는 프롬프트를 사용하여 오픈 소스 SD V1.4에서 이미지를 생성하고, NudeNet detector (Bedapudi, 2019)를 사용하여 다양한 해당 누드 신체 부위로 분류한다. 우리의 목표는 MU 방법을 활용하여 SD에서 누드 관련 프롬프트의 영향을 효과적으로 지우는 것이다. Fig. 5는 SalUn과 Table 2에서 소개된 ESD 및 FMT baseline을 포함한 다양한 unlearning 방법의 unlearning 성능을 제시한다. 여기서 unlearning 효과는 I2P 프롬프트와 함께 unlearned SD를 사용하여 생성된 누드 관련 이미지의 양으로 측정된다. 비교를 위해 원본 SD 모델의 성능도 제시한다. SalUn은 모든 누드 신체 부위 클래스에서 가장 적은 유해 이미지를 생성한다. 특히, 'male breast'와 'female breast'에서 ESD(두 번째로 좋은 성능을 보이는 방법)를 크게 능가한다.

Figure 6: MU를 사용한 SD와 사용하지 않은 SD를 사용하여 생성된 이미지 예시. unlearning 방법에는 ESD, FMN, SalUn(본 연구)이 포함된다. 각 열은 동일한 프롬프트(Pi로 표시)와 동일한 시드를 사용하여 다른 SD로 생성된 이미지를 나타낸다. 사용된 프롬프트에 대한 구체적인 설명은 Table A11에 제공된다.

Figure 5: SalUn, ESD, FMN으로 획득한 다양한 unlearned SD 모델과 원본 SD V1.4를 사용한 '누드' 제거 효과. 성능은 각 누드 카테고리(즉, 행 이름) 내에서 I2P 프롬프트에 대해 생성된 유해 이미지의 수로 측정된다.

7 Conclusion

기존 MU 접근 방식의 단점을 인식하여, 우리는 MU에서 **가중치 현저성(weight saliency)**이라는 혁신적인 개념을 도입하고, 이를 통해 SalUn 프레임워크를 개발했다. 이 제안된 saliency unlearning은 현재 MU 방법론의 한계를 해결하는 데 효과적임을 입증했으며, 이미지 분류 및 생성 task 모두에 적용 가능하다. 특히 주목할 만한 적용 사례로, SalUn은 부적절한 이미지 prompt에도 불구하고 stable diffusion이 유해한 콘텐츠를 생성하는 것을 효과적으로 방지할 수 있음을 보여준다.

8 Acknowledgement

C. Fan, J. Liu, S. Liu는 Cisco Research Faculty Award와 NSF(National Science Foundation) Robust Intelligence (RI) Core Program Award IIS-2207052의 지원을 받았다. 우리는 통찰력 있는 논의를 제공해 준 Jinghan Jia에게 감사드린다.

Appendix

A Pseudo code of RL-based salun.

Algorithm 1 분류 task에서의 RL-based SalUn 의 pseudo code.
하이퍼파라미터: 학습률 \(\eta\), 마스크 임계값 \(\gamma\), epoch 수 \(E\).
필요 조건: Relabeled forgetting set \(\mathcal{D}_{\mathrm{f}}{ }^{\prime}=\left\{\left(\mathbf{x}_{i}, y_{i}^{\prime}\right) \mid\left(\mathbf{x}_{i}, y_{i}\right) \in \mathcal{D}_{\mathrm{f}}, y_{i}^{\prime} \neq y_{i}\right\}\)
    \(\boldsymbol{\theta}_{\mathrm{u}} \leftarrow \boldsymbol{\theta}_{\mathrm{o}}\)
    \(\mathcal{D}^{\prime} \leftarrow \mathcal{D}_{\mathrm{f}}{ }^{\prime} \cup \mathcal{D}_{\mathrm{r}}\)
    \(\mathbf{g}_{\mathrm{S}}=\left.\nabla_{\boldsymbol{\theta}} \mathbb{E}_{(\mathbf{x}, y) \sim \mathcal{D}_{\mathrm{f}}}\left[\ell_{\mathrm{CE}}(\boldsymbol{\theta} ; \mathbf{x}, y)\right]\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_{\mathrm{o}}} \quad \triangleright\) (5)로부터 얻은 GA-기반 weight saliency
    \(\mathbf{m}_{\mathrm{S}} \leftarrow \mathbb{1}\left(\left|\mathbf{g}_{\mathrm{S}}\right| \geq \gamma\right) \quad \triangleright\) (3)으로부터 얻은 Saliency mask
    for epoch \(\leftarrow 0 \ldots E-1\) do
        for \(\mathbf{b} \leftarrow\) all batches of \(\mathcal{D}^{\prime}\) do
            \(\left.\mathbf{g} \leftarrow \nabla_{\boldsymbol{\theta}} \ell_{\text {SalUn }}^{(1)}(\boldsymbol{\theta} ; \mathbf{b})\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_{\mathrm{u}}} \quad \triangleright\) (6)에 대한 Batch-wise loss
            \(\boldsymbol{\theta}_{\mathrm{u}} \leftarrow \boldsymbol{\theta}_{\mathrm{u}}-\eta\left(\mathbf{m}_{\mathrm{S}} \odot \mathbf{g}\right) \quad \triangleright\) One step SGD
        end for
    end for
    return \(\boldsymbol{\theta}_{\mathrm{u}}\)

Algorithm 2 생성 task에서의 RL-based SalUn 의 pseudo code.
하이퍼파라미터: 학습률 \(\eta\), 마스크 임계값 \(\gamma\), 반복 횟수 \(T\).
필요 조건: Relabeled forgetting set \(\mathcal{D}_{\mathrm{f}}{ }^{\prime}=\left\{\left(\mathbf{x}_{i}, c^{\prime}\right) \mid\left(\mathbf{x}_{i}, c_{i}\right) \in \mathcal{D}_{\mathrm{f}}, c^{\prime} \neq c_{i}\right\}\)
    \(\boldsymbol{\theta}_{\mathrm{u}} \leftarrow \boldsymbol{\theta}_{\mathrm{o}}\)
    \(\mathcal{D}^{\prime} \leftarrow \mathcal{D}_{\mathrm{f}}{ }^{\prime} \cup \mathcal{D}_{\mathrm{r}}\)
    \(\mathbf{g}_{\mathrm{S}}=\left.\nabla_{\boldsymbol{\theta}} \ell_{\mathrm{MSE}}\left(\boldsymbol{\theta} ; \mathcal{D}_{\mathrm{f}}\right)\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_{\mathrm{o}}} \quad \triangleright\) (5)로부터 얻은 GA-기반 weight saliency
    \(\mathbf{m}_{\mathrm{S}} \leftarrow \mathbb{1}\left(\left|\mathbf{g}_{\mathrm{S}}\right| \geq \gamma\right) \quad \triangleright\) (3)으로부터 얻은 Saliency mask
    for \(i t \leftarrow 0 \ldots T-1\) do
        Sampling batch \(\mathbf{b}\) from \(\mathcal{D}^{\prime}\)
        \(\left.\mathbf{g} \leftarrow \nabla_{\boldsymbol{\theta}} \ell_{\text {SalUn }}^{(2)}(\boldsymbol{\theta} ; \mathbf{b})\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_{\mathrm{u}}} \quad \triangleright\) (7)에 대한 Batch-wise loss
        \(\boldsymbol{\theta}_{\mathrm{u}} \leftarrow \boldsymbol{\theta}_{\mathrm{u}}-\eta\left(\mathbf{m}_{\mathrm{S}} \odot \mathbf{g}\right) \quad \triangleright\) One step SGD
    end for
    return \(\boldsymbol{\theta}_{\mathrm{u}}\)

B Soft-thresholding SalUn

saliency 기반 unlearned model (4)는 weight saliency가 unlearned model $\boldsymbol{\theta}_{\mathrm{u}}$과 original model $\boldsymbol{\theta}_{\mathrm{o}}$ 간의 차이를 페널티화한다는 것을 의미한다. 즉, weight saliency map $\mathbf{m}_{\mathrm{S}}$의 희소성(sparsity)이 높을수록 모델 가중치의 변화가 적다는 것을 나타낸다. 이에 영감을 받아, 우리는 saliency 효과를 강화하기 위해 $\ell_{1}$ norm $\left\|\boldsymbol{\theta}-\boldsymbol{\theta}_{\mathrm{o}}\right\|_{1}$을 unlearning 페널티로 통합할 수 있다. 이렇게 하면 (6) 또는 (7)이 다음과 같이 수정된다:

$$\underset{\boldsymbol{\theta}}{\operatorname{minimize}} L_{\mathrm{SalUn}}^{(i)}(\boldsymbol{\theta})+\beta\left\|\boldsymbol{\theta}-\boldsymbol{\theta}_{\mathrm{o}}\right\|_{1},$$

여기서 $i=1$ (또는 2)은 분류(6) (또는 생성(7))를 위한 SalUn의 목적 함수에 해당하며, $\beta>0$는 regularization 파라미터이다. (6) 및 (7)과 달리, SalUn의 목적 함수는 사전에 알려진 weight saliency map이 없으므로 전체 모델 가중치 $\boldsymbol{\theta}$에 대해 정의된다. 즉, (4)에서 $\mathbf{m}_{\mathrm{S}}=\mathbf{1}$로 설정한다. 문제 (8)은 proximal gradient algorithm (Parikh et al., 2014)을 사용하여 효율적으로 해결할 수 있으며, 이 알고리즘에서는 $\ell_{1}$ 페널티 항이 soft-thresholding으로 알려진 closed-form proximal operation을 통해 효율적으로 처리된다. SalUn의 hard-thresholding 구현과 달리, soft-thresholding 접근 방식은 추가적인 하이퍼파라미터 $\beta$를 튜닝해야 하지만, (3)의 hard threshold $\gamma$에 의존하지 않는다는 trade-off가 있다. 실제로 우리는 $\beta$에 대해 선형적으로 감소하는 스케줄러를 사용하는 것(즉, 초기 unlearning 단계에서 weight saliency sparsity를 촉진하는 것)이 다른 방식보다 더 나은 결과를 제공하며, hard thresholding 기반 SalUn의 성능에 근접한다는 것을 발견했다.

다음은 Soft-thresholding SalUn에 대한 상세한 유도 과정이다. 다음을 가정하자:

$$f(\boldsymbol{\theta})=L_{\text {SalUn }}^{(i)}(\boldsymbol{\theta})$$

그리고

$$g(\boldsymbol{\theta})=\beta\left\|\boldsymbol{\theta}-\boldsymbol{\theta}_{\mathrm{o}}\right\|_{1}$$

이는 다음 공식으로 이어진다:

$$\underset{\boldsymbol{\theta}}{\operatorname{minimize}} f(\boldsymbol{\theta})+g(\boldsymbol{\theta}) .$$

proximal gradient algorithm의 반복 단계는 다음과 같다:

$$\begin{aligned} & \text { Gradient Step: } \boldsymbol{\theta}^{\prime}=\boldsymbol{\theta}^{k}-\lambda \nabla f\left(\boldsymbol{\theta}^{k}\right) \\ & \text { Proximal Step: } \boldsymbol{\theta}^{k+1}=\operatorname{prox}_{\lambda g}\left(\boldsymbol{\theta}^{\prime}\right), \end{aligned}$$

여기서 proximal operator ($\operatorname{prox}_{\lambda g}$)는 (Parikh et al., 2014, Eq. 1.2)에 정의된 바와 같다. 이 proximal operator의 포함은 우리 원래 알고리즘에 대한 주요 수정 사항이다. 구체적으로, proximal projection에 의해 결정되는 $\boldsymbol{\theta}^{k+1}$은 다음의 강하게 볼록한(strongly convex) 최소화 문제의 해이다.

$$\underset{\boldsymbol{\theta}}{\operatorname{minimize}} \quad \beta\left\|\boldsymbol{\theta}-\boldsymbol{\theta}_{\mathrm{o}}\right\|_{1}+1 /(2 \lambda)\left\|\boldsymbol{\theta}-\boldsymbol{\theta}^{\prime}\right\|_{2}^{2} .$$

변수 $\mathbf{x}:=\boldsymbol{\theta}-\boldsymbol{\theta}_{\mathrm{o}}$로 변경하면, 위 문제는 다음과 동등하다:

$$\underset{\mathbf{x}}{\operatorname{minimize}}\|\mathbf{x}\|_{1}+1 /(2 \lambda \beta)\left\|\mathbf{x}-\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right)\right\|_{2}^{2},$$

이는 $\ell_{1}$ norm $\|\cdot\|_{1}$의 proximal operation이며, proximal 파라미터는 $\lambda \beta$이고, 지점은 $\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}$이다. 즉, $\operatorname{prox}_{(\lambda \beta)\|\cdot\|_{1}}\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right)$이다. 위는 $\ell_{1}$ norm의 proximal operation (soft thresholding operation)으로 알려져 있으며 (Parikh et al., 2014, Sec. 6.5.2), 위 문제의 해( $\mathbf{x}^{*}$로 표기)는 다음 분석적 형태로 주어진다:

$$\left[\mathbf{x}^{*}\right]_{i}= \begin{cases}{\left[\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right]_{i}-\lambda \beta} & {\left[\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right]_{i} \geq \lambda \beta} \\ 0 & {\left[\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right]_{i} \in[-\lambda \beta, \lambda \beta]} \\ {\left[\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right]_{i}+\lambda \beta} & {\left[\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right]_{i} \leq-\lambda \beta}\end{cases}$$

여기서 $[\mathbf{x}]_{i}$는 $\mathbf{x}$의 $i$번째 요소를 나타낸다. 분명히, $\beta$의 증가는 $\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}} \rightarrow 0$을 강제할 것이다. 위의 간결한 표현은 (Parikh et al., 2014, Eq. 6.9)에 의해 주어진다:

$$\mathbf{x}^{*}=\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}-\lambda \beta\right)_{+}-\left(-\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right)-\lambda \beta\right)_{+},$$

여기서 $(\mathbf{x})_{+}$는 $\mathbf{x}$의 **양수 부분 연산자(positive part operator)**이며, 요소별로 적용된다. 다시 말해, 벡터 $\mathbf{x}$를 음이 아닌 orthant에 투영하기 위해 $\mathbf{x}$의 각 음수 구성 요소는 0으로 대체된다.

원래 변수 $\boldsymbol{\theta}=\mathbf{x}+\boldsymbol{\theta}_{\mathrm{o}}$로 다시 변경하면, 문제 (12)의 해(또는 proximal operation 단계)는 다음과 같이 주어진다:

$$\boldsymbol{\theta}^{k+1}=\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}-\lambda \beta\right)_{+}-\left(-\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right)-\lambda \beta\right)_{+}+\boldsymbol{\theta}_{\mathrm{o}} .$$

마지막으로, 제안된 unlearning 문제를 해결하기 위한 수정된 proximal gradient algorithm은 다음과 같이 명시될 수 있다:

$$\begin{aligned} & \text { Gradient Step: } \boldsymbol{\theta}^{\prime}=\boldsymbol{\theta}^{k}-\lambda \nabla f\left(\boldsymbol{\theta}^{k}\right) \\ & \text { Proximal Step: } \boldsymbol{\theta}^{k+1}=\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}-\lambda \beta\right)_{+}-\left(-\left(\boldsymbol{\theta}^{\prime}-\boldsymbol{\theta}_{\mathrm{o}}\right)-\lambda \beta\right)_{+}+\boldsymbol{\theta}_{\mathrm{o}} . \end{aligned}$$

C Additional Experimental Details and Results

C. 1 Additional training and unlearning settings

이미지 분류를 위한 MU (Machine Unlearning)
Retrain 방식의 경우, SGD optimizer를 사용하여 182 epoch 동안 학습을 진행하며, 초기 학습률은 0.1로 설정된 cosine-scheduled learning rate를 사용한다.
FT와 RL 방식 모두 10 epoch 동안 학습을 진행하며, 학습률은 $\left[10^{-3}, 10^{-1}\right]$ 범위 내에서 탐색한다.
GA 방식의 학습 설정은 $\left[10^{-5}, 10^{-3}\right]$ 범위 내에서 5 epoch 동안 학습률을 탐색하는 것을 포함한다.
IU 방식의 경우, woodfisher Hessian Inverse approximation과 관련된 파라미터 $\alpha$를 $[1,20]$ 범위 내에서 탐색한다.
$\ell_{1}$-sparse 방식의 경우, 파라미터 $\gamma$에 대한 학습률을 $\left[10^{-6}, 10^{-4}\right]$ 범위 내에서 탐색하고, 동시에 전체 학습률은 $\left[10^{-3}, 10^{-1}\right]$ 범위 내에서 탐색한다.
BS 방식의 경우, fast gradient sign method (FGSM)의 step size는 0.1로 정의된다.
BS와 BE 방식 모두 $\left[10^{-6}, 10^{-4}\right]$ 범위 내에서 10 epoch 동안 학습률을 탐색한다.
마지막으로, SalUn과 SalUn-soft의 경우, 10 epoch 동안 학습을 진행하며, 학습률은 $\left[5 * 10^{-4}, 5 * 10^{-2}\right]$ 범위 내에서, sparsity ratio는 $[0.1, 0.9]$ 범위 내에서 탐색한다.

Figure A1: SalUn의 saliency sparsity 변화에 따른 성능과 Retrain의 비교. (a)와 (b)는 분류 task에서 UA 또는 MIA를 지표로 사용한다. 설정은 Table 1을 따른다. (c)와 (d)는 생성 task에서 UA 또는 FID를 지표로 사용한다. 설정은 Fig 4를 따른다. Retrain 위에 있는 점들은 over-forgetting을 나타내고, Retrain 아래에 있는 점들은 under-forgetting을 나타낸다.

이미지 생성을 위한 MU
DDPM의 unlearning 설정은 다음과 같다:
Retrain의 경우, Adam optimizer를 사용하여 80,000 iteration 동안 학습을 진행하며, 학습률은 **$10^{-4}$**이다. Batch size는 128로 설정된다.
SalUn의 경우, 학습률 $10^{-4}$, $\beta$ 값 $10^{-3}$, batch size 128로 1,000 iteration 동안 학습한다. Weight saliency의 sparsity는 50%로 유지된다.
샘플링 설정은 1,000 time step과 conditional scale 2.0을 포함한다.

SD의 unlearning 설정은 다음과 같다:
SalUn의 경우, Adam optimizer를 사용하여 학습률 **$10^{-5}$**로 5 epoch 동안 학습한다. $\beta$ 값은 0.5로 설정되며, batch size는 8이다. Weight saliency의 sparsity는 다시 50%로 설정된다.
샘플링 설정은 DDIM, 100 time step, conditional scale 7.5를 포함한다.

NSFW 제거를 위해, 우리는 먼저 SD V1.4를 사용하여 'a photo of a nude person' 프롬프트로 **800개의 이미지($\mathcal{D}_{\mathrm{f}}$)**를 생성하고, 'a photo of a person wearing clothes' 프롬프트로 **추가 800개의 이미지($\mathcal{D}_{\mathrm{r}}$)**를 생성한다.
Unlearning 과정 전반에 걸쳐, **'a photo of a nude person'**을 사용하여 NSFW 개념에 대한 weight saliency mask를 도출한다.
이후, **'a photo of a nude person'**을 잊어야 할 개념으로 간주하고, 'a photo of a person wearing clothes' 개념을 사용하여 **수정(correction)**을 수행한다.

Figure A2: SalUn의 saliency sparsity 변화에 따른 이미지 생성 예시. Fig. 4와 동일한 설정을 따른다.

Weight saliency의 sparsity 선택에 대한 ablation study
(3)에서 언급했듯이, weight saliency sparsity threshold의 선택은 우리 접근 방식에서 매우 중요한 하이퍼파라미터가 될 수 있다. 우리 실험에서는 기본 sparsity threshold를 50%로 설정했다.
Fig. A1은 sparsity ratio에 대한 더 자세한 분석을 제공한다. 구체적으로, **Fig. A1-(a)와 (b)**는 CIFAR-10 데이터셋에 ResNet-18을 사용하여 이미지 분류에서 무작위 데이터 망각(random data forgetting) 성능을 보여준다 (실험 설정은 Table 1과 동일).
**Fig. A1-(c)와 (d)**는 Fig 4와 동일한 설정으로 DDPM을 사용하여 CIFAR-10에서 클래스별 망각(class-wise forgetting) 성능을 보여준다. 두 경우 모두 비교를 위해 Retrain의 성능이 함께 제시된다.
이미지 분류를 위한 MU의 맥락에서, 50%의 sparsity threshold를 선택하는 것은 합리적인 옵션이다.
더 높은 saliency sparsity는 under-forgetting을 초래할 수 있다. 이는 Retrain과의 상당한 격차뿐만 아니라 더 낮은 unlearning accuracy (Jia et al., 2023) (즉, 망각 데이터 포인트를 더 쉽게 분류하게 함) 또는 더 낮은 MIA (Jia et al., 2023) (즉, 학습 데이터 포인트의 망각 정체성을 추론하기 어렵게 함)로 입증된다.
더 높은 saliency sparsity는 unlearning 과정에서 수정될 모드 가중치가 적다는 것을 의미하므로 이는 놀라운 결과가 아니다. 반대로, 더 낮은 sparsity ratio를 선택하면 과도하게 많은 가중치가 수정되어 over-forgetting이 발생할 수 있다.
이미지 생성을 위한 MU의 맥락에서도, 더 높은 sparsity ratio는 under-forgetting으로 이어지며, 훨씬 낮은 sparsity ratio는 over-forgetting으로 인해 FID가 증가한다.
또한, Fig. A2는 'airplane' 클래스를 망각할 때 생성된 이미지의 예시를 보여준다. 10%의 saliency sparsity를 선택하면 'airplane' 클래스를 효과적으로 망각할 수 있지만, 이미지 생성 품질이 저하된다. 반면에 90%의 saliency sparsity를 사용하면 클래스를 망각하는 데 실패한다.
Fig. A3에서는 이미지 분류를 위한 MU의 경우에 초점을 맞춰, '최적' sparsity 수준이 망각 데이터 포인트 수에 따라 어떻게 변하는지를 제시한다. 최적 sparsity는 10%의 sparsity 간격으로 그리드 탐색을 통해 결정된다.
50%의 sparsity ratio 선택이 보편적인 것은 아니며, 더 많은 양의 망각 데이터를 다룰 때는 더 높은 sparsity ratio가 선호된다는 점에 유의해야 한다. 이는 더 많은 망각 데이터 양이 모델에 더 큰 영향을 미칠 수 있기 때문이다.

Figure A3: ResNet-18, CIFAR-10에서 무작위 데이터 망각 시 최적 saliency sparsity와 망각 데이터 양 간의 관계.

C. 2 Additional classification results

Table A1: (3)에 제시된 weight saliency mask ($\mathbf{m}_{\mathrm{S}}$)를 적용한 MU 방법론과 적용하지 않은 방법론의 성능 비교. unlearning 데이터-모델 설정, unlearning 시나리오, 평가 지표, 보고된 결과 형식은 Table 1과 일치한다. 여기서는 FT, RL, GA, IU를 포함한 unlearning baseline을 고려하며, 이들의 weight saliency 통합 변형은 'Method $+\mathbf{m}_{\mathrm{S}}$'로 표기된다.

이미지 분류를 위한 MU baseline에 도입된 weight saliency의 향상
Table A1에서 우리는 제안된 weight saliency map ($\mathbf{m}_{\mathrm{S}}$) (3)의 효과를 입증한다. 이는 SalUn의 핵심 구성 요소이며, 다양한 MU baseline (FT, RL, GA, IU)에 통합하여 그 효과를 보여준다. 우리는 weight saliency가 강화된 baseline의 성능을 vanilla 버전과 비교한다.
결과에서 볼 수 있듯이, $\mathbf{m}_{\mathrm{S}}$와의 통합은 기존 baseline의 성능을 향상시키며, 다양한 forgetting 시나리오에서 Avg. Gap 값으로 입증되듯이 Retrain 벤치마크에 더 가까워지게 한다.
주목할 만한 점은 weight saliency가 강화된 RL이 다른 모든 baseline을 능가한다는 것이다. 이는 우리가 RL을 SalUn의 기본 구성 요소로 선택한 이유를 정당화한다.

Table A2: CIFAR-10 데이터셋으로 사전학습된 ResNet-18에 대한 class-wise forgetting의 MU 성능. 내용 형식은 Table 1을 따른다.

Class-wise unlearn 결과
Table A2에서 우리는 CIFAR-10 데이터셋에 대한 ResNet-18의 class-wise forgetting MU 성능을 평가한다. 결과는 우리가 제안한 방법론인 SalUn과 SalUn-soft가 대부분의 지표에서 칭찬할 만한 성능을 제공함을 명확히 보여준다.
비록 우리의 기술이 UA 측면에서 $\ell_{1}$-sparse 방법론이 보여준 절대적인 우위에는 약간 미치지 못하지만, 전반적인 성능 양상은 긍정적이다. 결정적으로, SalUn과 SalUn-soft 모두 지표 전반에 걸쳐 일관되게 강력한 균형을 보여주며, 이는 다양한 unlearning 시나리오를 처리할 수 있는 잠재력을 강조한다. 직면한 어려움에도 불구하고, 이 방법론들은 UA, MIA, RA, TA 지표 간의 미세한 조화를 유지한다. 이 표에서 얻은 통찰력은 class-wise forgetting의 미묘한 양상과 제안된 방법론들의 상대적인 강점을 이해하는 데 중요하다.

Table A3: CIFAR-10 데이터셋에서 random data forgetting에 대한 다양한 반복 횟수에서의 Iterative Unlearning 성능. 각 반복마다 10%의 데이터를 잊는다. 내용 형식은 Table 1을 따른다.

반복적 unlearning 성능
Table A3에서 볼 수 있듯이, 우리는 CIFAR-10 데이터셋의 ResNet-18 모델에 대해 5번의 반복에 걸쳐 10%씩 데이터를 점진적으로 잊는 (총 50%의 데이터) 반복적 unlearning 실험을 수행했다. 즉, 각 반복마다 잊어야 할 데이터 세트는 전체 데이터셋의 10%이다. 우리는 Retrain이라는 gold standard와 비교하여 우리 방법의 unlearning 성능을 평가한다. 또한, FT와 비교하여 성능을 평가한다. 특히, 데이터 포인트가 점진적으로 잊혀지는 상황에서도 SalUn은 Retrain과 일관되게 최소한의 성능 차이를 보여주며, 이는 Avg. Gap 열의 가장 작은 값으로 입증된다.

SVHN 및 CIFAR-100 데이터셋 성능
Table A7과 Table A8은 추가 데이터셋 (SVHN 및 CIFAR-100)에서 다양한 데이터 forgetting 양에 따른 MU 성능에 대한 포괄적인 평가를 제공한다. 이 표들은 다양한 forgetting 시나리오에서 여러 방법론의 효율성을 강조한다. 특히, SalUn과 SalUn-soft 방법론은 두 데이터셋 모두에서 일관되게 유망한 결과를 제공한다. 또한, 대부분의 방법론이 RA 성능을 우선시하는 반면, 제안된 방법론들은 모든 지표에서 칭찬할 만한 균형을 이룬다는 것이 분명하다. 결과는 MU에 weight saliency를 통합하는 것의 중요성을 다시 한번 강조한다. SalUn 기술은 RA 및 TA 지표에서 큰 희생 없이 경쟁력 있는 UA 및 MIA 점수를 달성하기 때문이다. 이러한 패턴과 통찰력은 이전 표들에서 제시된 관찰 및 결론과 일치하며, 도입된 방법론의 견고성과 적용 가능성을 확인시켜준다.

VGG-16 및 Swin-T 모델 성능
Table A9와 Table A10에서 볼 수 있듯이, 우리는 VGG-16 및 Swin-T 모델에서 다양한 데이터 forgetting 양에 따른 MU 성능을 더 깊이 탐구한다. 이 표들은 다양한 forgetting 설정에서 여러 방법론의 능력과 적응성을 강조한다. 주목할 만한 점은 SalUn과 SalUn-soft의 성능이다. 이들은 항상 다른 접근 방식이 얻은 최고 지표를 능가하지는 않지만, 다양한 지표에서 균형 잡힌 프로필을 보여준다. 이들은 UA와 MIA 모두에서 일관되게 경쟁력 있는 결과를 보여주면서 RA와 TA 지표가 칭찬할 만하게 높은 수준을 유지하도록 보장한다. 이러한 성능의 조화는 다양한 unlearning 맥락에서 제안된 기술의 강점을 강조한다. 이 표들에서 얻은 결과는 이전에 제시된 통찰력을 더욱 뒷받침하고 강화하며, 기계 unlearning 문제를 해결하는 데 있어 SalUn과 SalUn-soft의 잠재력과 관련성을 강조한다.

Tiny ImageNet 데이터셋 성능
우리는 Table A4에서 CIFAR-10 및 CIFAR-100보다 더 높은 해상도 (64 $\times 64$)를 가진 Tiny ImageNet 데이터셋 (Le & Yang, 2015)에 대한 추가 실험을 수행했다. 우리는 baseline $\ell_{1}$-sparse 및 Retrain과 비교하여 우리 방법의 평가에 중점을 두었다. $\ell_{1}$-sparse와 비교했을 때, SalUn은 UA 및 MIA 측면에서 더 작은 차이를 보였으며, RA 및 TA 차이는 유사했다. 이는 $\ell_{1}$-sparse보다 향상된 unlearning 효율성을 보여주면서도 unlearning 후 모델의 일반화 능력을 보존한다.

C. 3 Additional generation results

CIFAR-10에 대한 클래스별 unlearning 예시.
Fig. 4에서 확장된 내용으로, 우리는 Retrain, ESD, SalUn의 unlearning 성능을 Table A5에서 FID와 UA라는 두 가지 지표를 사용하여 정량화하였다.
DDPM과 CIFAR-10 데이터셋에서 SalUn과 ESD의 성능을 비교했을 때, SalUn은 ESD에 비해 UA가 0.84% 소폭 하락하는 것을 관찰했다. 그러나 FID 측면에서는 SalUn이 ESD를 크게 능가한다.
우리는 ESD가 CIFAR-10과 같은 저품질 이미지를 잊고 학습하는 과정에서 불안정성을 보인다는 점에 주목했다. 따라서 ESD의 100% UA 성능은 forgetting class 내 이미지의 낮은 생성 품질 때문일 수도 있다고 판단한다.
이와 대조적으로, SalUn은 Retrain과 가장 근접한 성능을 보인다. Fig. A4-A6는 생성된 이미지 예시를 보여준다. Forgetting class는 빨간색 테두리로 표시되어 있다.

ImageNette에 대한 클래스별 unlearning 예시.
Fig. A7-A9에서는 ImageNette 데이터셋에 대해 SalUn 접근 방식을 활용한 클래스별 unlearning 결과를 다양한 random seed에서 보여준다.
그림의 매트릭스 구성은 "Unlearned class"와 "Prompt class"를 대조하여, 원하는 이미지와 생성된 이미지를 명확하게 구분한다.
대각선상의 이미지들은 target unlearning class에 해당하며, 이 unlearning 맥락에서 SalUn 방법의 효과성을 보여준다.
반대로, 비대각선상의 이미지들은 다른 클래스들을 나타내며, 모델이 더 넓은 데이터셋에 걸쳐 차별화하고 일반화하는 능력을 보여준다.

SD가 NSFW 이미지를 생성하기 위한 I2P의 텍스트 프롬프트.
Table A11은 Fig. 6에 사용된 유해한 텍스트 프롬프트들을 각각 보여준다.

D Broader Impacts and Limitations

SalUn은 데이터 프라이버시, 보안, 그리고 규제 준수라는 다면적인 도전 과제를 해결하는 데 있어 중요한 진전을 의미한다. SalUn은 머신러닝 모델의 unlearning 효과를 향상시키며, 엄격한 unlearning 요구 사항 하에서도 모델의 유용성을 유지한다. 유해 콘텐츠 생성을 방지하는 SalUn의 역할은 사회적 규범과 윤리적 기준을 육성하는 능력을 강조한다. 이러한 사전 예방적 접근 방식은 부적절한 콘텐츠 생성 위험을 줄이고, AI 개발이 윤리적 기준 및 사회적 기대와 일치하도록 유도한다.

그러나 우리 방법의 한계점을 인정하는 것이 중요하다. SalUn은 vision task에서 효과적임이 입증되었지만, 언어 및 그래프와 같은 다른 도메인으로의 확장성 및 적응성은 추가 조사가 필요하다. 머신 unlearning이 공정성, 프라이버시, 보안에 미치는 영향 또한 신중하게 고려되어야 한다. 이러한 기술의 투명하고, 책임감 있으며, 포괄적인 개발을 보장하는 것이 필수적이다.

Table A4: ResNet-18, Tiny ImageNet 데이터셋으로 사전학습된 모델에 대한 MU 성능 (10% 무작위 데이터 망각).

Table A5: Classifier-free guidance DDPM에 대한 클래스별 망각 성능.

Table A11은 유해 텍스트 프롬프트를 보여준다.

Table A6: ResNet-18, CIFAR-10 데이터셋으로 사전학습된 모델에 대한 무작위 데이터 망각 시 다양한 망각 데이터 양에 따른 MU 성능. 콘텐츠 형식은 Table 1을 따른다.

Table A7: SVHN 데이터셋에 대한 무작위 데이터 망각 시 다양한 망각 데이터 양에 따른 MU 성능. 콘텐츠 형식은 Table 1을 따른다.

Table A8: CIFAR-100 데이터셋에 대한 무작위 데이터 망각 시 다양한 망각 데이터 양에 따른 MU 성능. 콘텐츠 형식은 Table 1을 따른다.

Table A9: VGG-16에 대한 무작위 데이터 망각 시 다양한 망각 데이터 양에 따른 MU 성능. 콘텐츠 형식은 Table 1을 따른다.

Table A10: Swin-T에 대한 무작위 데이터 망각 시 다양한 망각 데이터 양에 따른 MU 성능. 콘텐츠 형식은 Table 1을 따른다.

Figure A4: CIFAR-10의 classifier-free guidance DDPM에 대한 클래스별 unlearning 결과. 망각 클래스는 빨간색으로 표시된다. (더 많은 결과는 Fig. A5 및 Fig. A6에 표시될 예정이다)

Figure A5: CIFAR-10의 classifier-free guidance DDPM에 대한 클래스별 unlearning 결과. 망각 클래스는 빨간색으로 표시된다 (Fig. A4의 확장 결과).

Figure A6: CIFAR-10의 classifier-free guidance DDPM에 대한 클래스별 unlearning 결과. 망각 클래스는 빨간색으로 표시된다 (Fig. A4의 확장 결과).

Table A11: SD가 NSFW 이미지를 생성하기 위한 I2P의 텍스트 프롬프트. 프롬프트 순서는 Fig. 6과 일치한다.

Figure A7: SalUn을 사용하여 생성된 이미지 예시. 아래 행에서 대각선 이미지는 망각 클래스를 나타내고, 비대각선 이미지는 나머지 클래스를 나타낸다. (다른 무작위 시드에 대한 더 많은 결과는 Fig. A8 및 Fig. A9에 표시될 예정이다.)

Figure A8: SalUn을 사용하여 생성된 이미지 예시. 아래 행에서 대각선 이미지는 망각 클래스를 나타내고, 비대각선 이미지는 나머지 클래스를 나타낸다. (다른 무작위 시드에 대한 Fig. A7의 확장 결과).

Figure A9: SalUn을 사용하여 생성된 이미지 예시. 아래 행에서 대각선 이미지는 망각 클래스를 나타내고, 비대각선 이미지는 나머지 클래스를 나타낸다. (다른 무작위 시드에 대한 Fig. A7의 확장 결과).