준나이의 블로그

Locating and Editing Factual Associations in GPT (2023) 논문 리뷰 - 1

준나이 — Sun, 14 May 2023 22:47:32 +0900

Abstract

autoregressive transformer language model(LM)에서 factual associations(사실 관계)를 저장하는 장소와 이를 기억해내는 능력을 분석

causal intervention(= causal tracing):

LM 내 어떤 module(= neural activations, layers, NN)이 model이 사실관계를 예측할때 결정적인 역할을 하는가?를 분석하기 위한 실험
결과를 통해 model의 중간 layer 내에 있는 feed-forward layers(MLP)가 subject tokens를 처리 할 때 하는 연산(computations)이 target(=object)를 prediction 할 때 영향을 끼치는 것을 밝혀 냄
이 computations가 정말 사실관계를 기억해내는 능력과 관련이 있는지 확인하기 위해 RANK-ONE-MODEL-EDITING(ROME)을 통해 feed-forward weights를 수정해서 저장된 사실관계를 update하는 실험을 추가로 진행

ROME (RANK-ONE-MODEL-EDITING)

ROME은 standard zero-shot relation extraction (zsRE)에 효과적
ROME을 specificity와 generalisation 모두 유지해야해서 모델 입장에서 다소 어려운 counterfacutal을 담고 있는 dataset을 가지고 evaluation을 추가로 진행
결과를 통해 mid-layer feed-forward modules가 사실관계를 저장하는데 중요한 역할을 하는것을 증명하고 computational mechanisms의 직접적인 수정을 할 수 있는 method를 제안 (model editing을 위한 실현가능한 approach가 될 수 있음)

1. Introduction

이 논문에서는 'large LM이 사실관계를 어디에 저장하는가?'에 대한 물음에 대한 답으로, GPT 내 일어나는 localised computation이 사실관계에 대응되고 직접수정이 가능하다는 증거를 제시함
LLM은 사실관계를 예측할 수 있는 능력을 갖추고 있음
e.g. "The space needle is located in the city of ___ " 라는 빈칸 문장이 주어졌을때, "Seattle"을 예측 할 수 있음
이 논문에서는 GPT 같은 autoregressive transformer model에 어떻게 사실관계가 저장되는가에 대한 실험을 함
BERT와 같은 masked models에 대한 연구는 어느정도 진행됐는데, unidirectional attention & generation capabilities에 대한 연구를 한다는 점에서 기존 연구와는 다름

experiment 1: causal tracing

하나의 subject와 관련된 사실정보를 떠올리는데 영향을 끼치는 특정한 modules를 찾기위해 원인 영향 분석(causal mediation analysis)을 통해 GPT 내부에 있는 hidden state activations의 영향도(causal effects)를 추적
feed-forward MLP가 subject해당하는 tokens 중 마지막 token을 처리할 때 결정적인 역할을 한다는 것을 밝혀냄

experiment 2: ROME

ROME을 도입하여 model weights에 FFN의 행동을 결정하는 parameters를 수정하여 위에서 발견한 점들을 test
평가를 통해 mid-layer MLP modules가 표면적인 관계(specific surface forms)를 넘어서 일반화할 수 있는 사실관계를 저장하고, subject에 specific한 상태를 유지하는 것을 확인
ROME이 다른 model editing approaches와 비슷한 성능을 발휘한다는 것을 szRE를 통해 확인할 수 있었음
더 어려운 case에 대한 ROME의 영향을 평가하기 위해, counterfactual assertions가 담긴 새로운 dataset 도입

2. Interventions on Activations for Tracing Information Flow

각각의 사실을 예측하는데 가장 큰 causal effect를 미치는 특정 hidden states를 분석하고 식별하기 위해, 첫번째로 facts가 저장된 위치정보를 찾음

data

fact = knowledge tuple로 표현 (subject $s$, relation $r$, object $o$)

model

qutoregressive transformer language model (GPT) $G$에 $s$와 $r$을 유도하기 위해, $s$와 $r$을 표현하는 prompt $p$를 도입하여 $o$를 맞게 예측하는지 실험
$G: X \rightarrow Y$
$V$: vocabulary
$x$: token sequences
$y$: probability distribution
prediction: next-token continuations of $x$

internal computation

$$h_i^{(l)} = h_i^{(l-1)} + a_i^{(l)} + m_i^{(l)} $$
$$a_i^{(l)} = attn^{(l)}\Bigl( h_1^{(l-1)}, h_2^{(l-1)}, \ldots , h_i^{(l-1)} \Bigl) $$
$$m_i^{(l)} = W_{proj}^{(l)}\sigma \Bigl( W_{fc}^{(l)} \gamma \Bigl( a_i^{(l)} + h_i^{(l-1)} \Bigl) \Bigl) $$

$h_i^{(l)}$: a series of hidden state vector (witin transformer layer $l$ and at ith token)
$a_i^{(l)}$: global attention
$m_i^{(l)}$: local MLP

2.1. Causal Tracing of Facutal Associations

올바른 사실을 예측하는데 각각의 states가 기여하는 바를 계산하기 위해, 모델 G를 세가지 방법으로 run 시켜서 내부의 activations를 수집 및 분석함
1) 올바른 fact를 예측하는 clean run
2) 결과값이 손상된 corrupted run
3) 하나의 stat가 가진 prediction을 복원하는 능력을 test하기 위한 corrupted-with-restoration

clean run:

factual prompt $x$를 $G$에 통과시키고 모든 hidden activations $\{h_i^{(l)} | i \in [1,T], l \in [1,L] \}$을 수집
e.g. prompt: "The Space Needle is in downtown _____", $o$: "Seattle"

corrupted run:

$G$를 run 시키기 전에 subject에 해당하는 token에 noise를 추가
$x$는 embedding layer를 통과하여 $[ h_1^{(0)}, h_2^{(0)}, \ldots, h_T^{(0)} ]$로 embedded됨
$h_i^{(0)} := h_i^{(0)}+\epsilon$: 여기에 noise $\epsilon$를 추가하여 input 값을 임의로 바꿈
그 다음에 corrupted activations $\{h_{i*}^{(l)} | i \in [1,T], l \in [1,L] \}$를 수집
subject에 추가된 noise 때문에 정답을 예측할 확률은 낮아짐

corrupted-with-restoration run:

corrupted run처럼 모델을 실행시키다가 token $\hat{i}$ and layer $l$에서 clean activation인 $h_{\hat{i}}^{(l)}$을 출력하도록 강제함
나머지 계산은 원래대로 진행
몇몇의 clean states는 결과를 correct fact로 이끌 것이고, 이는 causal importance를 나타낼것

metric

$\mathbb{P}[0]$, $\mathbb{P}_{*}[0]$, $\mathbb{P}_{*, clean h_{i}^{(l)}}[0]$: clean, corrupted, and corrupted-with-restoration run 이후 $o$를 예측할 확률
total effect: $TE = \mathbb{P}[0] - \mathbb{P}_{*}[0]$
indirect effect: $IE = \mathbb{P}_{*,clean h_{i}^{(l)}}[0] - \mathbb{P}_{*}[0]$
average total effect: $ATE$
average indirect effect: $AIE$

2.2. Causal Tracing Results

문장 내 위치와 components(individual states, MLP layers, attention layers)를 이용해서 조건을 다양하게 설정하여 $ATE$ 18.6% 산출 (Figure 2)
prediction 직전 위치 (late site)에 causal states가 높게 등정된건 어떻게 보면 당연한 일인데, 그에 반해 15th layer 내 subject의 마지막 token(early site)에서 $AIE$값이 높게 나왔다는건 새로운 발견임
causal effects에 대한 기여도를 MLP와 attention 모듈 관점에서 나눴을 때, MLP가 early site에서 결정적인 역할을 한다는 것을 보여줌

figure 3

early site에서 MLP module이 하는 역할을 알아보기 위해 modified causal graph로 간접적인 영향도를 분석함
(a) 각 모듈의 contribution을 corrupted input을 이용해서 측정
(b) causal effects를 측정할 때 MLP modules의 효과를 분리시키기 위해 ith token에서 MLP modules를 잘라내고 corrupted state 상태로 freezing 시킴으로써, clean state의 추가에 영향을 받지 않게됨
(c) MLP가 절단된 모델과 original 모델의 $AIE$ 비교
(d) MLP를 잘라낸 모델의 lowest layers는 causal effects를 잃게됨
(f) 그에 반해 highest layers의 causal effects는 MLP의 존재여부에 큰 영향을 받지 않음
(e) 이 결과는 MLP가 middle layers에서 fact 정보를 기억해내는데 중요한 역할을 함을 알 수 있음
가설: "localised midlayer MLP가 key-value mapping 역할을 하면서 subject에 대한 사실정보를 떠올린다"

2.3. The Licalised Factual Association Hypothesis

3.2.에서의 causal traces의 결과로 사실관계정보를 저장하기 위한 특정한 machanism을 사실이라고 상정함
각각의 midlayer MLP modules는 subject를 이노딩한 input을 받고, 해당 subject에 관해 기억하고 있는 속성을 출력
middle layer MLP outputs은 정보를 축적하고, 더해진 정보는 high layers에 있는 attention에 의해 마지막 token으로 복사됨
이 가설은 사실관계가 저당된 위치를 3개의 dimension에 걸쳐 국한시킴: 1) MLP modules 2) 특정한 middle layers 3) subject의 마지막 token을 처리할때 (다른 연구들과도 일치)
가설을 test하기 위해 중간 레이어 $l^*$에 있는 하나의 MLP module을 집중적으로 분석하여 임의의 fact 정보를 저장하기 위해 weights를 명시적으로 수정해도 되는지를 알아봄

CONTROL PREFIXES for Parameter-Efficient Text Generation (2021) 논문리뷰

준나이 — Sat, 13 May 2023 21:40:16 +0900

Abstract

prefix-tuning

large pre-trained model(PLM)을 downstream task로 adaptation 시키기위한 가볍지만 강력한 기술
하지만 같은 level의 dataset으로 학습된 prompt를 모든 examples에 사용함

control-prefixes

prefix-tuning을 확장해서, input-dependent한 information을 추가로 포함시켜 dynamic prompt화 시킨 기술
prompt-tuning과 controlled generation의 이점들을 모두 이용할 수 있게됨
attribute-level representation을 PML의 layers와 통합시키고 text를 원하는 방향으로 생성 수 있도록 guide할 수 있음
GEM benchmarks 중에서 5 dataset을 실험에 활용
추가 params가 0.1 ~ 3%에 불과한 parameter-efficient한 방법

1. Introduction

PLM을 downstream tasks로 adaptation 시키기는게 text generation분야의 일반적 접근 방식

fine-tuning의 한계

PLM의 모든 parameters를 대상으로 tuning시켜 task마다 LM을 별도로 만들어야 함
PLM의 크기가 수백만에서 수십억에 달하기 때문에 현실적으로 이용하기 힘듦
다른 task를 푸는데도 도움이 될 수 있는 정보들을 그대로 overwriting 시킴

기존 prompt-tuning의 한계

많은 researchers는 PLM의 parameters를 고정시켜 문제를 해결하려고함
prmpt tuning은 input에 tuned prompt를 덧붙여 downstream tasks로 adaptation 시키는 방법
하지만 input-dependent한 dynamic prompt 영역에 대한 연구는 부족
기존 controlled generation 기법들은 task에 대한 성능과는 관련없이 특정한 text를 생성시키는게 목표이거나, attribute-level parmameters 뿐만 아니라 PLM까지 모두 update됨

dynamic prompting method "control prefix"

prefix-tuning을 확장시켜 PLM의 모든 lyaers에 static task-specific prompt를 통합시킴
PLM의 parameters는 fixed된 상태에서 datapoint-specific attributes가 input-level에서 가이드하는 역할을 함
이를 위해 control prefixes가 주어진 guidance에 따라 input을 변경시킴
이러한 dynamic prompts는 static prompt parameters와 같이 작동하여 frozen PLM을 finer-grained control로 확장시킴
선택된 attributes에는 input에 대한 추가정보(e.g. data-to-text triple set의 domain)를 주거나 생성 됐으면 하는 output의 특성(e.g. text길이)을 명시할 수 있음
각각의 dataset에 specific한 추가적인 input-level information을 이용해서 다양한 text generation tasks를 평가

experiment

기존 방법론들을 상회하는 성능을 보여줌 (WebNLG, DART, E2E Clean)
higher human-assessed performance for summerisation on SUM
attribute-level information을 이용할 수 있는 dataset에 focus를 둠 (실험 시)
하지만 attribute-level information을 이용할 수 없는 경우가 일반적이기 때문에 control prefixes를 이용한 zero-shot learning이 효율적일 수도 있다는 것을 함께 보여줌

2. Related Work

prompt tuning

prompt tuning: discrete한 prompting과는 다르게 soft prompt는 gradient descent를 이용한 labelled data의 정보를 최대로 이끌어냄
prompt embedding tuning: input embedding에 덧붙여지는 prompt embedding을 학습시킴
prefix-tuning: NLG에 특화된 prompt embedding tuning으로 모든 examples이 함께 사용하는 학습가능한 K-V pairs가 존재하고 left context를 attention 시키는데 사용됨

Controlled generation

controlled generation은 다양한 종류의 guiance를 이용해서 prompt learning이 부족한 부분을 채워줌
각각의 language를 인코딩한 control tokens으로 이용한 multilingual translation model
하지만 이러한 모델은 contorl prefixes 뿐만 아니라 PLM의 paramters도 학습시켜야함
대안으로 plug-and-play 방식들도 존재하는데, topic이나 sentiment같은 생성되는 글의 성격을 control 할 수 있음
하지만 추가적은 computation으로 inference시에 느린 단점이 존재

Dynamic prompts

input에 denpendent하다는 특징을 갖고있는 dynamic prmpts에 대한 연구는 거의 없음
가장 비슷한 연구로는 dynamic prompts를 구성하기 위해 attribute alignment function을 사용한 방법이 존재
하지만 이 방법은 static한 component는 사용하지 않고, task에 대한 성능은 고려하지 않고 특정한 target 속성을 생성하는 것을 목적으로 함
control prefixes는 task를 명시할 수 있는 static prompt component도 사용해서 task 성능도 향상시킴

3. Contorl Prefixes

3.1. Background

이 연구는 조건부 확률 $P(Y|X)$를 objective로 하는 seq2seq tasks를 대상으로 함
$X$:tokenised input, $Y$: output sequences (e.g. summerisation: $X$=article, $Y$=highlight)

PLM ($\phi$)

enc-dec models decoding auto-regressively - T5-large, BART$_LARGE
$\phi$ 는 학습 시 frozen
$d$: hidden state dimension, $L$: the number of layers

attention class $(E, D_c, D_m)$

각 layer에 존재하는 3가지 attention ($E$ = encoder self-attention, $D_c$: decoder cross-attention, $D_m$: decoder masked-attention)
l-th layer의 attention computation을 위해 $Q, K, V$ 존재 ($Q_l \in \mathbb{R}^{N \times d}$, $K_l, V_l \in \mathbb{R}^{M \times d}$)
$N$: the number of tokens relating queries, $M$: the number of tokens relating keys and values

3.2. Intuition

frozen PLM은 자연어에 대한 폭넓은 이해를 갖고있고 이는 tasks에 공유될 수 있는 parameter-efficient한 방법에 시작점을 제공함
여기에 trainable task-specific parameters를 더해서 model이 특정한 task와 관련된 정보를 학습할 수 있도록 함
여기에 attribute-level parameters를 추가함으로써 모델이 원하는 방향대로 output을 생성할 수 있도록 datapoint-level information을 제공해줌
general task-specific parameters는 각각의 input $X$의 모듈화된 가이드 신호(guide signal)에 따라 따라 변화하는 control prefixes에 맞게 adaptation 됨
여기서 guide signal로 attributes를 discrete labels로 이용

3.3. Description

$P_{\theta}$: a general task prefix (=task-specific parameters)
$C_{\theta}$: a set of control prefixes (=attribute-level parameters)
input $X$를 처리할 때 어떤 control prefixes를 사용할지 나타내는 guidance $G$를 필요로 함
corpus $Z = \{\langle X^j,Y^j,G^j \rangle \}_{j=1,\ldots,N}$
$G^j$: 모든 conditional attribute-level information for the sample $j$
gradient descent를 통해 최종적으로 inference parameters $\phi$를 최적화시키는 것이 목적 ($\phi$는 fixed)
$$ \theta^* = \arg\max_{\theta} \sum^{N}_{j=1} \log p(X^j, G^j; P_{\theta}, C_{\theta}, \phi)$$

General Prefix

attention $(E, D_c, D_m)$마다 K-V pairs의 prefix가 각각 학습됨
$P=\{P_1, \ldots , P_2 \}, P_l \in \textbb{R}^{\rho \times 2d}$
$\rho$ = prompt length
prefix-tuning에서는 l-th layer에서 일어나는 attention을 위해 $K^l$, $V^l$은 다음과 같이 agumented 됨
$$ K_{l}' = [P_{l,K} ; K_l], V_{l}' = [P_{l,V} ; K_l] $$
$ K_l', V_l' \in \mathbb{R}^{(\rho + M)\times dL}$

Control Prefixes

하나의 attribute가 R개의 labels를 가질 수 있다고 가정 (e.g. news domain: sport, technology, ...)
$C_{\theta} = \{C_{\theta,1},\ldots,C_{\theta,R}\}$
$C_{\theta,r} \in \mathcal{R}^{\rho_c \times 6dL} $: r-th attribute label에 대해서 학습한 control prefix
$\rho_c$: control prompt length (attribute에 따라 달라짐)
$\mathcal{A}$: $G$가 가리키는 attribute label에 상응하는 control prefix를 반환하는 함수
$$ K_{l}'' = [\mathcal{A}(G)_{l,K} ; P_{l,K} ; K_l], V_{l}'' = [\mathcal{A}(G)_{l,V} ; P_{l,V} ; K_l]$$
$ K_l'', V_l'' \in \mathbb{R}^{(\rho_c + \rho + M)\times d} $

Shared Re-parameterisation

기존 연구에 의해 학습가능한 parameters 수를 늘려서 prefix optimisation을 안정화 시킬수 있다는 것이 밝혀짐
위의 연구에서는 prefix를 re-parameterisation하기 위해 1층 짜리 MLP를 사용했는데, 이 논문에서는 각각의 attention에 대응되도록 2층짜리 MLP를 3개 이용함
각각의 attnetion class $[E, D_c, D_m]$ 마다, $P=MLP(\tilde{P})$ 이고 중간 hidden size $k$는 800으로 설정 ($\tilde{P} \in \mathbb{R}^{\rho \times d}$)
MLP와 $\tilde{P}$는 $\tilde{\theta}$에 의해 parameterised 됨
여기서 $\theta$는 $\tilde{\theta}$의 function이고 $|\theta| < |\tilde{\theta}|$
학습완료 후 $\theta$는 저장하고 $\tilde{\theta}$는 폐기해도 됨
general prefix $P_{\theta}$처럼 contorl prefix $C_{r,\theta} = \{C_{r}^{E}, C_{r}^{D_c}, C_{r}^{D_m}\}$는 각각의 attention를 위해 구성됨
MLP 또한 위처럼 $MLP^E, MLP^{D_c}, MLP^{D_m}$ 존재
over-parameterisation은 optimisation landscape을 더 부드럽게 하는 효과가 있음
3개의 분리된 re-parameterisation은 각각의 prefix element가 control과 시너지를 낼 수 있게함

[P-tuning] GPT Understands, Too (2021) 논문리뷰

준나이 — Sat, 13 May 2023 04:29:28 +0900

Abstarct

Problem: 전통적인 fine-tuning이 적용된 GTPs는 NLU tasks에서 좋은 performance를 보여주지 못함
P-tuning: 학습가능한 trainable continuous prompt embedding을 도입하여, NLU tasks에서 BERT 계열 모델들에 상응하거나 이를 상회하는 성능을 이끌어냄
benchmarks: LAMA (knowlege probing) benchmar, SuperGLUE

1. Introduction

pre-trained language model(PLM)의 한계 (특히 GPT)

LM을 pre-training 하는 것은 많은 tasks를 통해 성능이 증명됨
pre-training을 통해 LM은 contextualised text representation을 학습할 뿐만 아니라, grammar, syntactic, commonsense, 그리고 world-knowledge 또한 습득할 수 있음
training objective에 따라 pre-trained model은 3가지로 구분가능
unidirectional LM for NLG (GPT), bidirectional LM for NLU (BERT), hybrid LM for combining two paradigms (XLNet)
GPT 계열의 모델들은 NLU 관련 tasks에서 뛰어난 성능을 보여주지 못해서, GPT는 NLU에 적합하지 않다는 편견이 존재함

Prompting의 한계

GPT3와 hand-crafted prompts를 이용한 few-shot learning은 GPT 모델도 NLU tasks에서 충분히 좋은 성능을 낼 수 있음을 보여줌
하지만 best performance를 낼 수 있는 prompt를 손으로 구성하고 찾는건 (impractically) 매우 힘든일이고 수많은 validation set을 필요로 함
prompt engineering은 overfitting을 초래하고 adversarial prompt를 허용함
그래서 최근 연구들은 자동으로 discrete한 형태의 prompts를 찾는데 관심이 집중돼있으나, NN 자체가ㅏ continuous한 값을 다루기 때문에 성능이 sub-optimal 하다는 한계가 있음

P-Tuning

continuous한 형태의 prompt를 찾아서 GPTs와 NLU tasks 사이의 가교 역할을 함
적은 수의 continuous free parameters를 prompt로 이용해서 pre-trained model의 input으로 넣어줌
continuous prompts는 gradient descent를 통해 optimisation 됨

Experiment

knowledge pobing: PLM의 parameter는 fixed 시킨 상태에서 hancraft prompts와 p-tuning 비교
SuperGLUE: few-shot과 full-superivsed settings에서 p-tuning과 fine-tuning 방식 비교

contributions

GPT가 NLG에만 강하고 NLU에는 취약하다는 편견을 없앰
P-tuning이 적용된 BERT 계열, GPT 계열 모델이 few-shot과 fully-supervised settings에서 모두 좋은 성능을 내는걸로 보아 pre-tuning 단계에서 예상보다 더 많은 world knowledge와 prior-task knowledge를 얻는 걸 알 수 있음

2. Motivation

GPT3와 DALLE로 인해, 거대한 모델이 만병통치약인것처럼 여겨졌지만, 그 뒤에는 challeges가 존재했음
handcrafted prompts가 모델이 downstream tasks를 잘 처리할 수 있도록 하지만, handcrafted prompts를 찾는 것은 수 많은 validation set을 요구하고 performance 또한 일관되지 않음
단순히 prompt 내 token의 위치가 하나만 바껴도 모델 결과가 너무 많이 달라짐
이러한 문제 떄문에 최근 연구들은 discrete한 형태의 prmpts를 자동으로 찾을 수 있도록하는데 초점이 맞춰져 있음
mining training corpus, gradient searching, using seperate model 등의 기법이 이용됨

3. Method: P-tuning

P-tuning은 discrete한 prompts와 유사하지만 input을 직접적으로 바꾸지 않고, pre-trained 모델의 input embedding을 미분가능한 output embedding으로 바꿈(?)

3.1. Architecture

pre-trained model을 $\mathcal{M}$ 이라고 했을 때, discrete한 tokens의 sequence로 이루어진 $\mathbf{x}_{1:n} = \{ x_0, x_1,\ldots, x_n \}$은 pre-trained embedding layer $\mathbf{e} \in \mathcal{M}$에 의해 input embedding 형태 $\{\mathbf{e}(x_0), \ldots, \mathbf{e}(x_n)\}$ 로 mapping 됨.
특정 시나리오에서 context $\mathbf{x}$에 대한 조건으로 downstream tasks를 위해 target tokens $\mathbf{y}$의 embedding 값을 사용하기도 함
e.g. pre-training: $\mathbf{x}$ = unmaksed tokens, $\mathbf{y}$ = [MASK]
e.g. sentence classification: $\mathbf{x}$ = sentence tokens, $\mathbf{y}$ = [CLS]
prompt $\mathbf{p}$의 역할은 prompt 자신과, context $\mathbf{x}$, target $\mathbf{y}$를 template $T$ 형태로 정리한 것
예를 들어 한 나라의 수도를 예측한다고 했을떄, template은 "The capital of Britain is [MASK]"가 될 것이고, "The capital of ... is ..."는 prompt, Britain은 context, [MASK]가 target이 됨.
prompt는 flexible 해서 context을 넣을 수도 있고 target에 넣을 수도 있음
$\mathcal{V}$는 vocabulary를 의미하고 $[P_i]$는 $T$ 내 ith prompt token 임
결과적으로 Template은 다음과 같은 형태가 됨 :
$$T = \{ [P_{0:i}], \mathbf{x}, [P_{i+1:m}], \mathbf{y} \}$$
$[P_i] \in \mathcal{V}$를 만족하는 discrete한 prompts의 template은 다음과 같은 형태가 됨 :
$$T = \{ \mathbf{e}([P_{0:i}]), \mathbf{e}(\mathbf{x}), \mathbf{e}([P_{i+1:m}]), \mathbf{e}(\mathbf{y}) \}$$
$[P_i]$가 pseudo tokens처럼 간주되는 P-tuning은 다음과같은 형태가 됨
$$T = \{ h_0, \ldots , h_i, \mathbf{e}(\mathbf{x}), h_{i+1}, \ldots , h_m, \mathbf{e}(\mathbf{y}) \}$$
여기서 $h_i(0<i<m)$는 학습가능한 embedding tensor이고 다음 downstream loss function $\mathcal(L)$에 의해 optimisation 됨
$$\hat{h}_{0:m} = arg \min_h \mathcal{L(M(\mathbf{x, y}))}$$

3.2. Optimisation

두 가지 optimisation challenges

Discreteness: $\mathcal{M}$의 original embedding layer $\mathbf{e}$는 pre-training을 거치면서 discrete 하게 변했는데, 그에 반해 $h$는 random distribution으로 initialisation 돼서 SGD에 의해 optimised 되는데, 이는 local minima에 빠질 가능성이 높음
Associations: prompt embedding $h_i$의 값이 서로 의존적이어야 하기 떄문에, $h_i$를 서로 연결시키는 mechanism이 필요함
Discreteness와 Association problems 모두 해결하기 위해, P-tuning에서는 매우 작은 NN으로 구성된 prompt encoder를 이용해서 $h_i$를 생성

prompt encoder

prompt encoder로 bidirectional LSTM 구조에 discreteness를 촉진시키기위해 two-layer MLP와 ReLU를 사용
real input embedding $h_i$는 다음과 같이 유도됨
$$h_i = MLP([\overrightarrow{h_i}]:[\overleftarrow{h_i}]) = MLP([LSTM(h_{0:i}):LSTM(h_{i:m})])$$
LSTM 떄문에 parameter 수가 더 추가 되지만 $\mathcal(M)$에 비하면 훨씬 작음
inference 시에는 LSTM은 무시하고 $h_i$만 사용하면 됨

anchor tokens

anchor tokens를 추가하는 것이 NLU tasks에 도움을 줌.
각각의 component를 characterise 시키는 역할을 함
e.g. RTE Task, [PRE][prompt tokens][HYP]?[prompt tokens][MASK]처럼 ?를 anchor token으로 사용할 수 있는데, 이는 [HYP]가 의문형이라는 것을 나타내고 나아가 성능에 큰 영향을 끼침

4. Experiments

4.1. knowledge probing

fact retrieval이라고도 불리며, PLM이 pre-tuning을 통해 얼마나 많은 world knowledge를 습득했는지 평가하기 위해 사용
LAMA: knowledge-base에서 뽑아낸 triples로 빈칸 맞추기 test를 하는 dataset
e.g. triple(Dante, born-in, florence) -> "Dante was born in [MASK]"

4.1.1. Datases and Formulation

Datasets

LAMA는 모든 정답을 single-token format으로 답해야함
GPT와 BERT가 커버하는 vocabularies가 다르기 때문에, 두 vocabularies의 intersection으로만 이루어진 dataset 구성
prompt searching은 prompts를 찾기위해 data가 추가로 더 필요한데, 이는 AutoPrompts에서 사용된 setting을 따라서 추가로 prompts 학습

Evaluation

LAMA는 hand-crafted prompt를 task 마다 제공
bidirectional masked LMs: [$textbf{x}$] = subject entity, [$textbf{y}$] = [MASK]
unidirectional masked LMs: TransformerXL에 사용된 LAMA의 original setting을 따름, model의 output을 target position 전에 사용
template: (3, sub, 3, obj, 3) or (3, sub, 3, obj) (3은 prompt tokens 갯수)
anchor token은 사용하지 않음

4.1.2. Results:

General performance

P-tuning의 성능이 기존의 결과를 압도하면서, parameter를 frozen된 상태로 prompt learning만으로 더 많은 knowledge를 얻을 수 있다는 것을 보여줌
discrete prompt를 찾는 AutoPrompts보다도 훨씬 더 나은 성능을 보여줌

P-tuning v.s. Fine-tuning

질문: unidirectional models과 bidirectional models에 P-tuning이 적용 됐을 때, 향상되는 성능의 정도가 비슷한가?
methods: manual prompt (MP), fine tuning (FT), MP+FT, P-tuning
P-tuning > fine-tuning based methods: catastrophic forgetting 발생
MP+FT에서 BERT에 비해 GPT는 큰 효과를 보지 못함
P-tuning은 unidirectional LMs와 좀 더 밀접한 관계를 갖고 있음
megatronLM은 아예 FT을 OOM 때문에 진행할 수 없음

4.2. SuperGLUE

8개의 NLU tasks로 실험
NLU tasks는 빈칸 채우기 문제로 재구성
fully-supervised setting
- $\mathcal{D_{train}}$과 $\mathcal{D_{dev}}$를 이용해서 hyper-parameter tuning 및 model selection을 함

few-shot setting
- SuperGLUE few-shot 버전인 FewGLUE 사용
- 각 task마다 32개의 training dataset $\mathcal{D_{train32}}$와 $\mathcal{D_{unlabelled}}$ 존재
- 사용하지 않는 training set 중에 32개를 임의로 뽑아서 $\mathcal{D_{dev32}}$ 구성 (성능에 큰 영향을 끼침)
- FT, PET FT, PET zero-shot 등 여러 methods와 함께 비교

P-tuning은 unidirectional, bidirectional 모두 적용가능하고 공정한 비교를 위해 size가 비슷한 모델끼리 비교

4.2.1. Fully-supervised Learning

BERT 계열 모델의 경우 대부분의 tasks에서 P-tuning이 MP, FT, FT+MP의 성능을 뛰어넘음
성능이 안 좋게 나온 이유는 해당 task에 사용된 data가 많아서 FT에 더 유리한 환경이었으리라 예쌍
GPT 계열 모델들도 좋은 성능을 보여줌
P-tuning은 NLU task에 대해서 unidirectional, bidirectional 성능을 모두 올려줌
P-tuning이 적용된 BERT 계열과 GPT 계열 모델들의 성능을 비교했을 떄, 오히려 GPT가 더 높은 성능을 보여 줌으로써 앞서 말한 편견을 없애는데 기여

4.2.2. Few-shot Learning

PET/iPET는 기존에 SuperGLUE에서 SotA 달성 (효율적이지만 노가다를 많이 필요로 하고 sub-optimal함)
few-shot learning은 semantics, format, grammar와는 상관관계가 뚜렷히 없음 (LM과 사람의 시각이 다름을 보여줌)
manual prompt에서의 약간의 변화도 성능에 지대한 영향을 끼침
best-performing prompt를 찾는건 불가능에 가깝고, continuous한 형태의 P-tuning이 더 우수함
공정한 비교를 위해 PET에 적용되는 data agumentation, ensemble, distilation 등을 제거하고 model selection과 hyper-parameter tuning의 영향을 없애기 위해 $\mathcal{D_{dev32}}$로 재실험
P-tuning이 모든 tasks에서 PET의 성능을 압도함

Prefix-Tuning: Optimizing Continuous Prompts for Generation (2021) 논문 리뷰

준나이 — Sun, 7 May 2023 23:06:00 +0900

Abstract

Fine-tuining
- Fine-tuining은 large pre-trained language models(LM)로 downstream tasks를 수행하기 위해 널리 사용되는 방법
- 하지만 LM의 parameters를 모두 update해야해서 각 task마다 LM의 full copy를 필요로 함

Prefix-tuning
- fine-tuning 보다 더 가벼운 대안으로 LM의 parameters는 freezing 시킨 채, prefix라고 불리는 작은 continuous task-specific vector를 최적화하는 방법
- prompting에서 영감을 받았으며, prefix는 virtual tokens 처럼 동작하며 prefix 뒤에 나오는 tokens에 영향을 줌

Experiment
- tasks: table-to-text task (GPT2), summerisation task (BART)
- results:
  - full dataset setting에서는 fine-tuning 결과와 comparable
  - low dataset setting, extrapolation에서는 fine-tuning 결과를 outperform

1.Introduction

Fine-tuning
- LMs을 downstream tasks에서 활용하기 위한 일반적인 방법
- 하지만 각 task마다 별도의 LMs 두어야해서 매우 비쌈
- e.g. GPT2(774M), GPT3(175B)

Adapter-tuning
- pre-trained LMs 내 layers 사이에 task-specific layers를 추가하는 방법
- 약 2-4%의 추가 parameters를 필요로 함

Prompting (= in-context learning)
- GPT3에 사용된 방법으로 task-specific tunning을 사용하는 대신, 자연어로된 instruction과 몇 가지 examples를 input text에 덧붙이는 방법
- 약 2-4%의 추가 parameters를 필요로 함

Prefix-tuning
- natural language generation (NLG) tasks를 위한 fine-tuning을 대체할 수 있는 비교적 가벼운 방법
- 하나의 data table의 description을 생성해내는 task를 고려할 때 (table-to-text task), input은 linearised table이 되고 output은 textual description이 됨 (e.g. input = {name: starbucks, type: coffee shop}, output = starbucks serves coffee)
- 정확히는 prefix라고 불리는 continuous task specific vectors를 input에 덧붙이는 방법
- Transformer는 prefix 이후에 오는 tokens를 위해 prefix를 virtual tokens처럼 첨조 (하지만 prompting과는 다르게 prefix는 실제 tokens로 이루어지지 않음)
- task마다 LM의 모든 parameters를 tuning 시켜 각 copy를 따로 저장해야하는 fine-tuning 과는 다르게, prefix-tuning은 prefix만 optimisation 시키면 돼서 훨씬 효율적임
- prefix-tuning은 task마다 prefix를 별도로 저장할 수 있어서 모듈화 관점에서도 더 나은 모델
- personalisation 문제에 측면에서 각 user를 task라고 생각했을 때, data cross-contamination을 막을 수 있는 등 여러 이점이 존재
- table-to-text generation task과 summerisation task를 downstream tasks로 실험 했고, 각각 GPT2와 BART가 pre-trained LM으로 사용됨
- full dataset setting에서는 fine-tuning고 필적할만한 결과를 보여줬고, low dataset setting과 extrapolation에서는 fine-tuning 보다 더 나은 성능을 보여줌

2. Replated Work

Fine-tuning for natural language generation

NLG tasks와 관련된 기존 연구들 소개
이 논문에서는 prefix-tuning에 table-to-text generation과 summerisation만 실험하지만 machine translation과 dialogue generation 같은 다양한 tasks에도 적용 가능함

Lightwiehgt fine-tuning

pre-trained model의 parameters 대부분을 freezing 시키고, 작은 trainable moudles를 추가하여 model을 update 하는 방법
key challenge: 높은 성능을 낼 수 있는 modules의 architecture 및 pre-trained model 내 parameters를 알아내는 것
removing parameters: pre-trained model 내 몇몇 weights를 masking 시켜 무력화시킴
adding parameters: task-specific layers(adapters)를 pre-trained LM의 layers 사이에 추가 (약 3.0% 추가 parameters 필요하고 이는 prefix-tuning 대비 약 30배에 해당하는 수치)

Prompting

자연어로된 instruction과 예제 몇개를 text input에 덧붙여서 output을 생성시키는 방법
GPT3는 prompt를 manually 설계하여 각기 다른 tasks 결과를 생성시키는데 사용하고, in-context learning이라고도 불림
하지만 in-context learning은 LMs이 처리할 수 있는 sequence의 길이에 제약을 받음
prompt engineering:
- topic이나 sentiment를 control 할 수 있는 keywords를 이용해 prompting하는 방법
- e.g. AutoPrompt: sentiment 내 factual knowledge를 유도할 수 있는 discrete한 형태의 sequence를 찾는 방법
- prefix-tuning은 discrete보다 더 expressive한 continous vectors를 사용

continuous vectors 예시
- input text를 continuous vector represention으로 최적화하여 pre-trained LM이 임의의 문장을 reconstruct 할 수 있는 방식이 존재 (input-specific)
- prefix-tuning은 task-specific한 방법으로 하나의 task 내 instances에 적용가능

Contorallable generation

pre-trained model을 sentence-level atrribute에 충족하도록 유도하는 방법
e.g. training time: pre-trained LM을 keyword나 URL 같은 metadata도 고려할 수 있도록 학습
e.g. decoding time: weighed decoding이나 과거의 activations를 지속적으로 udpate 시킬 수 있음
하지만 NLG 같은 tasks 적용할 수 있는 이렇다 할만한 정교한 방법이 없음

3. Problem Statement

input: a context $x$
output: a sequence of tokens $y$
table-to-text: $x$ = a linearised data table, $y$ = a textual description
summerisation: $x$ = an article, $y$ = a short summary3.1. Autoregressive LM

3.1. Autoregressive LM (GPT)

$P_{\phi}(y|x)$: Transformer-based autoregressive model parameterised by $\phi$
$z=[x;y]$: concatenation of $x$ and $y$
$\mathtt{X_{idx}}$: a sequence of $x$ indicies
$\mathtt{Y_{idx}}$: a sequence of $y$ indicies
$h_i = [h_i^{(1)}; ... ; h_i^{(n)}]$: concatenation of all activation layers at time step $i$
$$ h_i = LM_{\phi}(z_i, h_{<i})$$
autoregressive Transformer model은 $z_i$의 $h_i$와 left context에 해당하는 지난 activations을 계산
$h_i$의 마지막 layer는 다음 token을 예측하기 위해 사용
$P_{\phi}(z_{i+1}|h_{\leq i}) = softmax(W_{\phi}h_i^{(n)})$: pre-trained matrix인 $W_{\phi}$는 $h_i^{(n)}$과 mapping되어서 vocabulary의 logits을 구하게 됨

3.2. Encoder-Decoder Architecture (BART)

$x$: bidirectional encoder에 의해 인코딩 됨
$y$: decoder에 autoregressively predict 됨
이외 notations는 상동

3.3. Method: Fine-tuning

$\phi$: pretrained parameters
$p_{\phi}$: trainable LM distribution으로 다음 log-likelihood를 objective function으로 설정하여 학습
$$\max_{\phi} \log p_{\phi}(y|x) = \sum_{i\in\mathtt{Y_{idx}}} \log p_{\phi}(z_i|h_{<i})$$

4. Prefix-Tuning

conditonal generation tasks를 위해 fine-tuning을 대체할 수 있는 방법

4.1. Intuition

prompting은 모델 내부에 존재하는 parameters를 직접적으로 update 하지 않아도 모델을 원하는 방향으로 유도할 수 있다는 것을 보여줌
e.g. 특정한 toaken($Obama$)를 생성시키고 싶을 때, 같이 등장하는 collocation($Barack$)을 context로 input에 덧붙일 수 있음
prefix-tuning은 단순히 하나의 단어나 문장을 넘어서, NLG tasks를 잘 풀 수 있는 context를 찾는것
context 역할: $x$를 인코딩할 때는 무엇을 extract 할지 가이드를 해주고, $y$를 생성할 때는 next token distribution에 영향을 줌 (하지만 이러한 context가 실제로 존재하는지는 미지수)
prompting처럼 자연어로 instruction을 주는 것은 사람에게는 효과적이지만 대부분은 pre-trained model에서는 큰 효과를 보기 힘듦
data 기반으로 context를 구하는건 도움이 될 수 있지만, discrete한 경우에는 계산상에 어려움을 겪을 수 있음

4.2. Method

prefix-tuning은 $z=[prefix;x;y]$ 혹은 $z=[prefix;x;prefix';y]$ 를 pre-trained LM에 input으로 사용할 수 있도록 prefix를 붙임
$\mathtt{P_{idx}}$: a sequence of $prefix$ indicies
$|\mathtt{P_{idx}}|$: the length of $prefix$
prefix parameters를 저장하기 위해 $\theta$로 표현되는 $P_{\theta} \in \mathbb{R}^{|\mathtt{P_{idx}}| \times dim(h_i)}$를 initialisation
cost function은 3.3. 에서 언급한 log-likelihood 사용하지만, pre-trained LM의 parameters인 $\phi$은 fixed된 상태에서 $\theta$만 학습시킴

$h_i$
- $i \in \mathtt{P_{idx}}$ 일 때 $P_{\theta}[i,:]$: $P_{\theta}$의 값을 그대로 복사해옴
- $i \notin \mathtt{P_{idx}}$ 일 때 $LM_{\phi}(z_i, h_{<i})$: prefix activations이 항상 left context로 존재해서 오른쪽에 존재하는 activations에 영향을 끼치기 때문에, 이 경우에도 $h_i$는 여전에 $P_{\theta}$에 depent함

4.3. Parameterasation of $P_{\theta}$

실험적으로 $P_{\theta}$를 직접적으로 학습시키는 것은 학습을 불안정하게하고 성능을 하락 시킴
$$P_{\theta}[i,:] = MLP_{\theta}(P'_{\theta}[i,:])$$
사이즈가 더 작은 matrix $P'{\theta}$와 large feed-forward network을 이용해서 $P{\theta}$를 reparameterisation 함
$P_{\theta}$와 $P'_{\theta}$의 row 수는 동일하고 column의 dimension만 다름
traning이 완료되면, $P'{\theta}$는 제거하고 $P{\theta}$만 저장해서 사용가능

5. Experimental Setup

5.1. Datasets and Metrics

table-to-text task
- datasets: E2E, WebLNG, DART
- metrics: BLUE, METEOR, TER, ROUGE, BertScore, BLEURT etc

summarisation task
- datasets: XSUM
- metrics: ROUGE family

5.2. Methods

table-to-text task: fine-tuning, fine-tuning only the top 2 layers, and adapter-tuning
summarisation task: fine-tuning BART

5.3. Architectures and Hyperparameters

6. Main Results

6.1. Table-to-text Generation

prefix-tuning을 위해 단 0.1%의 task-specific parameters를 추가해서 fine-tuning에 상응하고 lightweight baselines 보다는 높은 성능 기록
parameter 수를 조정하여 실험한 결과, prefix-tuning이 더 Pareto efficient 함을 알 수 있음
training 시 보지 못한 categories와 domains에 대한 일반화 능력도 더 뛰어남 (extrapolation performance)
more time- and space-efficient, more epressive
scales from GPT to GPT_large

6.2. Summerisation

fine-tuning 보다는 낮은 결과 기록
논문 저자는 XSUM(summerisation task에 사용된 dataset)이 table-to-text task에 사용된 datasets가 다르기 때문이라 설명
XSUM은 4배 이상 많은 examples을 가지고 있고 text 길이 또만 약 17 배 이상 더 길면서, summerisation task 자체가 더욱 복잡한 task이기 때문

6.3. Low-data Setting

매우 적은 수의 parameters 추가만으로 fine-tuning 기록을 모두 상회 (추가되는 parameters 수를 늘리면 격차도 더 벌어짐)
qulititive evaluation에서도 더욱 신뢰할만한 결과를 보여줌

6.3. Extrapolation

두 tasks에서 모두 extrapolation에 대해 더 나은 성능을 보여줌
adatper-tuning도 좋은 performance를 보여주는 것으로 보아, LM parameter를 유지시키는 것이 extrapolation에 긍정적인 영향을 끼치는 것을 보여줌

7. Intrinsic Evaluation

7.1. Prefix Length

prefix의 길이가 길수록 어느 정도 threshold까지는 성능이 계속 증가하다가 threshold 이후 약간의 성능 하락이 존재
inference speed 측면에서는 GPU 떄문에 큰 영향을 받지 않음

7.2. Full vs Embedding-only

이 부분은 자세히 이해가 안돼서 생략

7.3. Prefixing vs Infixing

prefixing $[prefix;x;y]$이 inifixing $[x;infix;y]$ 보다 더 뛰어남
prefixing은 $x$, $y$에 모두 영향을 끼치는데 반해 infixing은 $y$에만 영향을 끼치기 때문인라 설명

7.4. Initialisation

low-data setting에서 initialisation은 더욱 중요하게 작용
ramdom initialisation의 경우 낮은 성능, 높은 분산을 기록
real words를 이용해서 initialisation 할 경우, generalisation 측면에서 더 높은 성능을 보여줌

8. Discussion

8.1. Personalisation

prefix-tuning은 task마다 독립적으로 학습을 수행 할 수 있다는 이점이 있음
이는 수 많은 사용자들에게 개인화된 정보를 제공해야하는 presonalisation 분야에 큰 장점으로 작용 (user privacy, modularity, efficiency)

8.2. Batching Acress users

다수의 user도 하나의 batch의 배치로 구성할 수 있음
sequence 앞에 위치한 prefix 부분만 따로 처리하면 Transformer layers는 동일하기 때문에 효율적인 training이 가능해짐
그에 반해 adapter-tuning은 task-specific paramters가 Transformer layers 사이에 위치하므로 불가능

8.3. Inductive Bias of Prefix-tuning

아직 open question이지만, prefix-tuning과 adapter-tuning은 pre-trained model의 parameters를 update하지 않으므로 generalisation 더 유리

9. Conclustion

fine-tuning을 좀 더 가볍게 대체할 수 있는 continuous prefix를 덧붙이는 방법인 prefix-tuning 제안
추가되는 parameters 수가 1000 배 이상 더 적음에도 불구하고, fine-tuning 모델에 full data setting에서는 상응할만한 결과를 low data setting과 explolation setting 에서는 상회하는 결과를 보여줌

AdapterHub: A Framework for Adapting Transformers (2020)

준나이 — Wed, 3 May 2023 03:16:26 +0900

Abstract

기존 fine-tuining 방식의 한계
- 현재 NLP 분야의 작업 방식은 수백만에서 수십억에 이르는 paramters를 갖고 이쓴ㄴ pre-trained model을 downloading and fine-tuning 하는 과정이 포함됨
- 이렇게 규모가 큰 모델을 저장하고 공유하는 것은 대체로 느리고, 비싸고, 그리고 많은 시간이 필요해서 project의 진전을 저해시키다

기존 adapters의 한계
- adapter: 적은 수의 parameters로 이루어진 학습된 NN
- 모델 전체를 fine-tuning 해야하는 수고로움을 덜어주지만, adapter를 공유하고 결합하는 방식은 그리 직관적이지 않음

AdapterHub
- 다양한 tasks와 languages를 위해 학습된 adapter를 동적으로 모델에 장착할 수 있게 도와주는 framework
- huggingface library 상에서 만들어져서 쉽고 빠르게 adapter를 적용할 수 있도록 도와줌
- downloading, sharing, training과 같은 과정이 단 몇 줄의 code 추가로 이뤄짐
- 이 framework은 scalable하고 쉽게 task-specific adapter를 공유 할 수 있게함
- 자원이 한정적인 상황에서 특히 유용함

1. Introduction

Transformer-based language models
- 방대한 양의 data로 pre-training 된 model로 target task에 맞게 fine-tuining 하는 과정을 거치게 됨
- e.g.
- 많은 NLP tasks에서 SotA 달성
- (현재까지 model의 발전으로 보아) performance에 model size가 큰 영향을 끼치는 것을 알 수 있음
- model size가 billions에 이르는 현재 상황에서, fine-tuning을 논외하고, 다양한 tasks를 training하거나 sharing하는 것은 엄두도 내기 힘든 일임
- 이것은 modular architecture, task composition, 그리고 large pre-trained model에 biases나 external information을 injecting 하는 것을 불가능 하게 함

Adapters
- full fine-tuining과 동등한 performance를 낼 수 있는 상대적으로 가벼운(lightweight) fine-tuning 전략
- transformer의 모든 layer에 추가된 적은 수의 weights로 이루어짐
- weights가 fine-tuining 될 떄, original model은 frozen 상태가 됨
- tasks 사이에서 효율적인 parameter sharing을 가능하게해서 많은 task에서 높은 성능을 보여줌
- 하지만 이를 재사용하고 공유하는 과정은 그리 명확하지 않음
- model을 공유할 떄는 단순히 model weights만 필요한 것이 아니라, model architecture, language, task와 같은 중요한 정보가 필요
- 다양한 목적(task, language, domain)을 가지고 학습된 모델을 손쉽게 결합할 수 있음
- intermediate task learning, composing information from many tasks, 그리고 training models for very low-resource language 같은 연구를 가능하게 함

AdapterHub
- seamless한 traning & sharing을 도와줌
- Huggingface framework 상에서 동작하므로, 기존 코드에서 단 몇 줄의 code 추가로 adapter를 pre-trained 모델과 결합 시킬 수 있음
- researchers와 practitioners로 하여금 adapter에 쉽게 접근하고 공유할 수 있게 도와줌
- 이를 위한 website 또한 제공

contributions
- adapter를 쉽게 training하고 sharing 할 수 있는 framework 제안
- huggingface와 결합하여 두 중릐 code 추가만으로 adapter를 train 시킬 수 있음
- adapter weights만 자동으로 추출하여 pre-trained 모델과는 별도로 저장 (저장공간 save 가능)
- open-source framework과 website 제공
- adapter composition과 adapter stacking out-of-box를 제공하여, 추후에 다양한 분야로 확장할 수 있게 도와줌

2. Adapters

2.1. Adapter Architecture

거대한 pre-trained 모델의 parameters ($\Theta$) 안에 작은 수의 adapter parameter ($\Phi$)가 추가된 NN module
$\Phi$가 특정한 task를 학습하는 동안 $\Theta$는 fixed 됨
pre-trained model 내부에서 (intermediate layers) task-specific representation을 encoding 하는 방법을 학습
기본적으로 task 하나당 하나의 adapter가 학습되는데, 이는 parallel하게 학습거나 각 weight를 조합 할 수 있게끔 도와줌
대부분의 adapters는 주로 pre-trained 모델 내부에서 학습 (transformer layer가 $l$ 일때, adapter layer는 $\Phi_l$)
$\Phi$의 위치나 아키텍쳐에 따라서 모델에 긍정적이거나 부정적인 결과를 초래
down- and up-projection layer와는 다르게, 모든 transformer layer에 adapter weights를 부여 할 것인지, 새로운 LayerNorm을 적용할 것인지 여부에는 literature 마다 서로 다른 이견이 존재함
AdapterHub에서는 위와 같은 니즈를 충족시키고, adapter의 표준화 및 그에 따른 확장성에 입각한 configuration file을 제공함

2.2. Why Adapter?

adapters는 scalability, modularity, 그리고 composition 측면에서 fully fine-tuned model보다 더 많은 이점을 가지고 있음

Task-Specific Layer-Wise Representation Learning

adapter는 모든 transformer layer에서 representations를 adapting 함으로써 fully fined-tuned model과 필적할만한 성능을 보여줌
이 논문에서는 1개 fully fine-tuned model과 각기 다른 구조를 가진 2개의 adapters model의 성능을 GLUE benchmark로 비교
performance 측면에서는, adapter의 구조가 큰 영향을 끼치지 않는 것을 확인

Small, Scalable, Sharable

fully fine-tuned model은 task마다 별도의 pre-trained model을 필요로 하는데, 이는 iterating & parallelising training을 저해시킴
특히 저장공간이 충분하지 않는 경우 문제가 더욱 악화됨

Small, Scalable, Sharable

fully fine-tuned model은 task마다 별도의 pre-trained model을 필요로 하는데, 이는 iterating & parallelising training을 저해시킴 (특히 저장공간이 충분하지 않는 경우 문제가 더욱 악화됨)
그에 반해 adpater는 1MB 미만의 저장공간을 추가로 필요로 하고, 99% 이상의 parameter가 학습 도중에 frozen 됨
각각의 task를 학습한 adapter는 inference 시 각자 가진 information을 공유할 수 있음
adapter가 가진 이러한 특성 덕분에 에너지 및 저장공간을 절약할 수 있고, reproductivity를 높여서 쉽게 이전 모델을 재실행하거나 평가할 수 있음

Modularity of Representations

캡슐화된 adapter architecture가 갖고 있는 강력한 호환성 (task가 다르더라도 input & output shape이 같음) 때문에 components의 모듈화가 가능해짐
e.g. adapter layer는 층층ㅊ히 쌓거나 동적으로 교체 가능
adpater는 researchers와 practitioners에게 더 많은 source를 제공하고, 효율적으로 모듈화된 방식으로 이를 결합할 수 있게 도와줌

Non-Interfering composition of Information

multi-task learning 분야에서 다른 tasks간 parameter를 share하는 것은 많은 관심을 받고 있는 중요한 영역임
하지만 multi-task learning은 2가지 큰 문제를 갖고 있음
- catastrophic forgetting: 다양한 정보가 순차적으로 모델에 주입될 때, 기학습된 정보가 사라지는 것
- catastrophic interference: 새로운 task 혹은 다른 distribution을 가진 task weight가 모델에 더해질 떄 performance가 떨어지게 되는 것

3. AdapterHub

components:
- huggingface 상에서 동작하는 library
- website: pre-trained adapters의 정보를 제공하고, 이를 편하게 filtering 할 수 있는 기능 제공

life-cycle of adapters
- ①: 새로운 adpater weights $\Phi$를 pre-trained model $\Theta$에 도입
- ②: $\Theta$를 frozen 시킨 상태에서, $\Phi$가 downstream task를 학습
- ③: 학습된 $\Phi'$를 추출하여 open-sourcing
- ④: configuration filters를 활용하여 adapters를 시각화함 (website)
- ⑤: $\Phi'$를 downloading 혹은 caching하여 $\Theta$에 장착시킴
- ⑥: trained adapter transformer model로 inference 수행

① Adapters in Transformer Layers

기존 코드에 단 코드 두줄의 추가만 필요로 함
ready-made configuration files (for well-known architectures): adapters는 동적으로 설정하여 (dynamically configurable) 다양한 구조의 architecture를 정의하는 것이 가능

② Traning Adapters

training은 full fine-tuning과 같은 방식으로 동작
새로운 weights $\Phi$가 추가된 모든 transformer layers $\Theta$에 정보가 전파됨
하지만 $\Theta$는 frozen 된 상태에서, $\Phi$와 prediction head (final output layer)만 학습됨

③ Extracting and Open-Sourcing Adapters

$\Theta$는 학습하지 않으므로 weights에 변화가 없어서, $\Phi$와 predictionn head만 checkpoints에 저장 (저장공간 save)
학습이 완료되면, adapter parameters와 adapter configuration file이 server에 upload
몇가지 test가 자동으로 수행되고, 이를 통과하면 모든 유저가 손 쉽게 접근할 수 있도록 site에 등록됨

④ Finding Pre-Trained Adapters

website(AdapterHub.ml)는 현재 이용가능한 adapters를 조망할 수 있음
사용자에게 필요한 adapters를 찾을 수 있도록 hierachical structure와 다양한 search options 제공
hierachical structure:
- 1st level: language/task
- 2nd level: dataset for higher level NLP tasks
- 3rd level: domains

⑤ Stiching-In Pre-Trained Adapters

필요한 adapters를 website에서 선택하여, configuration 및 weights를 불러옴

⑥ Inference with Adapters

fully fine-tuned model과 동일한 방식으로 inference가 이뤄짐
desingated task의 inference를 위해 추가적으로 학습이 이뤄질 수 있는데, 이때 prediction heads와 adapter weights를 함께 upload 할 수 있는 기능을 제공함
이것들은 further research로 학습된 adapter를 새로운 task에 transferring 하거나 다수의 adapters를 stacking 하거나 다양한 adapters로 부터 얻은 정보를 fusing하거나, 다른 modalities를 위한 adapters를 풍부하게 하는 방식으로 사용될 수있음

4. Conclustion and Future Work

AdapterHub: 새롭고 사용하기 간편한 framework로 쉽게 adpaters를 training하고 communitiy에 공유함으로써, 단순하고 효과적인 transfer learning을 가능케 함
Adapters: 작은 nueral modules로 거대한 pre-trained transformer models에 장착하면서, 다양한 languates와 tasks 넘나들며 transfer learning 분야를 단순화, 가속화, 그리고 촉진시키는 역할을 함
huggingface 상에서 동작하며 단 2줄의 코드만 추가하면 됨
AdapterHub는 full fine-tuning과 비교했을 때 reproductivility와 much better efficiency를 향상 및 새로운 tasks 와 새로운 models에 대한 확장성 및 접근성을 용이하게 함

K-ADAPTER: Infusing Knowledge into Pre-Trained Models with Adapters (2020)

준나이 — Tue, 2 May 2023 05:20:48 +0900

Abstract

problem: 기존에는 pre-trained model에 새로운 knowledge를 주입(inject)하기 위해 pre-trained model 자체를 fine-tuning 했는데, 각기 다른 많은 knowledge가 한번에 주입될 경우, 모델이 갖고 있던 정보가 사라지는 문제 발생

K-Adapter:
- pre-trained model의 parameters는 freeze 시킨 상태에서, versatile knowledge-infused model 개발
- 주입하려는 knowledge의 수만 큼 NN 기반의 adpater가 plug-in 처럼 존재,
- adapter 간에 공유되는 information이 존재하지 않아서, continual learning 가능

case study:
- injected knowledge
  - factual knowledge from Wikipedia and Wikidata
  - linguistic knowledge via dependency parsing
- results (experiment)
  - knowledge를 요구하는 (knowledge-driven) tasks (e.g. relation classification, entity typing, QA)
  - performance: combined adapters > each adapter > other baselines

1. Introduction

기존 language representation models 한계
- language representation models: masked language modelling (MLM)과 같은 unsupervised 방식으로 대량의 데이터를 학습한 모델 (e.g. BERT, GTP, XLNET, RoBERTa, T5)
- language representation models은 많은 downstream tasks에서 SotA를 달성
- 하지만 unsupervised 방식은 풍부한 지식(rich knowledge)를 파악하는데에는 한계가 존재
  - entity 간의 표면적인 관계는 추론 가능하지만, 실질적인 사실 정보는 파악하지 못함
  - BERT의 경우 부정(negation)의 의미를 파악하지 못함
- language representation models에 knowledge를 주입하게되는 결정적인 동기로 작용

기존 knowledge injection 연구
- Augment LM objective with knowledge-driven objectives (참고: 자세히는 모르겠는데 objective 설정이 논문의 저자가 행한 방식과는 다르다는걸 언급하는 것 같음)
- pre-trained model 내 parameters 또한 update
- 문제점 : 각기 다른 정보를 한 모델에 주입하는데 어려움이 있음
  - 기존 모델이 갖고있던 정보가 점점 사라짐
  - 모델은 모든 knowledge가 섞인 (entangled) representation을 생성하므로, 각각의 knowledge가 실제로 효과를 갖는지 파악하기 어려움

K-Adapter
- 다수의 knowledge를 large pre-trained model에 주입할 수 있는 framework
- pre-trained model은 fixed 된 상태에서, 각각의 knowledge마다 각기 다른 adapter를 두어 별도의 representation을 생성시킴
- adapter:
  - knowledge-specific model
  - pre-trained model 외부에서 plug-in 되는 형태
  - pre-trained model의 intermeidate layer의 output hidden-state를 input으로 받음
  - e.g. RoBERTa의 0, 11, 23번째 Transformer layer를 통해 생성된 vector representation
- architecture for case study:
  - RoBERTa(base pre-trained model) + factual adapter + linguistic adapter
  - 각각의 지식이 infused된 2개의 adapters를 각각 pre-training 시킴
  - adapter의 경우, trainalbe parameter 수가 훨씬 적어서 메모리 측면에서 훨씬 효율적
- experiment:
  - (knowledge-driven) knowledge를 요구하는 3가지 tasks를 6가지 dataset으로 실험

2. Related Work

지금까지 연구와는 knowledge sources와 training에 사용된 objective에서 차이를 보임
previous works + models 소개
contribution
- 두 가지 objectives를 모두 고려
  - fact-related objective (e.g. predication prediction)
  - linguistic-related objective (e.g. dependency relation prediction)
- 지식이 주입되는 과정에서 pre-trained model은 fixed 됨
- continual learning:
  - 각각의 adapter가서로 entangled 되지 않음
  - parallel하게 각각의 adapter pre-training 가능
  - 이전에 주입된 지식이 사라지거나 하는 문제에서 자유로워짐

3. K-Adapter

다수의 knowledge가 각기 다른 NN(adapter)에 주입됨
- 이는 기존 pre-trained model이 가진 정보는 유지시키고, continual learning을 가능하게 함
- 다른 지식을 갖고 있는 adapter마다 별도의 vector representation 생성
adapters
- knowledge-specific models (적은 수의 parameters를 가짐)
- pre-trained model 외부에서 동작
- pre-trained model의 intermeidate layer의 output hidden-states를 input으로 받음
- e.g. RoBERTa의 0, 11, 23번째 Transformer layer를 통해 생성된 vector representation
- pre-training 시, 각각의 adapter는 독립적으로 각기 다른 task를 pre-train함 (pre-trained model은 freezing)
- architecture for case study:
  - RoBERTa(base pre-trained model) + factual adapter + linguistic adapter

3.1. Adapter Structure

knowledge-specific adapter
- 기존 adapter는 adapter layers가 pre-trained model 내부에 존재하는데, k-adapter는 pre-trained model 외부에서 존재
- architecture
  - 각각의 k-adapter는 N개의 transformer, K개의 adapter layers, 2개의 prrojection layers를 가짐
  - 두 projection layer사이에는 skip connection 존재
  - 각각의 adapter를 위해 adapter layers가 pre-trained model의 transformer layer 에 plug 됨
- input & output
  - adapter input: pre-trained model에 있는 transformer layer의 output hidden feature와 이전 adpater의 output feature를 concat하여 adapter의 input으로 사용
  - final output (as input for downstream tasks): pre-trained model과 모든 adapter의 final hidden states를 결합하여 final output feature로 사용
pre-training: 각각의 adapter는 각기 다른 task를 독립적으로 학습
downstream task
- fine-tuning은 기존 pre-trained 모델과 유사하게 동작 (참고: Appendix에서만 자세하게 다루는데 약점이라 일부러 숨긴것 같음)
- input = concat final outputs from pre-trained model and adapters

3.2. Pre-training settings

pre-trained model: RoBERTa$_{LARGE}$ 사용 (L=24, H=1024, A=16, 355M)
adapter layer parameter 소개
pre-trained model의 0, 11, 23 번째 transformer layer가 adapter layers와 plug 됨 (RoBERTa의 L이 24개 이므로 처음, 중간, 끝에 해당하는 layer임을 알 수 있음)
adapter 간에는 별도로 parameter를 공유하지 않음
각각의 adapter는 42M parameters를 갖음 (space & time complexity가 낮음)
RoBERTa parameters는 fixed되고, adapter parameter는 랜덤하게 초기화된 후 학습됨

3.3. Facutal Adapter (facAdapter)

사실과 관련된 기본적인 정보를 갖고 있음
relation classification task를 통해 pre-training
- data: entities 간의 관계 from Wikipedia and Wikidata
- entities간의 relation classification
- input: entity paris based on its context
- facAdapter와 RoBERTa의 final hidden states를 concat하여 input으로 사용
- pooling layer 통해 각 entities의 representation을 apply
- 두 entity representations 를 concat해서 relation classification을 수행하는데 사용

3.4. Linguistic Adapter (linAdapter)

syntatic and semantic information을 갖고 있음
depency relation prediction task를 통해 pre-training
- data: dependency relationships among words (Book Corpus를 Stanford parser를 이용해서 parsing한 결과)
- 주어진 문장 내 각 token의 head index를 predict
- RoBERTa와 linAdapter의 final hidden states를 concat하여 input으로 사용
- linear layer를 각 token의 input representation에 적용하여 classification 수행

4. Experiments

3가지 task (Entity typing, QA, Relation classification)를 실험하여 결과를 공유하고 있는데 특별히 insightful한 내용은 있지 않음
ablation experiment
- facAdapter, linAdapter: 결국 2개의 adapters를 모두 갖고 있는 모델이 높은 성능을 보임
- knowledge를 pre-training 않은 K-adapter 모델과도 비교 했는데 성능이 매우 낮게 나와서 knowledge infusion의 효과를 수치로 보여줌

5. Conclusion

K-Adapter: large pre-trained models에 knowledge를 infuse 하기 위해 사용
original parameters of pre-trained models은 바뀌지 않음
continual knowledge infusion 가능
facAdapter, linAdapter를 이용하여 Entity typing, QA, Relation classification를 모두 수행 (adapter를 하나만 쓰는 경우도 성능이 좋았지만 2개 모두 쓰는 경우가 제일 좋았음)
K-Adapter가 RoBERTa 보다 더 풍부한 factual and commonsense knowledge를 파악하는 것을 알 수 있음

Appendix

C. Applying K-adapter on Downstream Tasks

pre-trained model의 representation과 adapters의 representation를 조합하는게 key
pre-trained model는 general informaion을 adapters의 representation은 specific knowledge를 제공
기존 pre-trained model은 its output feature를 task-specific layer에 feeding함
K-adapter
1) fine-tuning
2) pre-trained model과 adapters의 output features를 concat
3) task-specific layer에 feeding

E. Fine-tuining Details

fine-tuning 시에는 adapter 내에 있는 parameters는 fixed
RoBERTa 내 parameter는 huggingface checkpoint 기준으로 initialisation 후, 학습 시킴

BERT and PALs: Projected attention layers for efficient adaptation in multi-task learning (2019) 논문리뷰

준나이 — Mon, 1 May 2023 03:55:50 +0900

Abstract

Multi-task learning 시, task 간 information을 공유하는 것은 일반적인 방법이고, 이 때 필요한 parameter 수를 줄이는 것은 중요
기존에는 각 task 마다 모델을 별도로 fine-tuning 해야해서 $I$개의 task가 있으면 $I$개의 모델을 별도로 필요로 함
이 논문에서는 적은 수의 parameter를 이용해서 하나의 모델로 다양한 task를 수행할 수 있는 방식을 소개

1. Introduction

Adaptation을 위한 기존 연구

Pre-trained 모델의 모든 parameters를 share 하는 방식
하지만 input + output shape이 동일해야함

논문에서 제안하는 방식

대부분의 parameters share (generalistion performance 증가)
적은 수의 task-specific paramters 추가 (specific-task performance 증가)
기존 sota에 상응하거나 이를 상회하는 모델을 만들어보자

parameters를 share하지 않을 경우

task 마다 별도의 모델 사용 -> space complexity 증가, over head 증가
중복 연산 -> energy cost 증가
battery life가 한정적인 mobile device의 경우에는 문제가 더 심각해짐

기존 BERT fine-tuning 방식

BERT의 top(output에 근접한 부분)에 별도의 output layer를 추가하여 fine-tuning
이 때, BERT 모델 전체가 fine-tuning 되므로 task 마다 별도의 모델이 필요하게 됨
위의 방식은 시간적, 공간적 측면에서 매우 비효율적임

contribution

1) Projected Attention Layer (PAL): 적은 차원의 Multi-head attention(MHA)를 기존 BERT layer에 parallel 하게 추그
2) sceduling training: dataset 내 data가 task 별로 imbalanced 한 경우 생기는 문제를 해결하기 위해 별도의 sampling 기법 사용
3) self-attention 기반 모델에 적용도리 수 있는 다른 adaptation 기법을 empirical하게 비교

2. Background

Multi-task learning sharing approaches

1) hard parameter sharing: shared hidden layers + task-specific output layers
2) soft parameter sharing: task 마다 별도의 모델 + 모델 내 parameter 간의 distance에 regularisation 적용 (e.g. L2 norm, trace norm)
3) 이 논문에서는 hard parameter sharing 방식을 사용: adapter를 기존 shared layer에 추가하고 별도의 output layer를 사용함

2.1. Adaptation Parameters

Learning hidden unit contributions (LHUC)

각 hidden layer에 learnable scalar를 추가하여, 이를 곱한 값을 output으로 활용
매우 적은 parameters를 추가로 요구함

Residual adapter modules

computer vision 분야에서 사용하기 위해 제안됨
각 모듈은 1 x 1 filter bank와 skip connection을 갖고 있음
추가하는 방식에 따라 $in series$ (각 layer 사이에 추가) $parallel$ (input을 별도로 feeding) 방식으로 나뉨 (뒤에서도 이 두 방식을 모두 언급하는데 $in series$는 성능이 안 좋아서 빠짐)
각 task 마다 $CxC$ amtrix를 별도로 필요로 하는데 low-rank approximation을 통해 필요한 parameter 수를 줄일 수 있고, 이 논문에서도 많이 사용하게 됨 (자세한 설명은 뒤에서)

2.2. Fine-tuning Approaches

transfer learning trend

1) language modelling 하는 방식으로 모델을 pre-train 시킨 후
2) 각 task에 맞게 output layer를 붙여서 fine-tuning 하는 방식

BERT

위의 방식을 차용하는 모델로는 BERT가 대표적
pre-trained 방식
1) maksed language modelling
2) sentence classification

auto-encoding model:

predction 시 left + right direction 모두 참조 (참고: 반대로는 autu-regressive model이 있는데 RNN, GPT가 대표적)
transfomer encoder 기반 모델 (GPT는 decoder 사용)

Houlsby's approach

이 논문의 low-rank layers와 비슷한 방식의 adapter 제안
다만, adapter training 중에는 bert model은 freeze 시킴 (학습 시 연산량을 대폭 줄일 수 있음 - time complexity 감소)
하지만 이 논문에서는 위와 다르게 BERT 모델 전체를 fine-tuning
- 단점1: interference + forgetting of stored memory (interference 뒤에서 언급)
- 단점2: train 시, 하나의 batch에 모든 task example을 필요로 함
- 하지만 요구되는 parameter 수는 위 방식보다 적음 (space complexity 감소)

3. Adapting Self Attention

3.1. Model Architecture and Multi-head Attention

기존 BERT 모델 architecture 소개

input: a sequnce (tokens - hidden vectors)
output: a vector representation of that sequence
first token $[CLS]$: final state of $[CLS]$ 가 classification 혹은 regression task를 위한 vector로 사용

Multi-head attention - $MH(\vec{h})$

$n$ different dot-product attention
attention: a sequnce element with a weighted sum of the hidden states of all the seqence elements
MHA: the weights in the sum use dot-product similarity between transformed hidden states
각각의 head마다 dot-product attention을 적용한 final hidden state 산출
$n$ 개 heads를 모두 concat해서 사용

Self attention - $SA(\vec{h})$

$\vec{h}$와 $MH(\vec{h})$ (MHA 적용한 결과값)를 더한 값을 (정확히는 residual connection) layer normalisation ($LN$)시키고, 그 결과 값을 feed forward network ($FFN$)에 통과시킴
$$SA(\vec{h}) = FFN(LN(\vec{h}) + MH(\vec{h}))$$
$$FFN(\vec{h}) = W_2f(W_1)\vec{h} + b_1) + b_2$$

Bert Layer - $BL(\vec{h})$

최종적으로 다시 한번 $\vec{h}$와 $MH(\vec{h})$를 더한 값을 LN에 통과시켜 output 산출

output:

최종적으로 $[CLS]$의 final state를 사용 -> pooling layer 라고 불림 ($d x d$ linear transformation)
pooling layer에 non-linearity function 적용 후, output space로 projection

3.2. Adding Parameters to the Top

task-spcific layer를 BERT 모델 상단에 추가하는 방식
BERT 자체는 그대로 두고, TOP에 task-specific function$TS()$ 추가
$$\vec{h^f} = TS(BERT(\vec{{h_t}}^l_{t=0}))$$
$\vec{h^f}$: final hidden state for $[CLS]$
BERT layers ($from 0 to l$) 를 모두 통과하여 얻은 $[CLS]$에 $TS()$를 적용하는 방식

$BERT()$

모든 task 수행 시 동일하게 공유하므로, $n$개의 task를 진행하도 1회만 FF 시켜도됨

$TS()$

비교적 가벼움 + 여러 가지중 선택가능 -> experiment section에서 성능 비교 예정
linear transform + non-linearity function: 가장 간단 + 비교적 적은 수의 parameter가 추가로 필요
BERT layers: 각 task 마다 BERT layer 별도로 추가
$V^Dg(V^E\vec{h})$: low-rank approximation + $g()$

low-rank approximation

encoder matrix $V^E$ ($d_s x d_m$)
decoder matrix $V^D$ ($d_m x d_s$)
$d_s < d_m$: 원래는 $d_m x d_m$ 가 필요한데, $d_s$를 작게 설정하여 parameter 수를 줄일 수 있음 ($d_m$: model size)

$g()$

$MHA$: Projected Attention (a residual connection + layer-norm 은 optional)
$FFN$: one or two layer feed-forward network (followed by a residual connection + layer-norm)

3.3. Adding Parameters to the Top

BERT 모델 자체에 task-spcific layer를 추가하여, $BERT()$ function을 바꾸는 방식 (residual adapter modules에서 아이디어를 얻음)
위에서 언급한대로 추가하는 위치에 따라 $in parallel$ 방식과 $serial$로 나뉘는데 $in parallel$만 성능이 좋음 (이유는 뒤에서 설명)
$$\vec{h^{l+1}} = LN(\vec{h^l} + SA(\vec{h^l}) + TS(\vec{h^l}))$$
$$TS(\vec{h}) = V^Dg(V^E\vec{h})$$

$g()$

1) idendity function (just low-rank layer)
2) MHA
3) PAL: MHA + shared $V^D$, $V^E$ across layers (not tasks)
4) FFN + shared $V^D$, $V^E$

4. Multi-task Training and Experiment Setup

4.1. Sampling Tasks

1) round robin:

가장 간단한 방식으로 task 별로 순서를 두어 돌아가면서 공평하게 각 task를 훈련
data가 task 별로 imbalanced 한 경우, over fitting o& under fitting 문제가 생길 수 있음
각 task마다 regularisation hyper parameter를 추가하여 문제를 완화시킬 수 있음

2) propotional

dataset 내 각 task data의 비율을 이용하여 sampling
모든 task data가 균등하게 학습되는 장점이 있지만
비교적 많은 step을 학습한 하나의 task가 다른 tasks의 성능을 떨어뜨리는 interference가 발생할 수 있음

3) square root sampling or annealed sampling

위의 문제를 해결하기 위해 고안된 방법
$\alpha$ = 0.5 인경우 square root sampling
E: the total number of epochs
e: the current epoch
$$p_i \propto N_i^{\alpha}$$
$$\alpha = 1 - 0.8\frac{e-1}{E-1}$$

4.2. Setup

hyper parameters 소개
MHA 시, head의 수는 큰 영향을 끼치지 않음
pre-trained model을 이용하는게 scratch 부터 학습하는 것보다 더 높은 성능을 보여줌
BERT를 freezing 시키면서 PAL과 다른 방식들을 실험하기는 하지만, 주로 BERT 까지 fine-tuning 하는 방식을 주로 실험

4.3. Details of GLUE Tasks

GLUE 내 9가지 task 중에 Winograd NLI를 제외한 8가지 task를 사용

5. Expriments and Discussion

각각의 task 를 학습한 8개의 fine-tuned BERT와 주로 비교 (성능의 최대치라고 가정)
data의 수가 가장 적은 RTE task 에서 가장 높은 성능 향상이 있었는데, 다른 task로 부터 shared된 information을 직간접적으로 이용하기 떄문이라 추측

5.1. PALs and Alternative

low-rank layer와 PALs가 주로 가장 좋은 성능을 보임

5.2. Where should we add Adaptation Modules?

$within > top$
$every layer > final half > first half$ : 하지만 sharing operation 관점에서는 every layer가 최악의 선택임 (PALs는 task-specific layer라서 각 task 마다 매번 다른 $BERT()$를 수행해야 하므로)
$parallel > serial$: $parallel$는 작은 변화 (perturbation) 임에 비해, $serial$는 기존에 모델이 갖고있는 knowledge 자체를 바꾸기 때문이라 추측

6. Further Discussion

1) annealing method

어떻게 training examples를 scheduling 할 것인가?
data size에 대한 sampling probability가 미치는 영향을 점진적으로 감소시킴
평균적인 성능 뿐만 아니라 다른 seed에 따른 평균의 분산도 증가시킴

2) Projected Attention Layers & low-rank transformations

Projected Attention Layers: parameter 수 대비 다른 방식들에 비해 높은 성능을 보여줌
Low-rank transformations: 가장 간단한 방식임에도 불구하고 좋은 성능을 보여줌
parameter 수에 제약이 없는 경우: 기존 BERT 모델의 $top$에 BERT layer 추가하는 방식 추천
shared operation 제약 없는 경우: PALs to $every layer$ 추천
adapting only the final half of the base model을 이용하면 performance 와 sharing operation 에서 모두 이득을 볼 수 있음

matplotlib 에서 latex 쓰기

준나이 — Sat, 19 Nov 2022 05:00:08 +0900

import numpy as np
import numpy.random as rnd
import scipy.stats
import scipy.special
import matplotlib
import matplotlib.pyplot as plt

# 다음과 같이 선언
matplotlib.rcParams['text.latex.preamble']=[r"\usepackage{amsmath}"]
matplotlib.rc('text', usetex=True)

# 다음과 같이 사용
eps_std = 0.63
plotv = np.linspace(-2, 3, 500)
p_v_c_s = np.vstack([scipy.stats.norm.pdf(plotv, loc=l, scale=eps_std) for l in [0, 1]]).T
lines = plt.plot(plotv, p_v_c_s)
plt.legend(lines, ['S=0', 'S=1'])
plt.xlabel('$v$')
plt.ylabel('$p(v|s)$')
plt.title(f"Density of observing $V$ given $S$, $\sigma={eps_std}$")

출력되는 이미지

np.unravel_index() 설명 및 사용예시 정리

준나이 — Tue, 15 Nov 2022 01:06:39 +0900

Function Signature

numpy.unravel_index(indices, shape, order='C')

shape = (M, N) 으로 주어질 때, Matrix (M, N) 내 원소는 0 부터 M * N-1 까지 존재한다고 가정
indicies = index: int (or indicies: list of int)가 위치한 좌표를 나타냄

예시1 :

np.unravel_index(6, (3, 4))

shape: (3, 4) -> np.arange(12).reshape(3, 4) = 0~11 로 채워진 M = 3, N =4인 matrix

	0	1	2 (return j)	3
0	0	1	2	3
1 (return i)	4	5	6 (index)	7
2	8	9	10	11

(1, 2)

예시2 : np.argmax() 한계 극복

import numpy as np
from PIL import Image

img = ... # 원본 이미지 e.g. 풍경 사진
template = ... # 원본과 맵핑하고 싶은 템플릿 e.g. 나무 템플릿
corr_img = ... # 원본과 이미지를 cross-correlation 하여 구한 값

# corr_img 중 에서 가장 correlation 이 높은 pixel을 argmax로 구한 후, 
# 정확한 좌표값을 corr_img.shape 해서 구할 수 있음
# np. argmax() 만 사용해서는 안 됨
high_corr_y, high_corr_x = np.unravel_index(np.argmax(corr_img, None), corr_img.shape)

# high_corr_y, high_corr_x 를 이용하여 template이 실제로 잘 맵핑 됐는지 확인 수 있음
Image.fromarray(
	img[high_corr_y:high_corr_y+template.shape[0], 
    	high_corr_x:high_corr_x+template.shape[1]]
).show()

[참고]

https://numpy.org/doc/stable/reference/generated/numpy.unravel_index.html
https://stackoverflow.com/questions/48135736/what-is-an-intuitive-explanation-of-np-unravel-index

Elastic Search DSL search query 기초

준나이 — Mon, 19 Apr 2021 13:17:46 +0900

index 정보 호출

# es 내에 설치된 모든 index(=table) 정보 호출
GET _cat/indices

mapping 정보 호출

# index의 mapping(=schema) 정보 호출
GET dev_recommend_storage_cst_mart/_search

search query - match_all

# index 내 모든 documents return
GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "match_all": {}
  }
}
# GET dev_recommend_storage_prd_mart/_search 와 동일

search query - term (query vs. filter)

# score가 반환되는 일반 query
# gendr_cd가 "F" documents return
GET dev_recommend_storage_cst_mart/_search
{
  "query": {
    "term": {"gendr_cd": "F"}
  }
}

# score가 반환 안되는 filter query
# gendr_cd가 "F" documents return
GET dev_recommend_storage_cst_mart/_search
{
  "query": {
    "bool": {
      "filter": {
        "term": {"gendr_cd": "F"}
      } 
    }
  }
}

search query - terms

# score가 반환되는 일반 query
# gendr_cd가 "F", "M"인 documents return
GET dev_recommend_storage_cst_mart/_search
{
  "query": {
    "terms": {"gendr_cd": ["M", "F"]}
  }
}

search query - ids

# search query : index 내 _id값이 일치하는 document 검색 
GET dev_recommend_storage_cst_mart/_search
{
  "query": {
    "ids": {"values": "1203925"} # list로 arguments를 넘기면 복수개 검색
  }
}

search query - _source

# search query : 원하는 field("cust_no", "gendr_cd", "age5_unit_cd")만  리턴
GET dev_recommend_storage_cst_mart/_search
{
  "_source": ["cust_no", "gendr_cd", "age5_unit_cd"], 
  "query": {
    "ids": {"values": "1203925"} # list로 arguments를 넘기면 복수개 검색
  }
}

search query - compound 1 (query vs. filter)

GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "bool": {
      "must": [
        {"term": {"age_rank1": "32"}},
        {"term": {"man_prd": 0}},
        {"term": {"prop": "100%"}},
        {"range": {"num": {"gte": 50}}}
      ]
    }
  }
}

GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "bool": {
      "filter": {
        "bool": {
          "must": [
            {"term": {"age_rank1": "32"}},
            {"term": {"man_prd": 0}},
            {"term": {"prop": "100%"}},
            {"range": {"num": {"gte": 50}}}
          ]
        }
      }
    }
  }
}

# https://www.elastic.co/guide/en/elasticsearch/reference/6.8/compound-queries.html

search query - compound2 (query vs. filter)

GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "bool": {
      "must": [
          {"terms": {"age_rank1": ["32", "31"]}},
          {"range": {"num": {"gte": 50, "lt": 100}}}
        ],
        "must_not": [
          {"term": {"man_prd": 1}}
        ],
        "should": [
          {"term": {"prop": "100%"}},
          {"terms": {"age_rank2": ["32", "31"]}}
        ]
    }
  }
}

GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "bool": {
      "filter": {
        "bool": {
          "must": [
              {"terms": {"age_rank1": ["32", "31"]}},
              {"range": {"num": {"gte": 50, "lt": 100}}}
            ],
            "must_not": [
              {"term": {"man_prd": 1}}
            ],
            "should": [
              {"term": {"prop": "100%"}},
              {"terms": {"age_rank2": ["32", "31"]}}
            ]
        }  
      }
    }
  }
}

# https://www.elastic.co/guide/en/elasticsearch/reference/6.8/compound-queries.html

search query - script

# prop : %제거 → int 변환 → 0.01 곱셈 → 0.5보다 작은 경우 리턴
GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "script": {
      "script": "Integer.parseInt(doc['prop'].value.replace('%', '')) * 0.01 < 0.5"
    }
  }
}

참고 : search query - function_score

GET dev_recommend_storage_cst_mart/_search
{
  "query": {
    "function_score": {
      "query": {
        "match_all": {}
      },
      "functions": [
        {
          "gauss": {
            "avg_prc": {
              "origin": 156465,
              "scale": 2000
            }
          } 
        }  
      ]
    }
  }
}
# functions : 다수의 function을 다수의 field에 적용할 수 있음 
# function 종류 : gauss, exp, linear 등이 존재
# 각 field에 대한 score를 어떻게 종합해서 보여줄지 정할 수 있음 (min, max, avg, sum)
# https://www.elastic.co/guide/en/elasticsearch/reference/6.8/query-dsl-function-score-query.html

참고 : search query - script score

GET dev_recommend_storage_prd_mart/_search
{
  "query": {
    "function_score": {
      "query": {
        "bool": {
          "filter": {
            "bool": {
              "must": [
                {"term": {"age_rank1": "61"}},
                {"term": {"man_prd": 0}},
                {"term": {"prop": "100%"}},
                {"range": {"num": {"gte": 50}}}
              ]
            }
          }
        }
      },
      "functions": [{
          "script_score" : {
            "script" : { 
              "source": """
                if (doc['age_rank2'].value != "0" ) {
                  71 - Math.abs(Integer.parseInt(doc['age_rank2'].value) - Integer.parseInt(doc['age_rank1'].value))}
                else { 0  }"""}},
          "weight": 0.5
        },{
          "script_score" : {
            "script" : { 
              "source": """
                if (doc['age_rank3'].value != "0" ) {
                  71 - Math.abs(Integer.parseInt(doc['age_rank3'].value) - Integer.parseInt(doc['age_rank1'].value))}
                else {0}"""}},
          "weight": 0.3
        }
      ], 
      "score_mode": "sum", 
      "boost_mode":"sum"
    }
  }
}