TL;DR

• Pretrained Contextualised word embedding을 Debiasing하는 방법
  • Token단위, 혹은 Sentence단위로 Debiasing
  • Discriminative gender-related bias를 효과적으로 debiasing하면서도 Semantic info는 유지
  • 이전 연구보다 효과적인 down-stream task/Fine-tune 방식의 debiasing
• 대부분의 PLM에 적용 가능
  • BERT, RoBERTa, ALBERT, DistilBERT, ELECTRA에 적용해 테스트함
  • GPT 계열에는 테스트하지 않음. Encoder 계열에만 적용함.
• Trade-off: Accurate vs Unbiased contextualised embedding model
  • Unbiasing 절차를 거칠때 성능 떨어지는 모델이 있음 (RoBERTa)
  • PLM마다 debiasing 이후 달라지는 성능의 갭이 차이가 큼(BERT는 거의 성능 안떨어짐)
• Token-level debiasing을 모든 토큰/모든 layer에 대해 적용하는 것이 가장 높은 Debiasing

Introduction

왜 contextual model?

• NLP에서 Contextual embedding이 효율 ⤴

• 하지만 non-contextual embedding에서 bias나타나는 것처럼 contextual에서도 bias 나타남

  • 그리고 이건 NLP system에서 propagate되기 때문에 이슈가 됨

    → 이런식으로 문제 제기하는 것과 관련한 논문을 하나 더 읽어볼 예정

• Static word embedding에서도 Gender, racial, religious bias가 나타남

• Static word embedding에서 Debiasing하는 방법에는..

  • Projection based methods
  • Adversarial Methods

• Contextual emb models을 debiasing하는 것은 여전이 연구가 부족함

• 하지만 contextual 모델을 debiasing하는 것이 더 어려움!

  • params 수가 많음
  • 고정되지 않은 emb vector
  • 이로 인해 단순한 projection 방법은 사용할 수 없음

• Contexual model에서 나타나는 특정 단어의 Representation은 단어 자체 외에도 Context를 통해 나타남

  • 일부 context에서는 bias아니고, 일부 context에서는 bias된 용어로 사용됨

왜 이 연구방법을 사용해야 하나?

• Debias하기 위해 모델을 다시 학습하는 것은 비용이 너무 비쌈 💲
  • 즉, 학습 데이터셋 자체를 balanced로 만들어 다시 학습하는 것은 비용이 $$$
    • ex) Gender term을 Data augumentation 통해서 balancing후 PLM 학습
  • 이를 위해 Fine-tune 방식으로 Debiasing하는 것이 현실적임

Debiasing method 성능 평가는 어떻게?