https://arxiv.org/pdf/2109.01156.pdf

last updated by soyeon kim 0506

읽게 된 배경

• odqa가 어려운건 알겠는데.. 그리고 대충 retrieval, reader 모델 둘다 중요하다는건 알겠는데.. 구체적으로 이 task가 어떤 어려움이 있는지 이해하고 싶었음

<aside> 💡 본 논문에서는 training question 과 novel test question 사이 성능 차이를 일으키는 challenges 에 대해 다룹니다. 이를 위해 3가지 경우- training set overlap, compositional generalization(comp-gen), novel-entity generalization(novel-entity) - 로 데이터셋을 나누어 분석했습니다. 결과적으로 novel entities 보다 compositional generalization 케이스를 더 어려워하며, ODQA의 어려움으로써 retrieval 이 잘 안됨으로써 발생하는 연쇄적 에러, question pattern의 frequency 그리고 entity frequency 가 있다고 말합니다.

</aside>

• in-distribution generalization에 대해서 다룹니다.
• 데이터 분석을 위해 유명한 ODQA 데이터셋에서

overlap? comp-gen? novel-entity?

질문에 사용된 단어, 질문의 구조 유형을 구분 짓는 기준

• overlap : 훈련 데이터에서 물어본 질문과 유사하게 paraphrasing
• comp-gen : 훈련 데이터에서 몇 개의 질문들 속에서 발견된 entity, facts, 질문의 구조들이지만 정확히 같은 구성으로 이루어진 질문은 없는 경우
• novel-entity: 질문에서 훈련에서 사용되지 않은 새로운 entity가 적어도 1개는 포함된 것

overlap : there exists a paraphrase of the question in the training set.

comp-gen: all individual facts and the structure of the question has been observed across several questions in the training set – but not the given composition