<LK Lab, Benchmark> TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models (2022.04)

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련)

혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️

---

[KAIST, LG AI Research, Korea University]
- LM이 이전의 지식을 그대로 보유하고 있는지, 그리고 최신의 지식을 습득했는지 확인할 수 있는 벤치마크
- TWiki-Diffsets, TWiki-Probes 두 개의 셋으로 구성
- diff data에 대해 LM을 continual learning 하는 것이 perplexity 관점에서 준수하다는 결과

• 배경
  • LM의 능력을 평가하는 데이터셋은 대부분 static
  • train / test 데이터셋의 misalignment는 closed-book QA와 같은 knowledge-intensive task에서 심각한 문제를 초래
  • 최근 새로운 데이터에 대해 continual pretraining하는 기법들이 연구되었으나 이것 역시 static하다는 문제점
  • 즉, 시간이 지나면 이것 역시 outdated data가 될 것이므로 같은 문제가 반복될 것이라는 한계가 존재
• Contributions
  • 이전의 벤치마크들과 달리 현실의 dynamic changes에 대응 가능한 lifelong TemporalWiki 벤치마크를 공개
  • LM을 새로 업데이트 된 English Wikipedia의 일부분에 대해서만 학습하는 temporal language modeling이 효율적이라는 것을 입증
  • 새로운 지식을 습득하면서도 이전 지식에 대한 forgetting 이슈가 없음. 즉, stability & plasticity를 동시에 확보.
• TemporalWiki
  • Generating Trainnig Corpora from Wikipedia: Wikipedia의 연속적 snapshot 사이의 차이를 구하여 TWiki-Diffsets를 구축
    • 1) 각 Wikipedia 아티클 페이지로부터 정보를 크롤링
    • 2) Subject id를 TWiki-Diffsets와 비교
    • 3) text 내에 object로 유지
  • Generating Evaluation Datasets from Wikipedia: changed / unchanged로 구분하여 TWiki-Probes를 구축
• Baselines
  • GPT-2 Large
  • Initiall, Full, Diff, RecAdam, Mix-Review, K-Adapter, LoRA

• Limitations
  • Wikipedia와 Wikidata가 실제 현실의 지식을 정확히 반영하여 업데이트 되었음을 보장할 수 없다.
  • 업데이트 과정에서 데이터가 삭제되는 경우도 발생하는데, 이와 관련해서는 다루지 못하고 future works로 남겨두었다.

 

 

출처 : https://arxiv.org/abs/2204.14211

TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models