KorQuAD Prediction & Evaluation

---

• author: Minseok Kim
• created: 2024-02-22
• updated: 2024-02-22

---

KorQuAD v1.0

데이터셋 구조

• KorQuAD_v1.0_train.json
  : 학습용 데이터셋
  : 총 60407개 질문-답변

• KorQuAD_v1.0_dev.json
  : 테스트용 데이터셋
  : 총 5774개 질문-답변

• prediction.json
  : 테스트용 데이터셋의 질문에 대한 모델의 대답

• evaluate-v1.0.py
  : KorQuAD_v1.0_dev.json 과 prediction.json의 서로간의 답변을 비교하여 성능을 측정하는 스크립트

• KorQuAD_v1.0 데이터셋은 Title -> Context -> Question 구조로 구성됨

테스트

1. 데이터셋 질문 추출

• KorQuAD_v1.0_dev.json 에서 모델에 입력할 질문 리스트 추출
• 기존 Title -> Context - > Question 구조에서 Question 단위로 추출함

2. Prediction

• 검증하고자하는 모델을 불러와 질문리스트의 각 질문을 입력하여 답변을 생성함
• 이때, 질문과 함께 context 정보를 활용할 수 있음

3. 결과 저장

• ID : Answer 딕셔너리 모음의 형태로 prediction.json 파일 저장

4. 성능 측정

• evaluate-v1.0.py 파일을 실행하여 f1 score 측정
• >> python evaluate-v1.0.py dev_data_path prediction_data_path