Boostcamp AI - week14, 15, 16

이번주는 MRC(기계독해)와 QA(질의응답) 분야에 대해 공부하고 리더보드 대회에 참가했다.

ODQA를 구성하는 reader/retriever 개별 모델들에 대한 정확도를 향상과 evaluation을 구현했다.

tf-idf를 활용한 sparse embedding 기반 retriever와 dense embedding 모델을 기반 retriever를 구현했다.

reader모델의 answer 탐지 능력을 보완하기 위해 증강한 데이터셋으로 fine-tuning을 수행했다.

end-to-end MRC evaluation을 수행했다.

---

과연 cls 토큰이 문장 전체를 대표할까? input에 대한 representation을 추출한 후 pooling layer (avg or max)를 수행하는 것이 더 나을 수도 있다. 내가 처한 상황에 맞도록 확인해볼 필요가 있다. 

---

Intro to MRC(Machine Reading Comprehension) : https://jsdysw.tistory.com/513

Extraction-based MRC : https://jsdysw.tistory.com/514

Generation-based MRC : https://jsdysw.tistory.com/515

Passage Retrieval - Sparse Embedding, TF-IDF : https://jsdysw.tistory.com/516

Passage Retrieval - Dense Embedding : https://jsdysw.tistory.com/517

Passage Retrieval - Scaling up, FAISS : https://jsdysw.tistory.com/518

Closed Book Question Answering : https://jsdysw.tistory.com/519