Boostcamp AI - week9, 10, 11

BERT에 대해 다시 한번 복습하고 BERT를 활용하여 단일 문장 분류, 두 문장 간 유사도 측정, 기계 독해 문제를 풀어보는 실습을 진행했다. - STS

- chatbot

- NER

- POS tagging

 

이어서 GPT에 대해서 다시 한번 복습하고 GPT를 활용하여 생성모델 실습을 수행했다. 

- greedy/beam search (decoding strategy)

- sampling (decoding strategy)

- zero show & few shot

- fine-tuning & chatbot

 

tokenizer, pre-trained model 사용에 익숙해질만큼 많은 실습으로 3주를 채운 것 같다.

 

마지막으로 bert이후 최신 트렌드와 다양한 최신 모델들에 대해서 간단히 공부했다.

 

동시에 자연어 처리 task 중 하나인 Relation Extraction 대회를 진행했다.

 

*Note*

- 어떤 토크나이저를 사용하냐에 따라 한국어 모델의 성능이 크게 달라질 수 있다. 목적에 어떤 tokenizer가 부합하는지도 잘 고려해봐야할 것 같다.

- 데이터셋에서 개인정보를 제거해야 하는 것은 유념하자. 모델이 [MASK]를 예측하도록 훈련할 때 지식 그래프가 확장되면서 개인정보들을 노출할 수 있기 때문이다.

- decoder only : 문맥이해, 문장 분류에 강함, fine-tuning 필요

- encoder only : 생성 task에 적합, fine-tuning없이 In-context learning 가능, 문맥 이해에 약함

- encoder-decoder : 문맥 이해 + 생성 능력을 갖춤, 무거움, fine-tuning없이도 다양한 task 적용 가능, 병렬처리 구현이 어려움

---

NLP task: Relation Extraction : https://jsdysw.tistory.com/496

BERT 복습 : https://jsdysw.tistory.com/497

GPT 1 복습 : https://jsdysw.tistory.com/484

GPT 2&3 복습 : https://jsdysw.tistory.com/485

GPT 3&latest 복습 : https://jsdysw.tistory.com/492

GPT 3&latest 2 : https://jsdysw.tistory.com/498

XLNet, RoBERTa, BART, T5, Meena : https://jsdysw.tistory.com/499

Controllable LM - Plug and Play LM(PPLM) : https://jsdysw.tistory.com/500

Multi-modal - LXMERT, ViLBERT, Dall-e : https://jsdysw.tistory.com/501

Positional Encoding : https://jsdysw.tistory.com/502