boostcamp AI tech/WeeklyReviews (9) 썸네일형 리스트형 Boostcamp AI - week12, 13 그동안은 모델에 대한 공부를 많이 했다. 이번주는 data를 중심으로 데이터 수집, 저장, 관리, 분석에 대해 배워본다. 앞으로의 AI에서 중요하다고 점쳐질 몇 가지 키워드를 정리해본다. - Scaling Law : 모델이 커질수록 loss도 잘 떨어지고 결국 성능이 좋아진다. - Chinchilla : 거대 LLM보다 크기는 훨씬 작은데 훨씬 더 많은 데이터로 학습했더니 성능이 GPT-3보다 좋았다. - LLaMA : Chinchilla보다 모델 크기를 훨씬 줄였다. open source데이터만으로 학습시켰는데 reasoning이나 common sense에서 훨씬 좋은 성능을 보였다. - ALBERT : 크기만 키운 Vanila Transformer가 더 좋은데? 모델보다 데이터가 더 중요한거 아니냐?.. Boostcamp AI - week9, 10, 11 BERT에 대해 다시 한번 복습하고 BERT를 활용하여 단일 문장 분류, 두 문장 간 유사도 측정, 기계 독해 문제를 풀어보는 실습을 진행했다. - STS - chatbot - NER - POS tagging 이어서 GPT에 대해서 다시 한번 복습하고 GPT를 활용하여 생성모델 실습을 수행했다. - greedy/beam search (decoding strategy) - sampling (decoding strategy) - zero show & few shot - fine-tuning & chatbot tokenizer, pre-trained model 사용에 익숙해질만큼 많은 실습으로 3주를 채운 것 같다. 마지막으로 bert이후 최신 트렌드와 다양한 최신 모델들에 대해서 간단히 공부했다. 동시에 자.. Boostcamp AI - week8 이번 주에는 MLOps와 관련된 내용을 공부했다. 쉽게 모델을 serving할 수 있는 방법과 모델 배포를 위해 사용되는 다양한 툴에 대해 간단하게 알아보았다. 모델링만 잘하는 개발자가 아니라 engineering도 잘하는 개발자가 되어야 경쟁에서 살아남을 수 있을 것 같다. 연구와 프로덕트에 적용이 동시에 일어나고 있고 그 직무에 대한 수요가 커지고 있다. research를 이해하고 implementation할 수 있는 것과 더불어 product로 만들 수 있는 역량이 필요하다. 현업에서 AI서비스가 만들어지고 배포되는 과정, AI의 저작권과 윤리, 프롬프트엔지니어링 등에 대한 특강들로 한주를 마무리 했다. linux basic command : https://jsdysw.tistory.com/435 .. Boostcamp AI - week6,7 그동안 배운 이론들을 가지고 써먹을 때가 됐다. 배운 이론들을 구현해보며 점검하고 그동안 읽어온 좋은 코드들과 얼마나 가깝게 구현을 할 수 있을까 기대되는 한 주였다. 역시 실험을 하는건 정말 괴롭다. 학습이 시작되면 두 손 모아 기도하는 것 외에 할 수 있는게 없다. 짧은 시간 내에 실험 결과들을 바탕으로 옳은 결정들을 찾아가는게 AI 연구자의 가장 중요한 스킬이 아닐까 싶다. 나는 늘 이 능력이 부족하다고 생각했었다. 이번에야말로 극복할 수 있는 좋은 기회다. 숫자에만 집착하지 말고 이 leader board 경쟁을 통해서 내가 시도해 보아야할 경험들을 다 겪었는지에 집중하자. 반드시 이 실험 지옥에 대한 트라우마를 극복하겠다. 1. project 구조화, 전 과정에 대한 이해 ✅ - dataset .. Boostcamp AI - week5 지난번에 이어서 NLP이론을 공부했다. 이번엔 Transformer에 대해 더 깊이 공부했다. 이전엔 attention에 집중했다면 이번에는 Transformer에 사용된 block들을 깊게 들여다보았다. positional encoding, layer norm, residual connection, learning rate scheduling, masked-self-attention, decoder를 살펴보았다. 작게 하나씩 쪼개 보고 여러 번 반복해서 공부하니 은근 별겨 아닌것 같다. 도 잠시... 논문 10개는 더 되는 많은 내용들을 듣고 정리하느라 머리가 또 터지는 한 주였다. GPT-1,2,3와 BERT에서 시작해서 ALBERT, ELECTRA까지, 적용된 기법들을 공부하는 중에 내가 놓치는 것.. Boostcamp AI - week4 본격적으로 NLP 공부가 시작됐다. word2vec, seq2seq, seq2seq+attention , RNN base LM 등 코드 하나하나 뜯어보며 실습을 수행하느라 머리가 터지는 줄 알았다. 한줄 한줄 완전히 이해하는 것에 집중했다. 다시 백지 위에 구현해보라고 하면 또 진땀을 흘릴 것 같다. 이번주는 과제 구현과 이해에 시간을 정말 많이 쏟았다. 조교님이 구현하신 코드를 보고 꽤나 허탈했다. 내가 작성한 5-10줄 코드가 1-3줄로 구현되어 있었다. 훨씬 깔끔하고 이해하기도 쉬웠다. 나는 언제 이 모든 걸 술술 구현할 수 있는 능력을 갖출 수 있을까? 감탄과 허탈함으로 한주를 마무리 한다. Master Session 뭘 잘 하지? 뭘 해야하지? 라는 고민에서 출발한 AI, 시각화, 인턴, 대학원.. Boostcamp AI - week3 Deep learning 기초를 다루는 한 주였다. 놀라운 기록들을 갱신했던 모델들의 역사와 구조를 살펴보면서 새로운 아이디어의 출현이 어떤 것인지 관찰할 수 있었다. 이전 모델의 단점을 어떻게 개선해서 한 걸음씩 나아갔는지를 공부하면서 감탄을 금치 못했다. Image classification 문제 말고도 semantic segmentation, object detection, generative model이 어떻게 발전해 왔는지도 살펴봤다. task가 바뀜으로써 문제를 바라보는 관점이 달라지고 그 문제를 해결하기 위해 했던 고민과 노력을 엿볼 수 있었다. 현재에 와서 우리가 사용하는 도구들과 아이디어가 (AI 발전 과정에서) 언제 어떤 문제를 해결하기 위해 등장했던 것인지 깨닫는 과정은 굉장히 인상 .. Boostcamp AI - week2 이번주는 pytorch framwork에 대해 학습했다. 인턴 기간 동안 몸으로 구르면서 터득했던 내용들이였다. 깔끔하게 한번 정리하는 기분으로 공부했다. 프로젝트 구조, pytorch, 공식문서를 읽는 습관, 라이브러리 사용 경험 등 인턴쉽을 통해 터득했던 내용이 많은 것 같다. boostcamp 강의를 들으면서 '네부캠 이후였다면 인턴쉽 동안 더 잘 할 수 있었을까?' 하는 생각이 종종 든다. 아무튼 참 좋은 강의와 과제, 사람들이다. 내가 몰랐던 많은 pytorch 기능들을 연습해보았다. 아주 신기하다. 강력한 도구들로 활용할 수 있을 것 같다. 시간이 지나서 이 도구들을 잊어버리지는 않을까 걱정이 든다. 키워드만 기록해두고 공식문서를 찾아갈 수 있도록 해야겠다. Master class 요즘은 Mi.. 이전 1 2 다음
