Boostcamp AI - week2

이번주는 pytorch framwork에 대해 학습했다.

인턴 기간 동안 몸으로 구르면서 터득했던 내용들이였다. 깔끔하게 한번 정리하는 기분으로 공부했다.

프로젝트 구조, pytorch, 공식문서를 읽는 습관, 라이브러리 사용 경험 등 인턴쉽을 통해 터득했던 내용이 많은 것 같다.

boostcamp 강의를 들으면서 '네부캠 이후였다면 인턴쉽 동안 더 잘 할 수 있었을까?' 하는 생각이 종종 든다.

아무튼 참 좋은 강의와 과제, 사람들이다.

 

내가 몰랐던 많은 pytorch 기능들을 연습해보았다. 아주 신기하다. 강력한 도구들로 활용할 수 있을 것 같다.

시간이 지나서 이 도구들을 잊어버리지는 않을까 걱정이 든다. 키워드만 기록해두고 공식문서를 찾아갈 수 있도록 해야겠다.

 

Master class

요즘은 Midjourney, chat gpt, bard 같은 모델들이 '성능을 올리는 게임'들을 다 끝내버린 것 같다.

모델을 만드는 일이 더 이상 필요 없어질 것 같은 세상이 오고 있는 것이다. (모델을 잘 가져다 쓰면 되지 않겠나)

 

gpt는 문장을 잘 만드는 수준을 넘어서 진위 여부도 판별하기 시작하고 이제는 search까지 가능하게 진화했다.

이런 모델들의 파라미터 수가 엄청나게 커지는 바람에 더욱 더 모델을 만드는 경쟁이 사그라들지는 않을까 싶다.

GPT 모델을 서빙하기 위해 openAI가 gpu 임대 비용만 조단위로 쓰고 있다고 추정된다. 

이제 모델을 만드는 일은 아무나 할 수 없는 일이 되었고 대학은 할 수 있는게 점점 없어지는 것 같다.

 

본격적으로 AI 산업 경쟁 불꽃이 이제는 비메모리 chip 설계 능력 경쟁으로 옮겨간 것 같다.

기업들의 사업 구상 방식도 바뀌고 있다. 이전에는 모델을 만들고 서비스를 구상했지만 이제는 서비스를 구상하고 chat gpt를 가져오는 방식으로 변하고 있다. LLM, 프롬프트 엔지니어링의 중요성이 커지기 시작했다.

AI가 이제는 업무도 대체하고 심지어는 ai랑 사귀는 일을 가능하게 할 서비스 출시도 기대되고 있다.

 

그럼 나는, 우리는 어떻게 살아남아야 할 것인가..? Fundamental에 집중하자.

---

Do run Do run

오늘은 카일스쿨의 카일님의 특강이 있었다.

커리어는 어떻게 형성되는가? 이런 생각이 들었다.

 

어릴땐 커서 뭐가 될지 정말 궁금했다.

어쩌다보니 컴퓨터 공학을 선택했고 많이 헤매다 컴퓨터공학으로 돌아왔다.

여러 분야를 공부하는 과정에서 매력과 동시에 벽을 느끼기도 했다.

짧게는 하루 길게는 일주일, 한달 이 굴레의 반복을 얼마나 많이 겪었는지 모르겠다.

지금은 AI를 공부하고 있다. 즐겁게 몰입하고 있다. 역시 동시에 많은 걱정들도 달고 산다.

 

꿈은 어느날 갑자기 별똥별처럼 반짝하고 나타나지 않는다. 

수능에 몰입했던 학창시절,

재수하면서 인생을 통달한 애어른이 되보기도 하고,

세상에 즐거운게 너무 많았던 대학교 1,2학년,

음료회사의 마케팅 팀에서 근무했던 경험,

지구가 나만 빼고 도는 것 같았던 군 생활(지금 생각해보면 진짜 꿀잼이였다),

컴퓨터공학에 푹 빠져있었던 3,4학년,

꿈 같았던 미국 실리콘밸리에서의 인턴쉽,

그리고 지금 네이버 부스트 캠프 ai,

 

나에게 이 화려했던 시간들보다 더 빛나는 순간이 다시 찾아올까? 자주 이 지난 추억들 속에 살면서도 두렵다.

아직도 나에게 꿈이란 뿌연 안개 속에 희미하게 빛나는 불빛이다.

어디 있는지, 뭔지는 모르는데 쫓아올 수 있게끔 방향만큼은 알려주는 그런 불빛.

지금 눈 앞에 보이는 곳으로 한 발짝 내딛는게 꿈으로 가까워지는 길인 것 같다. 

본능적으로 내가 옳은 길을 찾아가고 있음을 믿자.

---

Mentoring Session

논문 리뷰 중점 사항

1. 어떤 문제를 푸는가?

2. 과거에는 그 문제를 어떻게 풀었는가? (장, 단점은?)

3. 이 논문은 그 과거 해결책의 어떤 문제를 해결하는가?

4. 이 연구의 motivation

5. 이 연구가 제안하는 기법

6. 이 연구가 제안하는 기법의 eval metric

7. 이 연구가 제안하는 기법이 잘 되는 이유?

8. 이 연구가 제안하는 기법의 한계, 더 시도해볼만 할 것

---

- pytorch basics : https://jsdysw.tistory.com/457

- pytorch project (backward, dataloader, train) : https://jsdysw.tistory.com/458

- save, load models & Transfer learning : https://jsdysw.tistory.com/459

- monitoring tools : https://jsdysw.tistory.com/460

- gpu-training, hyper parameter search, etc : https://jsdysw.tistory.com/461