1. 딥러닝 기본 용어 설명

어떤 것이 좋은 deep learner인가?

1. 구현 skills

2. 수학 skills

3. 최근 논문을 아는 것

 

 Aritificial Inteligense의 정의

사람의 지능을 모방한다.

Machine Learning 안에 Deep Learning (NN로 학습하는 과정)

 

딥러닝의 네 가지 키 요소

1. 모델을 학습시킬 데이터

2. 학습하고자 하는 모델

3. 모델의 error를 측정하는 loss function

4. loss function을 최소화하는 알고리즘

 

논문을 볼 때 위 사항을 유의 깊게 보면 조금 더 쉽게 이해할 수 있다.

 

data

데이터는 풀고자 하는 문제에 의존하고 있다.

 

예) 이미지

강아지와 고양이를 분류하고자 할 때는 이미지가 필요하다. (classification)

이미지가 주어졌을 때 각 픽셀 별로 어떤 클래스에 속하는지 분류하는 것. (Segmantic Segmentation)

이미지안에 어떤 물체가 있을 때 물체를 감싸는 바운딩 박스를 찾고 싶다. (Detection)

이미지안의 사람의 3차원 혹은 2차원의 스켈레톤 정보를 알아내는 것 (Pose Estimation)

이미지안의 대상에 대한 질문을 던졌을 때 답을 구하는 것 (Visual QnA)

 

Model에 따라 결과가 달라짐. 그 결과를 잘 내기 위해 테크닉이 들어가게 됨.

Loss function

회귀 문제를 풀 때는 MSE를 최소화.

분류 문제를 풀 때는 Cross Entrophy를 최소화.

확률론적 선택과제(Probabilistic Task) 긍정적인 결과와 부정적인 결과로 배우는 경향을 평가. MLE 최소화.

 

이 Loss를 줄이는 것이 꼭 모델의 성능을 보장하지는 않음. 즉 꼭 해당 문제를 풀 때 해당 Loss Function을 사용해야하는 것은 아님. 

이 loss를 줄이는 것이 어떻게 문제를 해결하는 지 이해하는 것이 중요.

 

알고리즘 최적화

여러 최적화 기법의 원리를 이해하는 것 중요.

학습하지 않은 데이터에서의 성능을 높이기 위해 사용하는 기법

 

Historical Review

 

어떤 방법론이 큰 임팩트가 있었는지! 훗날 다시 자세하게 다룸.

딥러닝에서 가장 중요한 아이디어들을 살펴보자.

2012 - AlexNet (CNN) : 딥러닝을 이용해서 대회에서 처음으로 1등을 하게 됨. - 패러다임 쉬프트

2013 - DQN : 딥마인드 알파고를 만든 알고리즘. 강화학습. 알파폴드2

2014 - Encoder / Decoder : 단어의 연속이 주어졌을 때 우리가 원하는 단어의 형태로 바꾸어줌. - 기계어 번역 발전

2014 - Adam Optimizer : 왜 이 최적화 기법을 사용하는 지 이유는 없음. 왠만하면 잘된다

2015 - GAN (Generative Adverasarial Network) : 이미지나 텍스트를 만듬

2015 - ResNet : 왜 딥러닝이냐. 네트워크를 일정 깊이 이상 쌓으면 test data에 대한 성능이 나오지 않았었음. 이것이 나오고 깊게 쌓는 것이 가능해졌음. (백단위)

2016 - Transformer : attention의 구조를 이해하는 것이 굉장히 중요하다. 많은 모델을 현재까지 대체해버림.

2018 - BERT : fine-tuned NLP models이 중요. NLP는 주어진 단어가 있을 때 다음 단어를 예측하는 것. 굉장히 큰 말뭉치를 이용해 pretrain함.

2019 - Big Language Models (GPT-X) : pre train 된 NLP 모델의 끝판왕. 여러가지 모델을 만들 수 있음. 

2020 - Self Supervised Learning - 방법론. 이미지를 컴퓨터가 잘 이해할 수 있게 vector화 lable된 데이터를 학습시키고 lable이 없는 데이터도 가져와 unsupervised Learning을 함. 이 후 굉장히 다양한 방법론이 등장하게 됨.

시뮬레이터로 데이터셋을 만들어내는 방법론도 있음.