딥러닝

여기는 식이 시험에 나올거 같아서 다 써봤다.VAE : Variational AutoEncoderGAN : Generative Adversarial NerworksDiffusion Model

UNLABELED DATA 세상에는 Label이 없는 데이터가 훨씬 많다. 이걸로 학습하는 게 진짜임 Self Supervised LearningImputation Tasksinput을 두 부분으로 나눠서 하나는 가리고 (hidden) 하나는 보이게 해서 hidden 부분을 예측하게 하는 것Visible 한 부분으로 hidden을 예측 할 수 있다는 inductive bias가 존재함ex) fill-in-the-blank 같은것(BERT)Proxy Tasks예를 들어 사진을 돌려서 준다음에 몇도가 돌아갔는 지 예측하도록 하는 것target을 잘 나타내는 representation을 배우는 것이 목적Contrastive TasksLearning Distance Metriceslabel이 없는 데이터 간 거..

데이터의 양이 적을 때 쉽게 overfit 될 수 있는 문제를 어떻게 해결해야 하는가? Data Augmentation random cropzoom뒤집기Transfer Learning 데이터가 많은 task(pre-training)한 내용을 기반으로 데이터가 별로 없는 task(fine-tuning)하기source data랑 target data가 비슷해야 함단순히 마지막 layer를 잘라내 버리고 원하는 task 하도록 붙여버림 Domain Adaptation서로 다른 Domain의 input을 넣는 데 output은 같은 domain이여서 "dual" of transfer learning그니까 domiain adversarial learning을 해야하는 데 source에서 오는 input인지, ta..

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$이것을 이해 못하면 그냥 진도가 안나간다. (내가 그럼 ㅎ)코쎄라에 좋은 강의가 있으니 한번 보면 좋을 듯 하다. https://www.coursera.org/learn/machine-learning-calculus 암튼 알았다 치고 일단 최종적인 딥러닝의 목표는 MAP이다. Posterior 를 높이는 것.그것을 위해 일단 로그를 씌워보면$logP(H|E) = log(P(E|H)) + log(P(H))$posterior = likelihood + prior 이다. 각각 optimization 과 generalization이다. 이렇게 되니까 ML(Maximum Likelihood)와 Prior로 나눌 수 있다.  자. ML 은 likeliho..

Language에 대한 deep learning 내용들을 아주 얇게 찍먹해 보겠다.NLP ( Natural Language Processing) - 자연어 처리 text 분류, 번역, 자막 자동 생성, image captioning 등등등text data를 다룰 때 문제점 문서들의 길이가 매우 다양해 structured로 만들기 어렵다. TF-IDF 사용하기 로 해결 가능one - hot encoding 으로 사용할 수 있는 데, 차원이 너무 커지고 단어들 사이의 거리를 알 수 없음word embedding 사용하자 - 더 낮은 차원으로 보내기test 때 못봤던 단어를 볼 수 도 있다.  모르면 unknown이라고 하기BOW, TF, DF, IDF, TFIDFBOW : 특정 단어가 특정 문서에 얼만큼 등..

모든 정보와 슬라이드는 "MIT 6.S191 (2023): Convolutional Neural Networks"을 참고했다.MIT 6.S191 (2023): Convolutional Neural Networks"To know what is where by looking"What Computers "See"📌 Images are NumbersTasks in Computer Vision : Computer Vision 이 하고자 하는 일Regression : output variable이 continous value Classification : output variable 이 class label. 특정 class에 속할 확률을 알아냄 High Level Feature Detection: 각 image..

모든 정보와 슬라이드는 "MIT 6.S191 (2023): Recurrent Neural Networks, Transformers, and Attention"을 참고했다.MIT 6.S191 (2023): Recurrent Neural Networks, Transformers, and Attention RNN의 limitation을 복습하면Encoding bottleneck(모든 정보가 maintain 되었는지 보장하기 어려움)Slow, no parallelizationNot long memory (엄청 큰 sequnce data는 다루지 못함...였다. 이것을 해결하기 위해 생각해 볼 수 있는 방법들이 있는데,Feature vector를 하나로 만들어서 한꺼번에 처리하는 방법을 생각해 볼 수 있지만 순서..

모든 정보와 슬라이드는 "MIT 6.S191 (2023): Recurrent Neural Networks, Transformers, and Attention"을 참고했다.MIT 6.S191 (2023): Recurrent Neural Networks, Transformers, and AttentionSequence Modeling 앞으로 나오는 ML을 잘 이해하기 위해 해당 그림을 잘 아는 것이 중요할 것 같다. 단순히 1대1 input output이 아니라 이제부터는 sequence to 1, 1 to sequence, sequence to sequence 형식이 나올 것이다. 그렇다면 single ➡️ single 에서 sequence ➡️ sequence 를 하는 방법은 single을 복사해서 여러..