전체 글

여기는 식이 시험에 나올거 같아서 다 써봤다.VAE : Variational AutoEncoderGAN : Generative Adversarial NerworksDiffusion Model

시험공부를 했습니다.2024.06.13 - [딥러닝] - Language Deep Learning 찍먹 Language Deep Learning 찍먹Language에 대한 deep learning 내용들을 아주 얇게 찍먹해 보겠다.NLP ( Natural Language Processing) - 자연어 처리 text 분류, 번역, 자막 자동 생성, image captioning 등등등text data를 다룰 때 문제점 문서들의 길daily-programming-til.tistory.com2024.06.13 - [딥러닝] - Deep Learning 기본 내용들 (Bayes 정리, Maximum Likelihood, prior, Maximum posterior) Deep Learning 기본 내용들 (Ba..

UNLABELED DATA 세상에는 Label이 없는 데이터가 훨씬 많다. 이걸로 학습하는 게 진짜임 Self Supervised LearningImputation Tasksinput을 두 부분으로 나눠서 하나는 가리고 (hidden) 하나는 보이게 해서 hidden 부분을 예측하게 하는 것Visible 한 부분으로 hidden을 예측 할 수 있다는 inductive bias가 존재함ex) fill-in-the-blank 같은것(BERT)Proxy Tasks예를 들어 사진을 돌려서 준다음에 몇도가 돌아갔는 지 예측하도록 하는 것target을 잘 나타내는 representation을 배우는 것이 목적Contrastive TasksLearning Distance Metriceslabel이 없는 데이터 간 거..

데이터의 양이 적을 때 쉽게 overfit 될 수 있는 문제를 어떻게 해결해야 하는가? Data Augmentation random cropzoom뒤집기Transfer Learning 데이터가 많은 task(pre-training)한 내용을 기반으로 데이터가 별로 없는 task(fine-tuning)하기source data랑 target data가 비슷해야 함단순히 마지막 layer를 잘라내 버리고 원하는 task 하도록 붙여버림 Domain Adaptation서로 다른 Domain의 input을 넣는 데 output은 같은 domain이여서 "dual" of transfer learning그니까 domiain adversarial learning을 해야하는 데 source에서 오는 input인지, ta..

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$이것을 이해 못하면 그냥 진도가 안나간다. (내가 그럼 ㅎ)코쎄라에 좋은 강의가 있으니 한번 보면 좋을 듯 하다. https://www.coursera.org/learn/machine-learning-calculus 암튼 알았다 치고 일단 최종적인 딥러닝의 목표는 MAP이다. Posterior 를 높이는 것.그것을 위해 일단 로그를 씌워보면$logP(H|E) = log(P(E|H)) + log(P(H))$posterior = likelihood + prior 이다. 각각 optimization 과 generalization이다. 이렇게 되니까 ML(Maximum Likelihood)와 Prior로 나눌 수 있다.  자. ML 은 likeliho..

Language에 대한 deep learning 내용들을 아주 얇게 찍먹해 보겠다.NLP ( Natural Language Processing) - 자연어 처리 text 분류, 번역, 자막 자동 생성, image captioning 등등등text data를 다룰 때 문제점 문서들의 길이가 매우 다양해 structured로 만들기 어렵다. TF-IDF 사용하기 로 해결 가능one - hot encoding 으로 사용할 수 있는 데, 차원이 너무 커지고 단어들 사이의 거리를 알 수 없음word embedding 사용하자 - 더 낮은 차원으로 보내기test 때 못봤던 단어를 볼 수 도 있다.  모르면 unknown이라고 하기BOW, TF, DF, IDF, TFIDFBOW : 특정 단어가 특정 문서에 얼만큼 등..

이번에는 SimCLR와 CLIP이 무엇인지 정말 개념만 아는 정도로 알아봤다..(시험범위...ㅎ)수업 마지막 부분은 여러가지 기술을 알려주는 부분이었는데 자세히 아는 것보다는 눈이 익혀두라고 하셨다.  둘 다 self-superviesd learning으로 label 없이 embedding 했을 때 비슷하면 거리가 가깝게 나타내도록 한다.  SimCLR는 논문 A Simple Framework for Contrastive Learning of Visual Representation에서 온 말이다.논문 제목에서 알 수 있듯, Contrastive learning 을 사용한다. 그림을 보면 같은 x로부터 서로 다른 augmentation을 적용해 $\widetilde{x}_{i}$와 $\widetilde{x..

오늘은 자료구조 공부 좀 해봤다.코테 할때도 항상 어떤 자료구조가 좋을 지 생각해야 하므로좋은 공부 시간이었다! 2024.06.11 - [자료구조] - B-tree B-tree만약에 data가 외부 disk에 저장되면 어떡하지.. 한번 접근하는 데 엄청 느릴 텐데..최대한 wide 하면서도 (depth가 적을수록 좋다는 뜻) 한 disk block에 fit 할 수 있어야 함 B tree의 조건 : 임의의 k (keys)daily-programming-til.tistory.com 2024.06.12 - [자료구조] - Graph - 그래프 Graph - 그래프GraphG = (V, E)V : node/vertices의 집합E : edge/link의 집합undirected graph - 방향이 없음 (E를 ..