전체 글

데이터의 양이 적을 때 쉽게 overfit 될 수 있는 문제를 어떻게 해결해야 하는가? Data Augmentation random cropzoom뒤집기Transfer Learning 데이터가 많은 task(pre-training)한 내용을 기반으로 데이터가 별로 없는 task(fine-tuning)하기source data랑 target data가 비슷해야 함단순히 마지막 layer를 잘라내 버리고 원하는 task 하도록 붙여버림 Domain Adaptation서로 다른 Domain의 input을 넣는 데 output은 같은 domain이여서 "dual" of transfer learning그니까 domiain adversarial learning을 해야하는 데 source에서 오는 input인지, ta..

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$이것을 이해 못하면 그냥 진도가 안나간다. (내가 그럼 ㅎ)코쎄라에 좋은 강의가 있으니 한번 보면 좋을 듯 하다. https://www.coursera.org/learn/machine-learning-calculus 암튼 알았다 치고 일단 최종적인 딥러닝의 목표는 MAP이다. Posterior 를 높이는 것.그것을 위해 일단 로그를 씌워보면$logP(H|E) = log(P(E|H)) + log(P(H))$posterior = likelihood + prior 이다. 각각 optimization 과 generalization이다. 이렇게 되니까 ML(Maximum Likelihood)와 Prior로 나눌 수 있다.  자. ML 은 likeliho..

Language에 대한 deep learning 내용들을 아주 얇게 찍먹해 보겠다.NLP ( Natural Language Processing) - 자연어 처리 text 분류, 번역, 자막 자동 생성, image captioning 등등등text data를 다룰 때 문제점 문서들의 길이가 매우 다양해 structured로 만들기 어렵다. TF-IDF 사용하기 로 해결 가능one - hot encoding 으로 사용할 수 있는 데, 차원이 너무 커지고 단어들 사이의 거리를 알 수 없음word embedding 사용하자 - 더 낮은 차원으로 보내기test 때 못봤던 단어를 볼 수 도 있다.  모르면 unknown이라고 하기BOW, TF, DF, IDF, TFIDFBOW : 특정 단어가 특정 문서에 얼만큼 등..

이번에는 SimCLR와 CLIP이 무엇인지 정말 개념만 아는 정도로 알아봤다..(시험범위...ㅎ)수업 마지막 부분은 여러가지 기술을 알려주는 부분이었는데 자세히 아는 것보다는 눈이 익혀두라고 하셨다.  둘 다 self-superviesd learning으로 label 없이 embedding 했을 때 비슷하면 거리가 가깝게 나타내도록 한다.  SimCLR는 논문 A Simple Framework for Contrastive Learning of Visual Representation에서 온 말이다.논문 제목에서 알 수 있듯, Contrastive learning 을 사용한다. 그림을 보면 같은 x로부터 서로 다른 augmentation을 적용해 $\widetilde{x}_{i}$와 $\widetilde{x..

오늘은 자료구조 공부 좀 해봤다.코테 할때도 항상 어떤 자료구조가 좋을 지 생각해야 하므로좋은 공부 시간이었다! 2024.06.11 - [자료구조] - B-tree B-tree만약에 data가 외부 disk에 저장되면 어떡하지.. 한번 접근하는 데 엄청 느릴 텐데..최대한 wide 하면서도 (depth가 적을수록 좋다는 뜻) 한 disk block에 fit 할 수 있어야 함 B tree의 조건 : 임의의 k (keys)daily-programming-til.tistory.com 2024.06.12 - [자료구조] - Graph - 그래프 Graph - 그래프GraphG = (V, E)V : node/vertices의 집합E : edge/link의 집합undirected graph - 방향이 없음 (E를 ..

GraphG = (V, E)V : node/vertices의 집합E : edge/link의 집합undirected graph - 방향이 없음 (E를 집합으로 나타냄 {A, B} )N(v) - v의 주변 노드의 집합deg(v) = |N(v)| 주변 노드의 수directed graph - 방향이 있음 (E를 순서쌍으로 나타냄 (A, B) 랑 (B, A)는 다름 )u->v , u$N^{-}(v)$ v로 들어오는 노드$N^{+}(v)$ v로 나가는 노드$deg^{-}(v)$ 들어오는 노드의 수 in-degree$deg^{+}(v)$ 나가는 노드의 수 out-degreeVarious Graphssimple graphmultigraph - 두 노드를 잇는 edge가 여러 개pseudograph - multigrap..

만약에 data가 외부 disk에 저장되면 어떡하지.. 한번 접근하는 데 엄청 느릴 텐데..최대한 wide 하면서도 (depth가 적을수록 좋다는 뜻) 한 disk block에 fit 할 수 있어야 함 B tree의 조건 : 임의의 k (keys)에 대하여 - floor 한 node 수k'개의 key를 갖고 있는 non-leaf node는 k' + 1개의 children이 있다. $T_{0} node 안에는 적 어 도 $\left \lfloor k/2\right \rfloor \leq k' \leq k$모든 leaf node들이 같은 층에 있어야 함B tree의 조건 : 임의의 m ( children)에 대하여 - ceiling 한 node 수m개의 children을 갖고 있는 non-leaf node는..

오늘은 Loss function에 대해서 간단하게 정리해 보 겠 다.저번 수업 시간에 교수님께서 갑자기 OOO학생 무슨 Loss function 쓰면 될까요? 하셨는데내 이름이 불리지 않은 것에 매우 감사했다.. ㅋㅋㅋ 그런일이 다시 없도록 정리해 둬야지일단 softmax$S(y_{i}) = \frac{e^{y_{i}}}{\sum_{j}^{}{e^{y_{j}}}}$1. 회귀 (Regression) 문제:MSE(Mean Squared Error) - Ridge$ \frac{1}{N}\sum_{N}^{i}(h(x)-f(x))^2$MAE(Mean Absolute Error) - Lasso$ \frac{1}{N}\sum_{N}^{i}\left|(h(x)-f(x))\right|$2. 이진 분류 ( Binary C..