차원 축소에 많이 쓰이는 t-SNE(Stocahstic Neighbor Embedding)과 PCA(Principle Component Analysis)에 대해서 알아보고 비교를 해보려고 한다.t-SNEt-distributed stochastic neighbor embedding (t-SNE)란?t 분포를 활용해 고차원의 원공간에 존재하는 data xxx의 neighbor간의 distance를 최대한 보존하며 대응되는 저차원의 yyy를 학습하는 방법론 dimensionality reduction과 visualization에 많이 쓰이는 고차원 data 시각화 하는데에 인기가 많은 알고리즘 Stochastic neighbor embedding (SNE)sne에 stochastic 이 붙는 이유는 거리정보를..

서로 다른 두 histogram H1과 H2의 차이(혹은 유사도)를 측정할때 주로 쓰이는 metric은 4가지가 있다고 한다. Cross Correlationd(H1,H2)=∑I(H1(I)−H1ˉ)(H2(I)−H2ˉ)∑I(H1(I)−H1ˉ)2∑I(H2(I)−H2ˉ)2d(H_1,H_2) = \frac{\sum_I (H_1(I) - \bar) (H_2(I) - \bar)}{\sqrt{\sum_I(H_1(I) - \bar)^2 \sum_I(H_2(I) - \bar)^2}}d(H1​,H2​)=∑I​(H1​(I)−H1​ˉ​)2∑I​(H2​(I)−H2​ˉ​)2​∑I​(H1​(I)−H1​ˉ​)(H2​(I)−H2​ˉ​)​whereHkˉ=1N∑JHk(J)\bar = \frac \sum _J H_k(J)Hk​ˉ​=N1​J..

Entropy, Cross Entropy, KL Divergence, Mutual Information 몇 번을 보긴 했어도 한번도 제대로 이해를 해보려 한적이 없어서 여전히 잘 모르는 KL Divergence에 대해서 한번 정리를 해보려고 한다. 정보이론 우리가 일반적으로 해가 동쪽에서 떴다거나 겨울이 오면 춥다거나 하는 사실들은 너무도 당연하기에 큰 정보를 담고 있지 않다. 반대로 해가 서쪽에서 떴다거나 겨울에 덥다는 일이 발생하면 이는 흔치 않은 일이기에 엄청난 정보가 되어버린다. 즉, 흔한 정보일 수록 정보의 양이 적은 것이고 희귀한 정보일수록 정보의 양이 많은 것이다. Entropy 그럼 이러한 정보들을 어떻게 효율적으로 저장하거나 표현하냐? 그런 관점에서 나온 개념이 엔트로피(Entropy)이..