종종 manifold라는 단어를 ML/DL에서 접하게 된다. 이를 위키백과에 검색하면 국소적으로 유클리드 공간과 닮은 위상 공간(A manifold is a topological space that is locally Euclidean)이라고 하는데 무슨 의미인지 잘 와닿지 않는다. 대표적인 manifold 데이터인 스위스롤(swiss roll) 데이터를 살펴보도록하자. 이런 식으로 3차원 공간에 놓인 점들이 특정한 공간 형태를 따라 분포되어 있다. 이를 국소적, 즉 작은 범위로 살펴보면 이들은 평평하다고 볼 수 있다. 이는 지구를 생각하면 이해하기 쉬운데, 과거 인류는 지구가 평평하다고 생각했다. 실제로는 둥글지만 일부만 보게 되면 이는 평면으로 보인다. 따라서 고차원 공간(구형의 지구)의 subspa..

t-SNE(t-distributed stochastic neighbor embedding) 높은 차원의 복잡한 데이터를 2차원에 차원축소하는 방법이다. 고차원 공간에서 유사한 두 벡터가 저차원에서도 유사하도록 원공간에서 점들 간의 유사도를 보존하며 차원을 축소한다. 시각화에 주로 사용하며 대표적으로 워드 임베딩을 시각화할 때 사용된다. 이전에 소개한 PCA, LDA와 달리 비선형적인 차원 축소 방법이다. t-SNE에 대해 자세히 알아보기 위해 먼저 이름의 뜻부터 살펴보도록하자. t-distributed: t-분포를 따른다. stochastic: 반복 프로세스에서 무작위로 선정 neighbor: 관심 있는 데이터 지점 근처에 위치하는 데이터 지점 embedding: 임베딩. 고차원에서 저차원으로 만든다. ..

Curse of dimensionality(차원의 저주) 일반적으로 차원이 증가할 수록 데이터 포인트 간의 거리가 기하급수적으로 멀어진다. 즉, 희소한 구조(sparse)를 가지게 되고 공간의 성김이 생기게 된다. 위 그림에서 볼 수 있다시피 1차원에서 보이는 점들의 거리가 차원이 늘어날수록 멀어지는 모습을 볼 수 있다. 이런 현상이 일어나게 될 경우, 위와 같은 데이터로 학습 시켰을 때 예측 정확도가 떨어지는 현상이 나타난다. 이런 현상은 거리기반의 모델인 KNN에서 특히 치명적이다. Dimensionality Reduction(차원 축소) 고차원, 즉 데이터의 피처가 많으면 차원의 저주 뿐만 아니라 개별 피처 간에 상관관계가 높기 때문에 선형 모델(대표적으로 linear regression)에서 다중..

데이터 과학은 SVD에서 선형대수학과 연결된다. - 딥러닝을 위한 선형대수학, 길버트 스트랭 저 이전 포스팅에서 고유값 분해에 대해 알아보았다. 하지만 우리가 대부분 다루게 될 행렬은 정사각행렬이 아닌 경우가 많을 것이다. 그렇다면 어떻게 해야할까? 특이값 분해(SVD, Singular Value Decomposition) 정사각 행렬을 대상으로 하는 고유값 분해를 mXn 행렬로 일반화한 것을 특이값 분해라고 한다. 수식으로는 $$A = U\Sigma V^T$$ 으로 표현한다. 특이값 분해는 행렬의 차원 축소를 위한 도구로 주로 사용하며, 최소제곱(least squares)에서 최적의 $\hat{a}$ 를 찾고, PCA에서 주성분인 $v_1$를 계산하는 것은 데이터 fitting의 대수적 문제이다. 행렬..

고유벡터(eigenvector), 고유값(eigenvalue) 고유벡터: 행렬 A를 선형변환으로 봤을 때, 선형변환 A에 의한 변환 결과가 자기 자신의 상수배가 되는 0이 아닌 벡터 고유값: 위에서 말한 상수배 값 선형변환(linear transformation) 선형 결합을 보존하는, 두 벡터 공간 사이의 함수. 즉 한 점을 한 벡터공간에서 다른 벡터공간으로 이동시키는데 그 이동 규칙을 이야기한다. 즉, n x n 정방행렬 A에 대해 Av = λv를 만족하는 0이 아닌 열벡터 v를 고유벡터, 상수 λ를 고유값이라 정의한다. 정방행렬(square matrix) 같은 수의 행과 열을 가지는 행렬 어떤 행렬은 고유값-고유벡터가 아예 존재하지 않을 수도 있고 어떤 행렬은 하나만 존재하거나 또는 최대 n개까지 ..

이 포스트는 고려대학교 강필성 교수님의 강의 내용과, 따로 학습한 내용을 정리를 한 것입니다. Motivation Compute the novelty score of an instance by considering local density around it. 객체의 지역적인 밀집도를 고려해 이상치 점수를 계산하고 판단하자. 그저 거리만 고려해 이상치를 판별 하게 된다면 회색 점에 대해서는 이상치라고 판별하지만, 빨간 점에 대해서는 이상치로 판별하기 어렵다. 즉 특정 집단에서는 매우 가까운 거리가, 다른 집단에서는 매우 먼 거리일 수 있으니 객체의 지역적인 밀집도를 고려해 이상치 점수를 계산하자. LoF에서의 이상치 Defination 1: Hawkins-Outlier An outlier is an obs..