[ML/DL] manifold?

종종 manifold라는 단어를 ML/DL에서 접하게 된다. 이를 위키백과에 검색하면 국소적으로 유클리드 공간과 닮은 위상 공간(A manifold is a topological space that is locally Euclidean)이라고 하는데 무슨 의미인지 잘 와닿지 않는다.

대표적인 manifold 데이터인 스위스롤(swiss roll) 데이터를 살펴보도록하자.

이런 식으로 3차원 공간에 놓인 점들이 특정한 공간 형태를 따라 분포되어 있다. 이를 국소적, 즉 작은 범위로 살펴보면 이들은 평평하다고 볼 수 있다. 이는 지구를 생각하면 이해하기 쉬운데, 과거 인류는 지구가 평평하다고 생각했다. 실제로는 둥글지만 일부만 보게 되면 이는 평면으로 보인다. 따라서 고차원 공간(구형의 지구)의 subspace(평평한 지구)라고 할 수 있는 것이다.

이런 매니폴드가 어째서 중요할까?

고차원 공간상에서 나와 가까운 점이 실제로 나와 유사하지 않을 수 있다는 관점은 매니폴드로 설명할 수 있다. 다음 그림을 살펴보자.

A점과 B점은 고차원 공간 상에서 보면 비슷한 위치에 있지만 매니폴드를 고려하고 보면 멀리 있다. 즉 그런 데이터의 분포, 즉 생긴 모양을 잘 반영해서 고려한다. 의미적인 유사성을 잘 보존할 수 있다고 할 수 있다.