이 단어를 영어 사전에 검색하며 기상학에서 사용되는 뜻이 나온다. 하지만 영영 사전으로 검색하게 되면 다음과 같은 뜻이 나온다. Information acquired by direct observation rather than by inference. 즉, Ground Truth는 추론에 의해 제공되는 정보가 아닌 직접 관찰 및 측정에 의해 제공되는 실제 또는 사실로 알려진 정보를 의미한다. 조금 더 쉽게 설명하자면 이미지의 label 데이터를 말한다. 주로 vision 분야에서 자주 사용되는 단어로, 성능 평가와 모델의 품질에 직접적으로 영향을 미친다.

Fine-grained를 네이터 영어사전에 검색하면 '결이 고운'이라고 나온다. fine-grained classification, fine-grained context 등 딥러닝 논문들에서 쓰이는 단어들을 보면 결이 고운이라는 말로는 어떤 느낌으로 쓰인 건지 어렴풋하게 느껴질 뿐 와닿지는 않는다. 소프트웨어 공학에서 fine-grained는 coarse-grained와 비교되며 전자는 세밀하게 프로그래밍을 나누어서 고려한다는 의미이며, 후자는 큰 덩어리로 나누어서 고려한다는 의미이다. 그렇다면 딥러닝에서는 어떤 의미일까. 객체나 데이터의 세부적인 클래스 또는 속성을 구분하는 작업을 가리킨다. 객체 또는 데이터가 미세한 차이를 가지고 있는 경우, 더 세부적인 수준에서 클래스 또는 속성을 분류하고 인식하는..

머신러닝과 딥러닝을 공부하다보면 중요한 통계 개념들이 있다. 그 중 하나가 중심극한정리(Central Limit Theorem; CLT)이다. 중심 극한 정리란 무엇일까? 모집단이 평균이 $\mu$이고, 표준편차가 $\sigma $인 임의의 분포를 이룬다고 할 때, 이 모집단으로부터 추출된 표본의 크기(n)가 충분히 크다면 표본 평균들이 이루는 분포는 평균이 $\mu$이고 표준편차가 $\sigma \sqrt{n}$인 정규분포에 근접한다. 중심 극한 정리는 즉 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 이 정의는 샘플을 많이 뽑는다면 확률 분포가 가우시안으로 수렴한다고 생각할 수 있게 하는데, 실제로 이 세상 모든 사건들이 가우시안 분..

특정 사건에 대한 확률 대신 특정 구간에 속할 확률을 구함으로서 간접적으로 특정 사건의 확률에 대한 감을 잡을 수 있다. 이것을 설명하는 곡선을 확률밀도함수(Probability Density Function: PDF)이라고 한다. 특정 구간에 속할 확률이라함은 확률 변수의 분포를 의미한다. 여기서 이야기하는 구간은 일반적으로 양의 길이를 가지며, 그 구간이 무한대로 좁아지면 구간의 길이가 0에 가까워진다. 확률 밀도 함수는 주로 $f(x)$ 또는 $p(x)$로 표기한다. $x$가 확률 변수의 값일 때, $f(x)$는 $x$ 주변의 확률을 나타낸다. 위 그림은 대표적인 확률 분포 인 정규 분포의 확률 밀도 함수이다. 이 된다. 구체적으로 확률 변수가 주어진 구간 [a, b]에 속할 확률은 다음과 같이 구..

일반적으로 분류 문제에서 소수의 클래스는 다수 클래스에 비해 상대적으로 적은 샘플을 가지고 있다. 이 때문에 모델이 소수의 클래스를 정확하게 학습하기 어렵다. 이런 불균형한 데이터에서 모델의 성능을 올려보고자 제시된 방법이 대표적으로 오버 샘플링과 언더 샘플링이다. 그중 이 포스팅에서 소개할 SMOTE-NC는 오버 샘플링에서 주로 사용되는 SMOTE의 확장된 버전이다. 여기서 오버 샘플링은 불균형한 데이터셋에서 소수 클래스의 샘플을 증가시켜 균형을 맞추는 기법을 의미한다. 오버 샘플링 앞에서 이야기했듯 오버 샘플링은 소수 클래스의 샘플을 증가시켜 데이터셋의 클래스 간 균형을 조정한다. 이를 통해 모델이 소수 클래스를 더 잘 학습할 수 있다. 오버 샘플링은 소수 클래스의 샘플을 복제하거나 새로운 합성 샘플..

논문을 읽다가 모르는 용어가 나오면 찾아서 정리하는 편인데 이번에 알아볼 용어는 Ablation Study이다. Ablation Study란 머신러닝 또는 딥러닝 모델의 구성 요소의 중요성을 평가하기 위해 실험적으로 해당 요소를 제거하는 기법을 말한다. 즉, 제안한 요소가 모델에 어떠한 영향을 미치는지 확인하고 싶을 때, 이 요소를 포함한 모델과 포함하지 않은 모델을 비교하는 것이다. 이를 통해 모델의 성능에 미치는 영향을 평가하고, 모델의 구성을 더 잘 이해하고 개선하는 데 도움을 준다. 이때 구성 요소는 모델의 아키텍처가 될 수도 있고, 손실함수가 될 수도 있으며, 하이퍼 파라미터 증 다양한 것들이 가능하다. Ablation Study를 이용할 경우 다음과 같은 몇 가지 이점이 있다. Ablation..