특정 사건에 대한 확률 대신 특정 구간에 속할 확률을 구함으로서 간접적으로 특정 사건의 확률에 대한 감을 잡을 수 있다. 이것을 설명하는 곡선을 확률밀도함수(Probability Density Function: PDF)이라고 한다. 특정 구간에 속할 확률이라함은 확률 변수의 분포를 의미한다. 여기서 이야기하는 구간은 일반적으로 양의 길이를 가지며, 그 구간이 무한대로 좁아지면 구간의 길이가 0에 가까워진다. 확률 밀도 함수는 주로 $f(x)$ 또는 $p(x)$로 표기한다. $x$가 확률 변수의 값일 때, $f(x)$는 $x$ 주변의 확률을 나타낸다. 위 그림은 대표적인 확률 분포 인 정규 분포의 확률 밀도 함수이다. 이 된다. 구체적으로 확률 변수가 주어진 구간 [a, b]에 속할 확률은 다음과 같이 구..

일반적으로 분류 문제에서 소수의 클래스는 다수 클래스에 비해 상대적으로 적은 샘플을 가지고 있다. 이 때문에 모델이 소수의 클래스를 정확하게 학습하기 어렵다. 이런 불균형한 데이터에서 모델의 성능을 올려보고자 제시된 방법이 대표적으로 오버 샘플링과 언더 샘플링이다. 그중 이 포스팅에서 소개할 SMOTE-NC는 오버 샘플링에서 주로 사용되는 SMOTE의 확장된 버전이다. 여기서 오버 샘플링은 불균형한 데이터셋에서 소수 클래스의 샘플을 증가시켜 균형을 맞추는 기법을 의미한다. 오버 샘플링 앞에서 이야기했듯 오버 샘플링은 소수 클래스의 샘플을 증가시켜 데이터셋의 클래스 간 균형을 조정한다. 이를 통해 모델이 소수 클래스를 더 잘 학습할 수 있다. 오버 샘플링은 소수 클래스의 샘플을 복제하거나 새로운 합성 샘플..

논문을 읽다가 모르는 용어가 나오면 찾아서 정리하는 편인데 이번에 알아볼 용어는 Ablation Study이다. Ablation Study란 머신러닝 또는 딥러닝 모델의 구성 요소의 중요성을 평가하기 위해 실험적으로 해당 요소를 제거하는 기법을 말한다. 즉, 제안한 요소가 모델에 어떠한 영향을 미치는지 확인하고 싶을 때, 이 요소를 포함한 모델과 포함하지 않은 모델을 비교하는 것이다. 이를 통해 모델의 성능에 미치는 영향을 평가하고, 모델의 구성을 더 잘 이해하고 개선하는 데 도움을 준다. 이때 구성 요소는 모델의 아키텍처가 될 수도 있고, 손실함수가 될 수도 있으며, 하이퍼 파라미터 증 다양한 것들이 가능하다. Ablation Study를 이용할 경우 다음과 같은 몇 가지 이점이 있다. Ablation..

Few-shot prompting method는 주어진 작업에서 몇 가지 샘플만을 사용하여 학습 및 일반화하는 기법이다. 이 방법은 대규모 데이터셋이나 추가적인 레이블이 제한적인 상황에서 사용할 수 있다.Few-shot prompting은 일반적으로 LLM인 GPT (Generative Pre-trained Transformer)과 같은 모델을 기반으로 한다. 이러한 모델은 주어진 문맥에서 다음 단어를 생성하거나 예측하는 등의 작업에 사용될 수 있다.Few-shot prompting에서는 작업을 수행하기 위해 모델에 일부 입력 문장, 즉 "prompt"를 제공한다. 이 prompt에는 예시 문장이 포함되며, 모델은 이를 기반으로 일반화된 결과를 생성한다. prompt에 포함된 문장은 일부 문맥이 제공되어..

딥러닝 논문을 본다던가 공부를 하다보면 VGG, GoogleNet, ResNet등의 CNN 모델을 backborn으로 한다는 말이라던가, Transfer Learning, Fine-tuning이라는 말을 종종 보게 된다. 이 말을 이해하기 위해서는 이 용어들을 하나하나 따라가다보면 쉽게 이해할 수 있다. Transfer Learning 전이학습이라고도 불리며 한 작업에서 학습한 모델의 지식을 다른 관련 작업으로 전송하는 기술을 이야기한다. DL에서 Transfer Learning은 미리 학습된 모델의 일부 또는 전체를 가져와 새로운 작업에 적용하여 초기 가중치나 특징을 제공하는 것을 말한다. 이를 통해 새로운 작업에 대해 초기 학습에 비해 빠르고 효과적인 학습을 수행할 수 있다. 즉 위에서 말한 VGG,..

인공지능과 딥러닝에서 소수의 데이터로 학습하는 것을 다루는 분야인 Few-Shot Learning이 있다. 전통적인 머신러닝 알고리즘은 일반적으로 정확한 예측을 위해서는 많은 양의 레이블된 데이터가 필요하다. 그러나 현실 세계에서 이러한 방대한 레이블 데이터셋을 얻는 것은 무척 어려운 일이다. 이 때문에 Few-Shot Learning에서는 제한된 데이터로부터 학습하는 방법을 제시한다. Few-Shot Learning이란? Few-Shot Learning은 머신러닝 모델이 적은 수의 레이블 데이터만으로도 학습할 수 있는 능력을 말한다. 많은 데이터셋을 필요로 하는 것이 아니라, Few-Shot Learning은 몇 개의 인스턴스로부터 지식을 일반화하고 새로운 예시에 적용하는 것을 목표로 한다. 이는 인간..