딥러닝 논문을 본다던가 공부를 하다보면 VGG, GoogleNet, ResNet등의 CNN 모델을 backborn으로 한다는 말이라던가, Transfer Learning, Fine-tuning이라는 말을 종종 보게 된다. 이 말을 이해하기 위해서는 이 용어들을 하나하나 따라가다보면 쉽게 이해할 수 있다. Transfer Learning 전이학습이라고도 불리며 한 작업에서 학습한 모델의 지식을 다른 관련 작업으로 전송하는 기술을 이야기한다. DL에서 Transfer Learning은 미리 학습된 모델의 일부 또는 전체를 가져와 새로운 작업에 적용하여 초기 가중치나 특징을 제공하는 것을 말한다. 이를 통해 새로운 작업에 대해 초기 학습에 비해 빠르고 효과적인 학습을 수행할 수 있다. 즉 위에서 말한 VGG,..

인공지능과 딥러닝에서 소수의 데이터로 학습하는 것을 다루는 분야인 Few-Shot Learning이 있다. 전통적인 머신러닝 알고리즘은 일반적으로 정확한 예측을 위해서는 많은 양의 레이블된 데이터가 필요하다. 그러나 현실 세계에서 이러한 방대한 레이블 데이터셋을 얻는 것은 무척 어려운 일이다. 이 때문에 Few-Shot Learning에서는 제한된 데이터로부터 학습하는 방법을 제시한다. Few-Shot Learning이란? Few-Shot Learning은 머신러닝 모델이 적은 수의 레이블 데이터만으로도 학습할 수 있는 능력을 말한다. 많은 데이터셋을 필요로 하는 것이 아니라, Few-Shot Learning은 몇 개의 인스턴스로부터 지식을 일반화하고 새로운 예시에 적용하는 것을 목표로 한다. 이는 인간..

representation learning은 최근 딥러닝 관련 논문들을 보다보면 쉽게 접할 수 있는 표현이다. 데이터로부터 의미 있는 표현(Representation)을 자동으로 학습하는 과정을 의미하는데, 데이터의 특징이나 패턴을 포착하고 추상화하여 보다 의미 있는 방식으로 표현하는 것을 목표로 한다. 기본적으로 표현이란 데이터의 특징, 속성, 구조 등을 나타내는 방법을 말한다. 예를 들어, 이미지에서 얼굴을 인식하는 작업(face recognition)을 수행한다면, 여기서 representation learning은 얼굴의 특징을 잘 표현하는 방법을 학습하는 것이다. 이렇게 학습된 표현은 특정 작업에 유용하게 활용될 수 있다. 이 방법은 전통적인 방법에 비해 데이터에서 자동으로 학습된 특징을 사용하..

skip connection이란 하나의 레이어의 output을 몇몇 layer를 건너 뛰고 input에 추가하는 것을 의미한다. 이런 구조가 제안된 이유는 신경망의 층이 깊어질 수록 나타나는 문제 때문이다. 신경망 모델의 층이 깊어지면 학습효과가 상승하지만 동시에 Vanishing Gradient 문제와 Exploding Gradient 문제가 발생한다. 갈 수록 이전 층의 정보를 잃기 때문에 일어나는데 이를 방지하기 위해 이전 층의 정보를 이후 레이어에 연결해준다.skip connection이 있는 블럭을 Residual block이라고 한다. skip connection을 이용한 대표적인 모델에는 Resnet이 있다. Autogluon(아마존에서 만든 autoML 라이브러리)에서 다층 스태킹 앙상블 ..

ML/DL 논문을 읽거나 공부를 하다보면 end-to-end라는 단어가 자주 보인다. Pose Invariant Model (PIM) jointly performed face frontalization and learned pose invariant representations end-to-end to allow them to mutually boost each other, and further introduced unsupervised cross-domain adversarial training and a learning to learn strategy to provide high-fidelity frontal reference face images. /Wang, Mei, and Weihong Deng..

파이토치에서 텐서는 넘파이의 ndarray를 조작하는 것과 유사하게 동작한다. 텐서 생성 및 변환 import torch torch.tensor([[1., -1], [1.,-1]]) # 2차원 텐서 생성 torch.tensor([[1., -1], [1.,-1]], device = "cuda:0") # GPU에 텐서 생성 torch.tensor([[1., -1], [1.,-1]], dtype=torch.int32) # dtype을 이용해 텐서 생성 실행 결과 tensor([[ 1., -1.], [ 1., -1.]]) tensor([[ 1., -1.], [ 1., -1.]], device='cuda:0') tensor([[ 1, -1], [ 1, -1]], dtype=torch.int32) 첫번째는 그냥 텐..