우리는 넷플릭스의 알고리즘보다 친한 친구가 그 영화 재밌더라하고 말하는 걸 더 신뢰하곤 한다. 전통적인 협업 필터링(Collaborative Filtering)의 한계를 사회적 신뢰 네트워크(Web of Trust)로 극복하는 Network-Centric & Trust-Centric Methods에 대해 정리해보자.호모필리(Homophily)와 신뢰(Trust)신뢰 기반 추천 시스템의 전제는 유유상종, 다른 말로는 끼리끼리라는 것이다. 즉 연결된 사용자들은 비슷한 취향을 가질 확률이 높다는 것이다. 이를 추천 시스템에 적용할 때 핵심이 되는 두 가지 개념이 있다.신뢰 Trust사용자가 특정 연결된 사용자의 의견을 얼마나 신뢰하는지사용자가 친구나 연결된 사용자들의 취향과 추천을 더 신뢰하는 경향을 보임추천..

손실 함수를 정의하는 기준에는 뭐가 있을까? 모델이 오차를 최소화하도록 정의한다. 모델이 추정하는 관측 데이터의 확률이 최대화되도록 최대우도추정 방식으로 정의한다. 오차 최소화 예측 데이터와 target 데이터의 차이가 작아지도록 학습하는 것을 오차 최소화 관점이라고 한다. 직관적인 방법이며 어떤 방식으로 오차의 크기를 측정할지를 정하면 된다. 대표적인 오차 추정 방식에는 평균제곱오차(MSE), 평균절대오차(MAE)가 있다. 최대우도추정(Maximum Likelihood Estimator) MLE라고 부르기도 하며 먼저 우도(Likelihood)에 대해서 알아야 이해가 간다. 가능도라고 하기도 하며, 간단히 설명하자면 일어날 가능성이 얼마나 되느냐이다. 그러면 최대우도추정이란 이 가능성을 최대로 하는 방..

자코비안 행렬이란 야코비안이나 야코비라고도 불리운다. 이 포스팅에서는 가장 대중적으로 사용되는 자코비안 행렬이라고 칭하겠다. 자코비안 행렬이란 간단히 이야기하면 $f: \mathbb{R}^n \longrightarrow \mathbb{R}^m $ 형태의 벡터 함수 미분을 의미한다. 입력값이 n차원 벡터이고 함수값이 m차원의 벡터인 경우, 입력의 차원별로 함수값의 각 차원을 편미분해서 정의한 행렬이다. $m \times n$의 행렬 형태로 값이 나오며 이를 통해 미소 영역에서 ‘비선형 변환’을 ‘선형 변환으로 근사’ 시킬 수 있다. $$\mathbf{J f} = \left( \begin{array}{ccc} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}..

이 단어를 영어 사전에 검색하며 기상학에서 사용되는 뜻이 나온다. 하지만 영영 사전으로 검색하게 되면 다음과 같은 뜻이 나온다. Information acquired by direct observation rather than by inference. 즉, Ground Truth는 추론에 의해 제공되는 정보가 아닌 직접 관찰 및 측정에 의해 제공되는 실제 또는 사실로 알려진 정보를 의미한다. 조금 더 쉽게 설명하자면 이미지의 label 데이터를 말한다. 주로 vision 분야에서 자주 사용되는 단어로, 성능 평가와 모델의 품질에 직접적으로 영향을 미친다.

Fine-grained를 네이터 영어사전에 검색하면 '결이 고운'이라고 나온다. fine-grained classification, fine-grained context 등 딥러닝 논문들에서 쓰이는 단어들을 보면 결이 고운이라는 말로는 어떤 느낌으로 쓰인 건지 어렴풋하게 느껴질 뿐 와닿지는 않는다. 소프트웨어 공학에서 fine-grained는 coarse-grained와 비교되며 전자는 세밀하게 프로그래밍을 나누어서 고려한다는 의미이며, 후자는 큰 덩어리로 나누어서 고려한다는 의미이다. 그렇다면 딥러닝에서는 어떤 의미일까. 객체나 데이터의 세부적인 클래스 또는 속성을 구분하는 작업을 가리킨다. 객체 또는 데이터가 미세한 차이를 가지고 있는 경우, 더 세부적인 수준에서 클래스 또는 속성을 분류하고 인식하는..

논문을 읽다가 모르는 용어가 나오면 찾아서 정리하는 편인데 이번에 알아볼 용어는 Ablation Study이다. Ablation Study란 머신러닝 또는 딥러닝 모델의 구성 요소의 중요성을 평가하기 위해 실험적으로 해당 요소를 제거하는 기법을 말한다. 즉, 제안한 요소가 모델에 어떠한 영향을 미치는지 확인하고 싶을 때, 이 요소를 포함한 모델과 포함하지 않은 모델을 비교하는 것이다. 이를 통해 모델의 성능에 미치는 영향을 평가하고, 모델의 구성을 더 잘 이해하고 개선하는 데 도움을 준다. 이때 구성 요소는 모델의 아키텍처가 될 수도 있고, 손실함수가 될 수도 있으며, 하이퍼 파라미터 증 다양한 것들이 가능하다. Ablation Study를 이용할 경우 다음과 같은 몇 가지 이점이 있다. Ablation..