웹 서버와 웹 애플리케이션 서버는 비슷해보이지만 서로 다르다. 그 차이는 무엇일까? 웹이란? 그것에 대해 이야기하기 전 먼저 웹에 대해서 이야기하겠다. 웹이란 무엇일까? 우리는 일상 속에서 웹이라는 단어를 자주 사용하고, 보통 그것은 브라우저에서 보는 웹페이지를 의미할 것이다. 그래서 웹이란? 월드 와이드 웹(World Wide Web)의 줄임말으로 인터넷을 통해 접근하고 사용하는 정보 및 서비스의 모음을 의미하며, 1989년 팀 버너스리가 처음 만들었다. 웹은 http 프로토콜을 통해 html, image, video, sound와 같은 데이터를 주고 받으며, 전 세계의 컴퓨터 네트워크를 연결하여 정보를 공유하고 사용자들이 서로 상호작용할 수 있는 플랫폼을 제공한다. HTTP (Hypertext Tra..

손실 함수를 정의하는 기준에는 뭐가 있을까? 모델이 오차를 최소화하도록 정의한다. 모델이 추정하는 관측 데이터의 확률이 최대화되도록 최대우도추정 방식으로 정의한다. 오차 최소화 예측 데이터와 target 데이터의 차이가 작아지도록 학습하는 것을 오차 최소화 관점이라고 한다. 직관적인 방법이며 어떤 방식으로 오차의 크기를 측정할지를 정하면 된다. 대표적인 오차 추정 방식에는 평균제곱오차(MSE), 평균절대오차(MAE)가 있다. 최대우도추정(Maximum Likelihood Estimator) MLE라고 부르기도 하며 먼저 우도(Likelihood)에 대해서 알아야 이해가 간다. 가능도라고 하기도 하며, 간단히 설명하자면 일어날 가능성이 얼마나 되느냐이다. 그러면 최대우도추정이란 이 가능성을 최대로 하는 방..

자코비안 행렬이란 야코비안이나 야코비라고도 불리운다. 이 포스팅에서는 가장 대중적으로 사용되는 자코비안 행렬이라고 칭하겠다. 자코비안 행렬이란 간단히 이야기하면 $f: \mathbb{R}^n \longrightarrow \mathbb{R}^m $ 형태의 벡터 함수 미분을 의미한다. 입력값이 n차원 벡터이고 함수값이 m차원의 벡터인 경우, 입력의 차원별로 함수값의 각 차원을 편미분해서 정의한 행렬이다. $m \times n$의 행렬 형태로 값이 나오며 이를 통해 미소 영역에서 ‘비선형 변환’을 ‘선형 변환으로 근사’ 시킬 수 있다. $$\mathbf{J f} = \left( \begin{array}{ccc} \frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}..

이 단어를 영어 사전에 검색하며 기상학에서 사용되는 뜻이 나온다. 하지만 영영 사전으로 검색하게 되면 다음과 같은 뜻이 나온다. Information acquired by direct observation rather than by inference. 즉, Ground Truth는 추론에 의해 제공되는 정보가 아닌 직접 관찰 및 측정에 의해 제공되는 실제 또는 사실로 알려진 정보를 의미한다. 조금 더 쉽게 설명하자면 이미지의 label 데이터를 말한다. 주로 vision 분야에서 자주 사용되는 단어로, 성능 평가와 모델의 품질에 직접적으로 영향을 미친다.

Fine-grained를 네이터 영어사전에 검색하면 '결이 고운'이라고 나온다. fine-grained classification, fine-grained context 등 딥러닝 논문들에서 쓰이는 단어들을 보면 결이 고운이라는 말로는 어떤 느낌으로 쓰인 건지 어렴풋하게 느껴질 뿐 와닿지는 않는다. 소프트웨어 공학에서 fine-grained는 coarse-grained와 비교되며 전자는 세밀하게 프로그래밍을 나누어서 고려한다는 의미이며, 후자는 큰 덩어리로 나누어서 고려한다는 의미이다. 그렇다면 딥러닝에서는 어떤 의미일까. 객체나 데이터의 세부적인 클래스 또는 속성을 구분하는 작업을 가리킨다. 객체 또는 데이터가 미세한 차이를 가지고 있는 경우, 더 세부적인 수준에서 클래스 또는 속성을 분류하고 인식하는..

머신러닝과 딥러닝을 공부하다보면 중요한 통계 개념들이 있다. 그 중 하나가 중심극한정리(Central Limit Theorem; CLT)이다. 중심 극한 정리란 무엇일까? 모집단이 평균이 $\mu$이고, 표준편차가 $\sigma $인 임의의 분포를 이룬다고 할 때, 이 모집단으로부터 추출된 표본의 크기(n)가 충분히 크다면 표본 평균들이 이루는 분포는 평균이 $\mu$이고 표준편차가 $\sigma \sqrt{n}$인 정규분포에 근접한다. 중심 극한 정리는 즉 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리이다. 이 정의는 샘플을 많이 뽑는다면 확률 분포가 가우시안으로 수렴한다고 생각할 수 있게 하는데, 실제로 이 세상 모든 사건들이 가우시안 분..