자코비안 행렬이란 야코비안이나 야코비라고도 불리운다. 이 포스팅에서는 가장 대중적으로 사용되는 자코비안 행렬이라고 칭하겠다.
자코비안 행렬이란 간단히 이야기하면 $f: \mathbb{R}^n \longrightarrow \mathbb{R}^m $ 형태의 벡터 함수 미분을 의미한다. 입력값이 n차원 벡터이고 함수값이 m차원의 벡터인 경우, 입력의 차원별로 함수값의 각 차원을 편미분해서 정의한 행렬이다. $m \times n$의 행렬 형태로 값이 나오며 이를 통해 미소 영역에서 ‘비선형 변환’을 ‘선형 변환으로 근사’ 시킬 수 있다.
$$\mathbf{J f} = \left(
\begin{array}{ccc}
\frac{\partial f_1}{\partial x_1} & \frac{\partial f_1}{\partial x_2} & \ldots & \frac{\partial f_1}{\partial x_n}\\
\frac{\partial f_2}{\partial x_1} & \frac{\partial f_2}{\partial x_2} & \ldots & \frac{\partial f_2}{\partial x_n} \\
\vdots & \vdots & \ddots \\
\frac{\partial f_m}{\partial x_1} & \frac{\partial f_m}{\partial x_2} & \ldots & \frac{\partial f_m}{\partial x_n}
\end{array} \right) $$
따라서 어디에 이용되냐면 신경망에서 계층 단위로 편미분을 진행 할 때 이용된다.