자코비안 행렬이라는 것이 쉽게 와닿지는 않는다. 우선 차원이 하나 늘어났다는 것이 굉장히 뇌에 부하를 준다. 미분가능한 함수 $z=f(x,y)$ 이 있다고 생각해 보자. 자코비안이 나타내고 싶은 값은 딱 하나다. 입력 $x,y$ 의 변화에 대해서 출력값 $z$ 가 얼마나 변화하는가이다.

우리는 지금까지 $y=f(x)$ 와 같은 형태를 열심히 미분해 왔다. 미분의 본질은 미소한 정의역 변수 $x$ 의 변화$(dx)$에 따라 치역 변수 $y$ 가 얼만큼 변화하는가$(dy)$ 를 표현하는 것이다. 그래서 우리는 $\cfrac{dy}{dx}=\cfrac{df(x)}{dx}$ 라고 배워 왔던 것이다. 치역 변수가 여러개인 경우는 잠시 접어 두고, 만약 정의역 변수가 여러개면 어떻게 할까. 그냥 $x$ 의 변화’만' 생각했을 때 $z$ 값이 얼마나 변화하는가를, $y$ 의 변화’만' 생각했을 때 $z$ 값이 얼마나 변화하는가를 모두 하나의 행렬에 저장하는 것이다. 그것이 바로 자코비안이다.

정의역이 $x,y$ 이고 함숫값이 $z$ 인 미분가능한 함수 $f$ ($z=f(x,y)$) 에 대한 설명을 정리해 보자.

<aside> 📐 $y$ 축의 값을 그대로 두고 $x$ 축의 변화’만' 생각했을 때 $z$ 값이 얼마나 변화하는가, $J_x= \cfrac{{\delta}z}{{\delta}x}$

$x$ 축의 값을 그대로 두고 $y$ 의 변화’만' 생각했을 때 $z$ 값이 얼마나 변화하는가, $J_y =\cfrac{{\delta}z}{{\delta}y}$

입력 $x,y$ 의 변화에 대해서 출력값 $z$ 가 얼마나 변화하는가. 자코비안 행렬 $J=[J_x, J_y]$

</aside>

Convex 한 산의 정상으로 가는 길은 $z$ 축으로 $J_x$ 만큼, $y$ 축으로 $J_y$ 만큼 이동하는 방향이다.