線性代數
- 標量:單一數字 $n\in R$
- 向量:一維 $x\in R^n$
- 矩陣:二維 $x\in R^{m\times n}$
- 張量:超過二維
微積分
泰勒展開式:用一多項式f(x)去近似目標函數g(x), 並藉由f(0)=g(0) & f'(0)=g'(0) ... 來計算出f(x)的參數值
1. 微分
- 梯度
- 為所有偏導數之n維向量
- 其值代表空間中的最大變化率、最大下降方向的值
- 即為最大方向導數
- 符號
- ’ prime ⇒ 對 f(x, y) 的全微分 ⇒ $f' = \frac{d}{dx}f + \frac{d}{dy}f$ 念作 d ... over dx
- 全微分、全導數物理意義:所有變數偏微分組成的向量
- 又稱微分
- 對所有變數的線性近似 ⇒ 對所有變數偏微分以後其各自微分的線性組合
- d ⇒ (全)微分
- $\partial$ ⇒ 偏微分 ⇒ f(x, y) 對 x or y 偏微分的表示:$\frac{\partial f}{\partial x}\ or\ \frac{\partial f}{\partial y}$
- 多變量函數 f 對特定變量的微分
- 偏微分物理意義:對指定方向的微分 ⇒ 求特定方向的斜率
- 方向導數:多元微積分中偏微分對任意向量微分的延伸
- 偏導數:對於特定變量的微分,通常變量都指 x, y, ... 軸
- 乘法律:f, g是x的函數 ⇒ $y = fg$ ⇒ $y' = \frac{dy}{dx}=f'g+fg'$
- 除法律:f, g是x的函數 ⇒ $y = \frac fg$ ⇒ $y' = \frac{dy}{dx}=\frac{f'g-fg'}{g^2}$
- 連鎖律:g是x的函數 ⇒ $y = f(g(x))$ ⇒ $y' = \frac{dy}{dx}=\frac{dy}{df}\frac{df}{dg}\frac{dg}{dx}$
- 例子
- $g(x) = x^2$
- $f(x)=e^x$
- $y=f(g(x))=e^{g(x)}=e^{x^2}$
- $\frac{df}{dg}=\frac{de^g}{dg}=e^g=e^{x^2}$
- $\frac{dg}{dx}=\frac{dx^2}{dx}=2x$
- $y'=\frac{dy}{dx}=\frac{dy}{df}\frac{df}{dg}\frac{dg}{dx}
=1*e^{x^2}*2x
=2xe^{x^2}$
- 對數的微分
- $y=\log_a{x}$ ⇒ $y' = \frac{dy}{dx} = \log_a e^{\frac1x} = \frac1x\log_ae=\frac1x\frac{1}{\ln a}$
- $y=\ln x$ ⇒ $y' = \frac{dy}{dx} = \frac{1}{x}\frac{1}{\ln e}=\frac1x$
統計
統計 vs 概率
- 概率:有模型、參數 ⇒ 估計數據(的樣子,例如:均值、中位數、變異數...)
- 統計:有數據 ⇒ 估計(描述數據的)模型、參數(例如:分佈)