由於昨天破了一場病，所以這週只有介紹了 Performance Surface and Optimum Points。老實說我覺得這章數學概念是非常難的(基本上扯到多變數我就覺得很吃力了。 )，所以我也只能簡單的描述一下，如果有錯那我只能說聲不好意思啦。 有心想學的人還是把課本翻翻，然後把微積分後面關於多變數的地方看一下吧。

這章主要是為了 Performance Learning 來鋪路。課本的定義如下

Performance Learning is a learning law, in which the network parameters are adjusted to optimize the performance of the network

也就是說它是要調整參數以達到效能最佳化。上面這句話看起來很清楚，可是仔細想想卻很模糊。什麼叫效能最佳化？這牽涉下面兩件事情

1. Find a quantitative measure of network performance, called the performance index, which is small when the network performs well and large when the network performs poorly.
2. Adjust the network weights and biases in order to reduce the performance index.

在這章我們將研究 performance surface。所以如何選擇 performance index 等等會在之後的章節介紹。

首先假設我們的 performance index 為 F(x)，那麼我們可以用泰勒戰神泰勒展開式來估計 F(x)。我們比較感興趣的是 x 是多變數，那 F(x) 的泰勒展開式如下

其中 ∇F(x^*) 是 Gradient at x^* (你可以把它想成在過 x^* 的切平面的法向量)，∇²F(x^*) 是 Hessian Matrix (我不知道可以把它想成什麼 )。另外後面還有提到 Directional Derivatives (我會把它看成是 Gradient 在某個方向的投影)。這方面的東西請容我跳過，因為我真的很弱。 有興趣的人可以參考這裡的解說或是這裡提供的工程數學提要吧。

下一個是介紹 Minima (極小點)。課本把 Minima 分成三種。最簡單的莫過於 Global Minima 這個從字面上就知道。Strong Minima 是指如果 x^* 是 Strong Minima 則存在某個 δ 使得任何落在以 x^* 為圓心，δ 為半徑的 open ball 的非圓心點 y 都會滿足 F(x^*) < F(y)。而 Weak Minima 跟 Strong Minima 差不多，只要最後的條件改成 ≦ 而且它不是 Strong Minima (也就是說一定還有一點 y≠x^*，但是 F(y) = F(x^*)。)就可以了。

下一段是 Necessary Condition for Optimality。我今天很不自量力的介紹充分必要條件，結果差點死在黑板前。(BTW, 我很喜歡阿共用當且僅當，我一直覺得這會比若且唯若容易理解。)這段其實可以利用當初【微分來判斷極值】的概念來延伸就可以了。總之結論如下

• 如果 x^* 是 Minima =＞ ∇F(x^*) = ０ 且 ∇²F(x^*) 是半正定矩陣。
• 如果 ∇F(x^*) = ０ 且 ∇²F(x^*) 是正定矩陣 =＞ x^* 是 Strong Minima。

這章還剩下 Quadratic Function 還沒介紹，我想這就下次再說吧，雖然我今天是一口氣教完。 最後我覺得我每次上的內容跟 blog 上貼的都不一樣啊！

Tags: Directional Derivatives, gradient, Hessian Matrix, Neural Network, Performance Learning, positive define matrix, quadratic function, Taylor series expansion, 教學, 最佳化