拉格朗日乘子法的几何意义

Posted by c cm on October 28, 2016

optimize: $f(x)$
s.t.: $g(x)=0$

两点结论:
1. 将$g(x)=0$看做D-1维surface,那么$\nabla g(x)$垂直于该surface。
2. 在约束surface上寻找最优点$x^*$,那么在该点$\nabla f(x)$也垂直于该surface。

基于以上两点,可知$\nabla g(x)$和$\nabla f(x)$平行,所以存在$\lambda$,使得$\nabla f(x) + \lambda \nabla g(x) = 0$

img