當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

多个等式束的拉格朗日乘子问题(详细证明)

發布時間：2024/3/12 编程问答 42 豆豆

生活随笔收集整理的這篇文章主要介紹了多个等式束的拉格朗日乘子问题(详细证明) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

UTF8gbsn

多約束的拉格朗日乘子問題.

$f(x)h1(x)=0?hm(x)=0\left. \begin{aligned} \quad & f(x)\\ \quad& h_1(x)=0\\ & \quad \quad \vdots\\ & h_m(x)=0 \end{aligned} \right.$

假設這個問題的解是 $x^{*}$ . 那么, 以下命題成立
$?f(x?)=∑i=1mλi?hi(x?)\nabla f(x^{*}) = \sum_{i=1}^{m} \lambda_i\nabla h_i(x^{*})$

接下來, 我們就要來證明這個命題.

證明:

假設所有約束條件的相交部分組成一個hypersurface $S$ . 并且 $x^{*}$ 是 $S$
上的一點. 接下來先來證明 $?f(x?)\nabla f(x^{*})$ 垂直于過點 $x^{*}$ ,
$S$ 的切平面 $T$ . 假設 $x (t)$ 是 $S$ 上任意一條曲線,
切滿足 $x(0)=x^{*}$ .那么可得.

$f(x)=f(x(t))f(x?)=f(x(0))?f(x?)=?f(x?)??x(0)=0\left. \begin{aligned} &f(x)=f(x(t))\\ &f(x^{*})=f(x(0))\\ &\nabla f(x^{*})=\nabla f(x^{*}) \cdot \nabla x(0) = 0 \end{aligned} \right.$

最后一個等式之所以是0, 是因為對于一元可導函數 $f (x (t))$ 來說,
極值點的導數為0. 又因為 $x (t)$ 為任意曲線. 所以 $?f(x?)\nabla f(x^{*})$
垂直于過點 $x^{*}$ , $S$ 的切平面 $T$ .

至此我們證明了 $?f(x?)\nabla f(x^{*})$ 垂直于切平面 $T$

接下來, 我們需要設一個假設,
也就是假設 $?hi(x?),i∈1,2,?,m\nabla h_{i}(x^{*}), i\in {1, 2, \cdots,m}$ 線性無關.
我們把這種條件下的極值點 $x^{*}$ 叫做regular point.
接下來定義一個集合如下.

$M={y∣∑i=1myi?hi(x?)=0(m)},y∈Rm,?hi(x?)∈Rm,0(m)∈RmM=\{y|\sum_{i=1}^{m}y_i\nabla h_{i}(x^{*})=0^{(m)}\}, y\in R^{m}, \nabla h_{i}(x^{*}) \in R^m, 0^{(m)}\in R^m$

接下來, 我們需要證明 $\equiv M$ , 如果證明 $T≡MT\equiv M$ ,
那么就可以說 $?f(x?)∈span{?hi(x?)},i∈{1,2,?,m}\nabla f(x^{*})\in span\{\nabla h_{i}(x^{*})\}, i\in \{1,2,\cdots, m\}$ ,
也就是說 $?f(x?)\nabla f(x^{*})$ 可以由 $?hi(x?),i∈{1,2,?,m}\nabla h_{i}(x^{*}), i\in \{1,2,\cdots, m\}$ 線性表示出來.

$?f(x?)=∑i=1mλi?hi(x?)\nabla f(x^{*}) = \sum_{i=1}^{m} \lambda_i\nabla h_i(x^{*})$

證明 T=M

還是分兩步走 $T?MT\subset M$ 和 $M?TM\subset T$ 來證明 $T = M$ .

$T?MT\subset M$

切平面上的向量, 根據定義必然垂直于約束的表面法向量.
所以可得 $T?MT\subset M$ .

$M?TM\subset T$

反過來, 現在需要證明對于任意的 $y∈My\in M$ , 在 $S$ 上存在一條曲線 $x (t)$
它在 $x^{*}$ 處的導數為 $y$ . 也就是證明 $M?TM\subset T$ . 現在假設

$h(x?+ty+?hT(x?)u(t))=0(m),0(m)∈Rmh(x^{*}+ty+\nabla h^T(x^{*})u(t))=0^{(m)}, 0^{(m)}\in R^m$

注意, $?hT(x?)\nabla h^{T}(x^{*})$ 是一個 $n×mn\times m$ 的矩陣,
假設 $x∈Rn,u(t)∈Rmx\in R^n, u(t)\in R^{m}$ ,
現在假設 $A=span{?hi(x?),i∈{1,2,?,m}}A=span\{\nabla h_i(x^{*}), i\in \{1,2,\cdots, m\}\}$ ,
因為 $?hi(x?),i∈{1,2,?,m}\nabla h_{i}(x^{*}), i\in \{1,2,\cdots, m\}$ 是線性無關的.
而 $M = N u l l (A)$ ,可見 $r a n k (A) + r a n k (M) = n$ .即然如此,

$ty+?hT(x?)u(t)∈Rnty+\nabla h^T(x^{*})u(t) \in R^{n}$

就可以表示空間中任意的一條向量. 所以取合適的 $u(t)∈Rmu(t)\in R^m$ , 可使得
$h(x?+ty+?h(x?)Tu(t))=0m,0m∈Rmh(x^{*}+ty+\nabla h(x^{*})^Tu(t))=0^{m}, 0^{m}\in R^m$ 成立.
下面我們要證明 $x?+ty+?h(x?)Tu(t)∈Sx^{*}+ty+\nabla h(x^{*})^Tu(t) \in S$ 而且其連續可導.

先來對 $u$ 進行求導得 $?h(x?)?h(x?)T\nabla h(x^{*}) \nabla h(x^{*})^T$

這個Jacobian矩陣, 是非奇異的. 因為 $?hi(x?)\nabla h_{i}(x^{*})$ 線性無關.
在 $t = 0$ 處,有一個解為 $u (0) = 0$ , 由此可見我們可以根據隱函數定理得.
根據約束方程組 $h(x?+ty+?h(x?)Tu(t))=0(m),0(m)∈Rmh(x^{*}+ty+\nabla h(x^{*})^Tu(t))=0^{(m)}, 0^{(m)}\in R^m$ .
可得一系列連續可導的方程解 $u (t)$ , 注意 $u (t)$ 是一個函數向量,
里面有m個函數.
這里有一個邏輯就是只要 $u (t)$ 連續可導.那么下面的這條曲線也是連續可導的.
$x(t)=x?+ty+?h(x?)Tu(t)x(t)=x^{*}+ty+\nabla h(x^{*})^Tu(t)$

并且 $x(t)∈Sx(t)\in S$ .
因為 $h(x?+ty+?h(x?)Tu(t))=0(m),0(m)∈Rmh(x^{*}+ty+\nabla h(x^{*})^Tu(t))=0^{(m)}, 0^{(m)}\in R^m$
是恒等于 $0^{(m)}$ .所以以下導數成立

$0(m)=?h(x(t))∣t=0=?h(x?)y+?h(x?)?h(x?)u(0)0^{(m)}=\nabla h(x(t))|_{t=0}=\nabla h(x^{*}) y+\nabla h(x^{*}) \nabla h(x^{*})u(0)$

因為 $u (0) = 0$ , 最后可得

$?h(x?)y=0\nabla h(x^{*}) y = 0$

對 $S$ 上參數曲線 $x(t)=x?+ty+?h(x?)Tu(t)x(t)=x^{*}+ty+\nabla h(x^{*})^Tu(t)$ , 求導可得

$x˙(0)=y+?h(x?)Tx˙(0)=y\dot{\mathbf{x}}(0)=\mathbf{y}+\nabla \mathbf{h}\left(\mathbf{x}^{*}\right)^{T} \dot{\mathbf{x}}(0)=\mathbf{y}$

最后得證,
$?y∈M,?x(t)∈S→x˙(0)=y?M?T\forall y\in M, \exists x(t) \in S \rightarrow \dot{x}(0)=y \Rightarrow M \subset T$
于是原命題 $?f(x?)=∑i=1mλi?hi(x?)\nabla f(x^{*}) = \sum_{i=1}^{m} \lambda_i\nabla h_i(x^{*})$ 得證.

多約束拉格朗日乘子

$L(x)=f(x)+∑i=1mλihi(x)L(x)=f(x)+\sum_{i=1}^{m}\lambda_i h_i(x)$

求導并令其等于0正好就是我們的原命題要求的點.

$?f(x)+∑i=1mλihi(x)=0\nabla f(x)+\sum_{i=1}^{m}\lambda_ih_i(x)=0$

總結

以上是生活随笔為你收集整理的多个等式束的拉格朗日乘子问题(详细证明)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： zcmu——1601: 卡斯丁狗去挖矿（
下一篇： jq安装