最优化——分析线性规划的对偶问题的等价性
文章目錄
- 最優化—對偶原理與對偶單純形法
- 線性規劃的對偶原理
- 原問題為何與對偶問題等價
- 前提1
- 前提2
- 證明等價性
最優化—對偶原理與對偶單純形法
線性規劃的對偶原理
對于標準線性規劃問題:
max?c1x1+c2x2+?+cnxns.t.?P1x1+P2x2+?+Pnxn=b?xj≥0,?1≤j≤n\begin{array}{c} \max c_{1} x_{1}+c_{2} x_{2}+\cdots+c_{n} x_{n} \\ \text { s.t. } \quad P_{1} x_{1}+P_{2} x_{2}+\cdots+P_{n} x_{n}=\vec{b} \\ \quad x_{j} \geq 0, \forall 1 \leq j \leq n \end{array} maxc1?x1?+c2?x2?+?+cn?xn??s.t.?P1?x1?+P2?x2?+?+Pn?xn?=bxj?≥0,?1≤j≤n?
C=(c1,...,cn)T,Pj=(p1j,...,pmj),b?=(b1,...,bm)T,X?=(x1,...,xm)T,P=(P1,...,Pn)C=(c_1,...,c_n)^T, P_j=(p_{1j},...,p_{mj}), \vec b=(b_1,...,b_m)^T, \vec X=(x_1,...,x_m)^T,P=(P_1,...,P_n)C=(c1?,...,cn?)T,Pj?=(p1j?,...,pmj?),b=(b1?,...,bm?)T,X=(x1?,...,xm?)T,P=(P1?,...,Pn?)
定義:標準線性規劃問題(最大規劃)的對偶問題
原問題對偶問題max?∑j=1ncjxjs.t.?∑j=1nPjxj=b??min?b?TYxj≥0,?1≤j≤ns.t.PjTY≥cj,?1≤j≤n\begin{array}{l} \large \text 原問題 \quad\quad\quad\quad\quad\quad\quad\quad\quad 對偶問題\\ \max \sum_{j=1}^{n} c_{j} x_{j} \\ \text { s.t. } \sum_{j=1}^{n} P_{j} x_{j}=\vec{b} \quad \Rightarrow \quad \min \vec{b}^{T} Y \\ x_{j} \geq 0, \forall 1 \leq j \leq n \quad\quad\quad\quad { s.t. } P_{j}^{T} Y \geq c_{j}, \forall 1 \leq j \leq n \end{array} 原問題對偶問題max∑j=1n?cj?xj??s.t.?∑j=1n?Pj?xj?=b?minbTYxj?≥0,?1≤j≤ns.t.PjT?Y≥cj?,?1≤j≤n?
簡化為:
maxCTXmin?b?TYs.t.?PX=b??s.t.?PTY≥CX≥0\begin{array}{l} \quad max C^{T} X \quad\quad\quad \quad \min \vec{b}^{T} Y\\ \text { s.t. } PX=\vec{b} \quad \Rightarrow \quad \text { s.t. } P^{T} Y \geq C\\ \quad X \geq 0 \end{array} maxCTXminbTY?s.t.?PX=b??s.t.?PTY≥CX≥0?
原問題為何與對偶問題等價
首先確定以下前提
前提1
? 假設一個基陣B=(Pj(1),Pj(2),?,Pj(m))B=\left(P_{j(1)}, P_{j(2)}, \cdots, P_{j(m)}\right)B=(Pj(1)?,Pj(2)?,?,Pj(m)?)使得原問題得到最優解,對應CB=(cj(1),cj(2),?,cj(m))C_B=\left(c_{j(1)}, c_{j(2)}, \cdots, c_{j(m)}\right)CB?=(cj(1)?,cj(2)?,?,cj(m)?)
? 則檢驗數σj=cj?CBTB?1Pj≤0,?1≤j≤n\sigma_j =c_j- C^T_BB^{-1}P_j \leq0,\forall 1\leq j\leq nσj?=cj??CBT?B?1Pj?≤0,?1≤j≤n
? 若原問題有最優解,并設YT=CBTB?1Y^{T}=C_{B}^{T} B^{-1}YT=CBT?B?1,則YTPj≥cj,?1≤j≤nY^TP_j \geq c_j,\forall 1\leq j\leq nYTPj?≥cj?,?1≤j≤n,其中Y=(y1,...ym)Y=(y_1,...y_m)Y=(y1?,...ym?)。
前提2
設 X^=(x^1,?,x^n)T\hat{X}=\left(\hat{x}_{1}, \cdots, \hat{x}_{n}\right)^{T}X^=(x^1?,?,x^n?)T 是原問題的任意一個可行解,滿足
P1x^1+P2x^2+?+Pnx^n=b?,x^j≥0,?1≤j≤nP_{1} \hat{x}_{1}+P_{2} \hat{x}_{2}+\cdots+P_{n} \hat{x}_{n}=\vec{b}, \quad \hat{x}_{j} \geq 0, \forall 1 \leq j \leq n P1?x^1?+P2?x^2?+?+Pn?x^n?=b,x^j?≥0,?1≤j≤n
對任何滿足不等式約束 YTPj≥cj,?1≤j≤nY^{T} P_{j} \geq c_{j}, \forall 1 \leq j \leq nYTPj?≥cj?,?1≤j≤n 的 Y,Y,Y, 有
YTb?=YT∑j=1nPjx^j=∑j=1nYTPjx^j≥∑j=1ncjx^j=CTX^Y^{T} \vec{b}=Y^{T} \sum_{j=1}^{n} P_{j} \hat{x}_{j}=\sum_{j=1}^{n} Y^{T} P_{j} \hat{x}_{j} \geq \sum_{j=1}^{n} c_{j} \hat{x}_{j}=C^{T} \hat{X} YTb=YTj=1∑n?Pj?x^j?=j=1∑n?YTPj?x^j?≥j=1∑n?cj?x^j?=CTX^
這說明對偶問題的任何可行的目標函數值不會小于原問題的任何可行解的目標函數值:YTb?≥CTX?Y^{T} \vec{b}\geq C^T \vec XYTb≥CTX
證明等價性
? 對于對偶問題 :
min?YTb?s.t.?YTPj≥cj,?1≤j≤n\begin{array}{l} \min Y^{T} \vec{b} \\ \text { s.t. } \quad Y^{T} P_{j} \geq c_{j}, \quad \forall 1 \leq j \leq n \end{array} minYTb?s.t.?YTPj?≥cj?,?1≤j≤n?
? ①當 BBB 是原問題的最優基陣時,根據前提1紅字 YBT=CBTB?1Y_{B}^{T}=C_{B}^{T} B^{-1}YBT?=CBT?B?1 是上述問題的可行解,其目標函數值與原問題的最優目標函數值相同。
YBTb?=CBTB?1b?=CBT(B?1b?)=CBTXBY_{B}^{T} \vec{b}=C_{B}^{T} B^{-1} \vec{b}=C_{B}^{T}\left(B^{-1} \vec{b}\right)=C^{T}_B X_{B} YBT?b=CBT?B?1b=CBT?(B?1b)=CBT?XB?
? 其中 XBX_{B}XB? 是 BBB 決定的最優的基本可行解的基分量=(xj(1),...,xj(m))=(x_{j(1)},...,x_{j(m)})=(xj(1)?,...,xj(m)?)
? PS:根據①呢,我們知道了:對于一個原問題的最優狀態,對偶問題中一定有一個對應的Y,使得對偶問題的目標函數值等于原問題的最優目標函數值。
下面我們就來看看這個對應的Y是否就是對偶問題的最優解?
? ②由前提2知:對于任何滿足不等式約束 YTPj≥cj,?1≤j≤nY^{T} P_{j} \geq c_{j}, \forall 1 \leq j \leq nYTPj?≥cj?,?1≤j≤n 的 Y,Y,Y, 有
YTb?≥CBTXBY^{T} \vec{b} \geq C^{T}_B X_{B} YTb≥CBT?XB?
? 又由于① YBTb?=CBTXBY_{B}^{T} \vec{b}=C^{T}_B X_{B}YBT?b=CBT?XB?得:
YTb?≥CBTXB=YBTb?Y^{T} \vec{b} \geq C^{T}_B X_{B}=Y_{B}^{T} \vec{b} YTb≥CBT?XB?=YBT?b
? ③綜上所述:對于任何滿足不等式約束 YTPj≥cj,?1≤j≤nY^{T} P_{j} \geq c_{j}, \forall 1 \leq j \leq nYTPj?≥cj?,?1≤j≤n 的 Y,Y,Y, 都有YTb?≥YBTb?Y^{T} \vec{b} \geq Y_{B}^{T} \vec{b}YTb≥YBT?b,所以對偶問題的最優解就是YBTY_{B}^{T}YBT?。
? 所以求解上面線性規劃問題能夠找到原問題的最優基陣
總結
以上是生活随笔為你收集整理的最优化——分析线性规划的对偶问题的等价性的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 强化学习4——无模型预测(蒙特卡洛法和T
- 下一篇: 强化学习3——有模型(Model-bas