解释为什么用梯度下降而不是直接求导数为0的解
生活随笔
收集整理的這篇文章主要介紹了
解释为什么用梯度下降而不是直接求导数为0的解
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
問題:
在計算線性回歸最大似然估計的解的時候,最后的推導結果是
為什么不直接求出θ?而是一步步迭代求出θ?
原因
因此,梯度下降可以節省大量的計算時間。此外,它的完成方式允許一個簡單的并行化,即在多個處理器或機器上分配計算。
此外,當您只將一部分數據保留在內存中時,會出現梯度下降的版本,從而降低了對計算機內存的要求。總的來說,對于特大問題,它比線性代數解決方案更有效。
當您有數千個變量(如機器學習)時,隨著維度的增加,這變得更加重要。
</div><link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-b6c3c6d139.css" rel="stylesheet"><div class="more-toolbox"><div class="left-toolbox"><ul class="toolbox-list"><li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true"><use xlink:href="#csdnc-thumbsup"></use></svg><span class="name">點贊</span><span class="count">1</span></a></li><li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{"mod":"popu_824"}"><svg class="icon" aria-hidden="true"><use xlink:href="#icon-csdnc-Collection-G"></use></svg><span class="name">收藏</span></a></li><li class="tool-item tool-active is-share"><a href="javascript:;"><svg class="icon" aria-hidden="true"><use xlink:href="#icon-csdnc-fenxiang"></use></svg>分享</a></li><!--打賞開始--><!--打賞結束--><li class="tool-item tool-more"><a><svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg></a><ul class="more-box"><li class="item"><a class="article-report">文章舉報</a></li></ul></li></ul></div></div><div class="person-messagebox"><div class="left-message"><a href="https://blog.csdn.net/weixin_43167121"><img src="https://profile.csdnimg.cn/3/0/8/3_weixin_43167121" class="avatar_pic" username="weixin_43167121"><img src="https://g.csdnimg.cn/static/user-reg-year/2x/1.png" class="user-years"></a></div><div class="middle-message"><div class="title"><span class="tit"><a href="https://blog.csdn.net/weixin_43167121" data-report-click="{"mod":"popu_379"}" target="_blank">weixin_43167121</a></span></div><div class="text"><span>發布了28 篇原創文章</span> · <span>獲贊 14</span> · <span>訪問量 1萬+</span></div></div><div class="right-message"><a href="https://im.csdn.net/im/main.html?userName=weixin_43167121" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信</a><a class="btn btn-sm bt-button personal-watch" data-report-click="{"mod":"popu_379"}">關注</a></div></div></div>
</article>
總結
以上是生活随笔為你收集整理的解释为什么用梯度下降而不是直接求导数为0的解的全部內容,希望文章能夠幫你解決所遇到的問題。