梯度下降法Gradient Descent深度学习 机器学习
梯度下降法
在求解機器學習算法的模型參數(shù)，即無約束優(yōu)化問題時，梯度下降（Gradient Descent）是最常采用的方法之一，梯度下降法是一種一階優(yōu)化算法，另一種常用的方法是最小二乘法。
求偏導數(shù)
在微積分里面，對多元函數(shù)的參數(shù)求?\partial?偏導數(shù)，把求得的各個參數(shù)的偏導數(shù)以向量的形式寫出來，就是梯度。比如函數(shù)f(x,y)f(x,y)f(x,y), 分別對x,yx,yx,y求偏導數(shù)，求得的梯度向量就是(?f?x,?f?y)T,(\frac {\partial f}{\partial x},\frac {\partial f}{\partial y})^T,(?x?f?,?y?f?)T,簡稱gradf(x,y)grad f(x,y)gradf(x,y)或者▽f(x,y)\bigtriangledown f(x,y)▽f(x,y)。對于在點(x0,y0)(x_0,y_0)(x0?,y0?)的具體梯度向量就是(?f?x0,?f?y0)T(\frac{\partial f}{\partial x_0},\frac{\partial f}{\partial y_0})^T(?x0??f?,?y0??f?)T。或者▽f(x0,y0)\bigtriangledown f(x_0,y_0)▽f(x0?,y0?)，如果是3個參數(shù)的向量梯度，就是(?f?x,?f?y,?f?z)T(\frac {\partial f}{\partial x}, \frac {\partial f}{\partial y}, \frac {\partial f}{\partial z})^T(?x?f?,?y?f?,?z?f?)T,以此類推。
總結
以上是生活随笔為你收集整理的梯度下降法Gradient Descent深度学习 机器学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Python】垃圾分类，调用阿里云AP
- 下一篇： Module 'matplotlib'