各种梯度下降法SGD、Momentum、NAG、Aagrad、RMSProp、Adammatlab实现

里面有各种梯度下降法：SGD、Momentum、NAG、Aagrad、RMSProp、Adam算法代码；

% 函数求导
% func:函数  x：坐标
function v = diff_func（func x）
    delt = 1e-10;
    v = （func（x + delt）-func（x））/delt;
end

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件        129  2020-04-10 09:01  gradient descent\diff_func.m

     文件        608  2020-06-06 17:39  gradient descent\gradient_descent.m

     文件        808  2020-06-06 17:38  gradient descent\gradient_descent_Adagrad.m

     文件       1040  2020-06-06 17:44  gradient descent\gradient_descent_Adam.m

     文件        699  2020-06-06 17:39  gradient descent\gradient_descent_momentum.m

     文件        705  2020-06-06 17:40  gradient descent\gradient_descent_NAG.m

     文件        829  2020-06-06 17:40  gradient descent\gradient_descent_RMSProp.m

     文件        368  2020-06-06 17:47  gradient descent\gradient_func.m

     文件        184  2020-06-06 17:43  gradient descent\plot_trace.m

     文件        903  2020-06-07 10:10  gradient descent\Test.m

     目录          0  2020-06-06 17:40  gradient descent

----------- ---------  ---------- -----  ----

                 6273                    11