Softmax回归模型（matlab代码）

softmax回归模型是一种常用的分类器，也是与深度结构模型相结合最多的分类方法。本代码包中的程序对图像构建softmax分类器，并按照图像所属类别进行分类。程序是在matlab平台上实现的，简单易懂。

function numgrad = computeNumericalGradient（J theta）
% numgrad = computeNumericalGradient（J theta）
% theta: a vector of parameters
% J: a function that outputs a real-number. Calling y = J（theta） will return the
% function value at theta. 
  
% Initialize numgrad with zeros
numgrad = zeros（size（theta））;

%% ---------- YOUR CODE HERE --------------------------------------
% Instructions: 
% Implement numerical gradient checking and return the result in numgrad.  
% （See Section 2.3 of the lecture notes.）
% You should write code so that numgrad（i） is （the numerical approximation to） the 
% partial derivative of J with respect to the i-th input argument evaluated at theta.  
% I.e. numgrad（i） should be the （approximately） the partial derivative of J with 
% respect to theta（i）.
%                
% Hint: You will probably want to compute the elements of numgrad one at a time. 

% epsilon=0.0001;
% n=size（theta1）;
% E=eye（n）;
% for i=1:n
%     delta=E（:i）*epsilon;
%     numgrad（i）=（J（theta+delta）-J（theta-delta））/（epsilon*2.0）;
% end

epsilon = 10^（-4）;
n = size（theta 1）;
J1 = zeros（1 1）;
J2 = zeros（1 1）;
grad = zeros（size（numgrad））;
temp1 = zeros（size（theta））;
temp2 = zeros（size（theta））;

for i = 1 : n
    temp1 = theta;
    temp2 = theta;
    temp1（i） = temp1（i） + epsilon;
    temp2（i） = temp2（i） - epsilon;
    [J1 grad] = J（temp1）;
    [J2 grad] = J（temp2）;
    numgrad（i） = （J1 - J2） / （2*epsilon）;
end




%% ---------------------------------------------------------------
end

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2016-03-30 17:10  softmax_exercise\
     文件        1510  2016-03-30 10:32  softmax_exercise\computeNumericalGradient.m
     文件         811  2014-03-25 21:18  softmax_exercise\loadMNISTImages.m
     文件         516  2011-04-25 17:32  softmax_exercise\loadMNISTLabels.m
     目录           0  2016-03-25 20:07  softmax_exercise\minFunc\
     文件        3251  2011-01-03 21:39  softmax_exercise\minFunc\ArmijoBacktrack.m
     文件         807  2011-01-03 21:39  softmax_exercise\minFunc\autoGrad.m
     文件         901  2011-01-03 21:39  softmax_exercise\minFunc\autoHess.m
     文件         317  2011-01-03 21:39  softmax_exercise\minFunc\autoHv.m
     文件         870  2011-01-03 21:39  softmax_exercise\minFunc\autoTensor.m
     文件         385  2011-01-03 21:39  softmax_exercise\minFunc\callOutput.m
     文件        1845  2011-01-03 21:39  softmax_exercise\minFunc\conjGrad.m
     文件         995  2011-01-03 21:39  softmax_exercise\minFunc\dampedUpdate.m
     文件        2421  2011-01-03 21:39  softmax_exercise\minFunc\example_minFunc.m
     文件        1604  2011-01-03 21:39  softmax_exercise\minFunc\example_minFunc_LR.m
     文件         107  2011-01-03 21:39  softmax_exercise\minFunc\isLegal.m
     文件         924  2011-01-03 21:39  softmax_exercise\minFunc\lbfgs.m
     文件        2408  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.c
     文件        7707  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexa64
     文件        7733  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexglx
     文件        9500  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexmac
     文件       12660  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexmaci
     文件        8800  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexmaci64
     文件        7168  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexw32
     文件        9728  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsC.mexw64
     文件         614  2011-01-03 21:39  softmax_exercise\minFunc\lbfgsUpdate.m
     目录           0  2016-03-25 20:07  softmax_exercise\minFunc\logistic\
     文件         417  2011-01-03 21:39  softmax_exercise\minFunc\logistic\LogisticDiagPrecond.m
     文件         216  2011-01-03 21:39  softmax_exercise\minFunc\logistic\LogisticHv.m
     文件         659  2011-01-03 21:39  softmax_exercise\minFunc\logistic\LogisticLoss.m
     文件        1154  2011-01-03 21:39  softmax_exercise\minFunc\logistic\mexutil.c
............此处省略29个文件信息