Matlab实现循环神经网络RNN

深度学习神经网络之循环神经网络（RNN）Matlab实现循环神经网络RNN

%%%使用BPTT算法完成Elman网络的训练
%%%作者：xd.wp
%%%时间：2016.10.06 16:44
%% 程序说明
%  1、数据为7天，四个时间点的空调功耗，用前三个推测第四个训练，依次类推。第七天作为检验
%  2、Elman网络输入结点为12，输出结点为4个，隐藏结点18个
clear all;
clc;
%% 加载数据并进行归一化处理
[train_datatest_data]=Elman_data_process（）;

data_length=size（train_data1）;            %每个样本的长度
data_num=size（train_data2）;               %样本数目 
%% 网络参数初始化
%结点数目设置
input_layer_num=data_length;
hidden_layer_num=18;
output_layer_num=size（test_data1）;
%权重初始化
weight_input_hidden=rand（hidden_layer_numinput_layer_num）/1000;
weight_prehidden_hidden=rand（hidden_layer_numhidden_layer_num）/1000;
weight_hidden_output=rand（output_layer_numhidden_layer_num）/1000;
output_state=zeros（output_layer_num3）;
%% 网络训练学习部分  采用BPTT算法
yita=0.001;              %每次迭代的步进
for num=1:4000
for t=1:3       %%时间步，使用三推一
    %从输入到隐层
    if （t==1）
        pre_hidden_state=weight_input_hidden*train_data（:t）;
    else
       pre_hidden_state=weight_input_hidden*train_data（:t）+weight_prehidden_hidden*hidden_state（:t-1）;
    end

    %从隐层到输出
    for n=1:hidden_layer_num
        hidden_state（nt）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
    end
    output_state（:t）=weight_hidden_output*hidden_state（:t）;

    %误差计算
    Error=output_state（:t）-test_data（:t）;
    Error_cost（1num）=sum（（output_state（:t）-test_data（:t））.^2）;
    if（Error_cost（1num）<1e-4）
        break;
    end
    %权值更新
    [weight_input_hiddenweight_prehidden_hiddenweight_hidden_output]=updata_weight（tyitaErrortrain_datahidden_stateweight_input_hiddenweight_prehidden_hiddenweight_hidden_output）;

end
    if（Error_cost（1num）<1e-4）
        break;
    end
end
%% 绘制COST曲线
for n=1:1:num
    text（nError_cost（1n）‘*‘）;
    axis（[0num01]）;
    title（‘Error-cost曲线图‘）;
end
%% 结果检验
%%由1-3天=>第四天
pre_hidden_state=weight_input_hidden*train_data（:1）;
for n=1:hidden_layer_num
    hidden_state（n1）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
end
output_state（:1）=weight_hidden_output*hidden_state（:1）;
fprintf（‘前三天推测第四天的结果%d \n真实第四天结果%d \n‘ output_state（:1） test_data（:1））;
% %由1-3天=>第四天
% train_data（:3）;
% pre_hidden_state=weight_input_hidden*train_data（:3）+weight_prehidden_hidden*hidden_state（:2）;
% for n=1:hidden_layer_num
%     hidden_state（n3）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
% end
% output_state（:3）=weight_hidden_output*hidden_state（:3）;
%
% test_data（:3）
%使用第七组检验
test_final=[0.4557 0.4790 0.7019 0.8211 0.4601 0.4811 0.7101 0.8298 0.4612 0.4845 0.7188 0.8312]‘;
test_final=test_final/sqrt（sum（test_final.^2））;
test_output=test_data（:4）;
pre_hidden_state=weight_input_hidden*test_final+weight_prehidden_hidden*hidden_state（:3）;
for n=1:hidden_layer_num
    hidden_state1（n1）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
end
t_output=weight_hidden_output*hidden_state1（:1）
test_output

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件       3176  2017-11-01 10:20  MATLAB-RNN-elman\Elman_data_main.m

     文件       1304  2017-11-01 10:39  MATLAB-RNN-elman\Elman_data_process.m

     文件       1322  2017-11-01 10:18  MATLAB-RNN-elman\updata_weight.m

     目录          0  2017-11-01 11:07  MATLAB-RNN-elman

----------- ---------  ---------- -----  ----

                 5802                    4