RNN算法推导过程及代码.zip

对循环神经网络的简单认识及一些主要数学过程的推导的文档和应用matlab代码编写一个简单的循环神经网络进行预测的一个matlab程序。

%%%使用BPTT算法完成Elman网络的训练
%% 程序说明
%  1、数据为7天，四个时间点的空调功耗，用前三个推测第四个训练，依次类推。第七天作为检验
%  2、Elman网络输入结点为12，输出结点为4个，隐藏结点18个
clear all;
clc;
%% 加载数据并进行归一化处理
[train_datatest_data]=Elman_data_process（）;
data_length=size（train_data1）;            %每个样本的长度
data_num=size（train_data2）;               %样本数目 
%% 网络参数初始化
%结点数目设置
input_layer_num=data_length;
hidden_layer_num=18;
output_layer_num=size（test_data1）;
%权重初始化
weight_input_hidden=rand（hidden_layer_numinput_layer_num）/1000;
weight_prehidden_hidden=rand（hidden_layer_numhidden_layer_num）/1000;
weight_hidden_output=rand（output_layer_numhidden_layer_num）/1000;
output_state=zeros（output_layer_num3）;
%% 网络训练学习部分  采用BPTT算法
yita=0.001;              %每次迭代的步进
for num=1:4000
for t=1:3       %%时间步，使用三推一
    %从输入到隐层
    if （t==1）
        pre_hidden_state=weight_input_hidden*train_data（:t）;
    else
       pre_hidden_state=weight_input_hidden*train_data（:t）+weight_prehidden_hidden*hidden_state（:t-1）;
    end

    %从隐层到输出
    for n=1:hidden_layer_num
        hidden_state（nt）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
    end
    output_state（:t）=weight_hidden_output*hidden_state（:t）;

    %误差计算
    Error=output_state（:t）-test_data（:t）;
    Error_cost（1num）=sum（（output_state（:t）-test_data（:t））.^2）;
    if（Error_cost（1num）<1e-4）
        break;
    end
    %权值更新
    [weight_input_hiddenweight_prehidden_hiddenweight_hidden_output]=updata_weight（tyitaErrortrain_datahidden_stateweight_input_hiddenweight_prehidden_hiddenweight_hidden_output）;

end
    if（Error_cost（1num）<1e-4）
        break;
    end
end
%% 绘制COST曲线
for n=1:1:num
    text（nError_cost（1n）‘*‘）;
    axis（[0num01]）;
    xlabel（‘迭代次数‘）;
    ylabel（‘误差‘）;
end
%% 结果检验
%%由前1-3天=>第4天
pre_hidden_state=weight_input_hidden*train_data（:1）;
for n=1:hidden_layer_num
    hidden_state（n1）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
end
output_state（:1）=weight_hidden_output*hidden_state（:1）;
for i=4:7
fprintf（‘第%d天前面3天推测第%d天的结果%d \n‘iioutput_state（i-33））;
fprintf（‘真实第%d天结果%d \n‘itest_data（i-34））;
end
%使用第七组检验
test_final=[0.4557 0.4790 0.7019 0.8211 0.4601 0.4811 0.7101 0.8298 0.4612 0.4845 0.7188 0.8312]‘;
test_final=test_final/sqrt（sum（test_final.^2））;
test_output=test_data（:4）;
pre_hidden_state=weight_input_hidden*test_final+weight_prehidden_hidden*hidden_state（:3）;
for n=1:hidden_layer_num
    hidden_state1（n1）=1/（1+exp（-pre_hidden_state（n:）））;              %%通过sigmoid函数
end
t_output=weight_hidden_output*hidden_state1（:1）;
test_output;
%计算误差度
wucha=sum（abs（test_output-t_output）./t_output）/4

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     文件     1084464  2019-08-16 00:32  贾伟伟_RNN算法推导过程及代码.pdf
     文件        2899  2019-08-15 17:21  运行代码\Elman_BPTT.m
     文件        1304  2019-08-15 16:42  运行代码\Elman_data_process.m
     文件        1324  2019-08-15 16:42  运行代码\updata_weight.m
     文件      594299  2019-08-16 00:30  RNN算法推导过程及代码.docx