id3算法实现

id3算法利用matlab的实现，利用treeplot画出生成的决策树

function entro = entro_calculated（x）
    % % calculate the entropy
    Elem_x = unique（x）; % find all possible elements of Y
    num_x = length（Elem_x）; % the number of possible cases of Y
    denominator = length（x）;
    prob = zeros（num_x1）;
    Info = zeros（num_x1）;
    for i = 1:num_x
        index = （x == Elem_x（i））;
        prob（i） = sum（index）/denominator;
        Info（i） = prob（i）*log（prob（i））;
    end

    entro = -sum（prob.*Info）/log（2）; % unified as bit
end

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2014-03-22 19:26  Maching Learning\
     文件        6250  2014-03-07 20:00  Maching Learning\balance-scale.data
     文件        2222  2014-03-07 20:00  Maching Learning\balance-scale.names
     文件       15777  2014-03-12 16:25  Maching Learning\balance_scale.png
     文件        5089  2014-03-12 16:41  Maching Learning\balloon.png
     文件         160  2014-03-11 22:58  Maching Learning\balloons.data
     文件        1104  2014-03-07 19:59  Maching Learning\balloons.names
     文件         488  2014-03-05 16:21  Maching Learning\entro_calculated.m
     文件         493  2014-03-05 20:20  Maching Learning\E_category.m
     文件         254  2014-03-12 16:26  Maching Learning\GolfPlay.mat
     文件        4388  2014-03-12 16:27  Maching Learning\GolfPlay.png
     文件         447  2014-03-12 16:11  Maching Learning\ID3_tree.m
     文件         408  2014-03-07 20:06  Maching Learning\lenses.data
     文件        1644  2014-03-07 20:06  Maching Learning\lenses.names
     文件        5222  2014-03-12 16:45  Maching Learning\lenses.png
     文件         123  2014-03-12 15:37  Maching Learning\preproc_balance_scale.asv
     文件         192  2014-03-12 16:11  Maching Learning\preproc_balance_scale.m
     文件         226  2014-03-12 16:40  Maching Learning\preproc_balloons.m
     文件          62  2014-03-12 16:27  Maching Learning\preproc_GolfPlay.m
     文件          83  2014-03-12 16:32  Maching Learning\preproc_lenses.m
     文件        2113  2014-03-12 00:45  Maching Learning\recurrent_step.asv
     文件        2119  2014-03-12 00:46  Maching Learning\recurrent_step.m