集成学习方法matlab实现

集成学习（Ensemble Learning）有时也被笼统地称作提升（Boosting）方法，广泛用于分类和回归任务。它最初的思想很简单：使用一些（不同的）方法改变原始训练样本的分布，从而构建多个不同的分类器，并将这些分类器线性组合得到一个更强大的分类器，来做最后的决策。本文件内包含多种集成学习方法，可进行选择，比较其优劣势

function oul = bks_combiner（otlreerel）
% --- BKS combiner for label outputs
% Input: ----------------------------------------
%     otl:  outputs to label
%           = array N（objects）-by-L（classifiers）
%           entry （ij） is the label of object i
%           by classifier j （integer labels）
%     ree:  reference ensemble
%           = array M（objects）-by-L（classifiers）
%           entry （ij） is the label of object i
%           by classifier j （integer labels）
%     rel:  reference labels
%           = array M（objects）-by-1 
%           true labels （integers）
% Output:  --------------------------------------
%    oul:   output labels
%           = array N（objects）-by-1 
%           assigned labels （integers）

N = size（otl1）;
M = size（ree1）;
largest_class = mode（rel）;
oul = zeros（N1）; % pre-allocate for speed
for i = 1:N
    matches = sum（ree ~= repmat（otl（i:）M1）2） == 0;
    if sum（matches）
        oul（i） = mode（rel（matches））;
    else % there is no match in the reference 
        % ensemble output; use the largest prior
        oul（i） = largest_class;
    end 
end

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2018-12-04 19:03  Classifier-Ensembles-master\
     文件          79  2018-12-04 19:03  Classifier-Ensembles-master\README.md
     目录           0  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\
     文件         327  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\Readme.md
     目录           0  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\
     文件        4337  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\ExampleClassifierCombinationRules.m
     文件       18533  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\FishDataNoNoise.png
     文件       23811  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\FishDataNoise30.png
     文件        2512  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\Readme.md
     文件      229902  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\TwoEnsembleView.png
     文件      251454  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\TwoEnsemblesRidge50.png
     文件        1131  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\bks_combiner.m
     文件         914  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\create_ensemble2_callback.m
     文件        1003  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\create_ensemble_callback.m
     文件         879  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\fish_data.m
     文件        1663  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\nb_combiner.m
     文件         842  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\noise_slider_callback.m
     文件         930  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\plot_combiner.m
     文件        2827  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\demo\train_linear.m
     目录           0  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\
     文件        8756  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\CombinersSeparately.zip
     文件        1711  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\Readme.md
     文件       19875  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\TreeCombinerRegions.png
     文件        4445  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\TryOutCombiners.m
     文件         822  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\average_combiner.m
     文件        1183  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\bks_combiner.m
     文件        1245  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\decision_templates_combiner.m
     文件        1139  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\ldc_combiner.m
     文件         552  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\majority_combiner.m
     文件         823  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\maximum_combiner.m
     文件         821  2018-12-04 19:03  Classifier-Ensembles-master\combination_rules\individual_combiners\median_combiner.m
............此处省略6个文件信息