Matlab Tutorial 03 official SVM and NNW

Morning

3 年前

本文主要介绍在Matlab中使用官方库函数提供的SVM支持向量机和NNW神经网络，同时将这两种模型应用到多目标分类（Multi-Target Classfication）上。

一、神经网络

1.1 newff()函数参数说明

使用的函数newff()是前馈反向传播网络，下面是它的定义式：

net = newff(P,T,S)
net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF)

P：输入参数矩阵。(RxQ1)，其中Q1代表R元的输入向量。其数据意义是矩阵P有Q1列，每一列都是一个样本，而每个样本有R个属性（特征）。一般矩阵P需要归一化，即P的每一行都归一化到[0 1]或者[-1 1]。m * n，m是特征数, n是样本数。
T：目标参数矩阵。(SNxQ2)，Q2代表SN元的目标向量。
S：N-1个隐含层的数目（S（i）到S（N-1）），默认为空矩阵[]。输出层的单元数目SN取决于T。返回N层的前馈BP神经网络
TF：相关层的传递函数，默认隐含层为tansig函数，输出层为purelin函数。
BTF：BP神经网络学习训练函数，默认值为trainlm函数。
BLF：权重学习函数，默认值为learngdm。
PF：性能函数，默认值为mse，可选择的还有sse，sae，mae，crossentropy。
IPF，OPF，DDF均为默认值即可。

1.2 传递函数TF

purelin：线性传递函数。
tansig ：正切S型传递函数。
logsig ：对数S型传递函数。　
隐含层和输出层函数的选择对BP神经网络预测精度有较大影响，一般隐含层节点转移函数选用 tansig函数或logsig函数，输出层节点转移函数选用tansig函数或purelin函数。

1.3 学习训练函数BTF

traingd：最速下降BP算法。
traingdm：动量BP算法。
trainda：学习率可变的最速下降BP算法。
traindx：学习率可变的动量BP算法。
trainrp：弹性算法。

变梯度算法：

traincgf（Fletcher-Reeves修正算法）
traincgp（Polak_Ribiere修正算法）
traincgb（Powell-Beale复位算法）
trainbfg（BFGS 拟牛顿算法）
trainoss（OSS算法）

1.4 参数说明

通过net.trainParam可以查看参数

Show Training Window Feedback showWindow: true
Show Command Line Feedback showCommandLine: false
Command Line Frequency show: 两次显示之间的训练次数
Maximum Epochs epochs: 训练次数
Maximum Training Time time: 最长训练时间（秒）
Performance Goal goal: 网络性能目标
Minimum Gradient min_grad: 性能函数最小梯度
Maximum Validation Checks max_fail: 最大验证失败次数
Learning Rate lr: 学习速率
Learning Rate Increase lr_inc: 学习速率增长值
Learning Rate lr_dec: 学习速率下降值
Maximum Performance Increase max_perf_inc:
Momentum Constant mc: 动量因子

1.5 实例

% 创建网络
net = newff(TriX, TriY, 9);

% 设置参数
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
net.trainParam.lr = 0.01;

% 训练
net = train(net, TriX, TriY);

% 测试
PreY = sim(net, TestX);

值得注意的地方是，这里的X和Y需要是m * n，即m个特征* n个样本数。

二、支持向量机

2.1 fitcsvm()函数参数说明

fitcsvm()本身应用于单目标回归，我们可以将多目标拆分成多个单目标回归以应用到多目标上。

model = fitcsvm(X,Y,'ClassNames',{'negClass','posClass'},'Standardize',true,...
        'KernelFunction','rbf','BoxConstraint',1);

X是训练样本，nxm的矩阵，n是样本数，m是特征维数。
Y是样本标签，nx1的矩阵，n是样本数。
‘ClassNames’,{‘negClass’,‘posClass’} 为键值对参数，指定正负类别，负类名在前，正类名在后，与样本标签Y中的元素对应。
‘Standardize’,true 为键值对参数，指示软件是否应在训练分类器之前使预测期标准化。
‘KernelFunction’,‘rbf’ 为键值对参数，有3种 ‘linear’（默认）, ‘gaussian’ (or ‘rbf’), ‘polynomial’。
‘BoxConstraint’,1 为键值对参数，直观上可以理解为一个惩罚因子（或者说正则参数），这个参数和svmtrain里的-c是一个道理。其实际上涉及到软间隔SVM的间隔（Margin）大小。

2.2 实例

 model1 = fitcsvm(TriX, TriY(:, 1));
 model2 = fitcsvm(TriX, TriY(:, 2));
 model3 = fitcsvm(TriX, TriY(:, 3));

 [label1, score1] = predict(model1, TestX);
 [label2, score2] = predict(model2, TestX);
 [label3, score3] = predict(model3, TestX);

 PreY = [label1, label2, label3];