本文主要介绍在Matlab中使用官方库函数提供的SVM支持向量机和NNW神经网络,同时将这两种模型应用到多目标分类(Multi-Target Classfication)上。
一、神经网络
1.1 newff()函数参数说明
使用的函数newff()是前馈反向传播网络,下面是它的定义式:
net = newff(P,T,S)
net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF)
- P:输入参数矩阵。(RxQ1),其中Q1代表R元的输入向量。其数据意义是矩阵P有Q1列,每一列都是一个样本,而每个样本有R个属性(特征)。一般矩阵P需要归一化,即P的每一行都归一化到[0 1]或者[-1 1]。m * n,m是特征数, n是样本数。
- T:目标参数矩阵。(SNxQ2),Q2代表SN元的目标向量。
- S:N-1个隐含层的数目(S(i)到S(N-1)),默认为空矩阵[]。输出层的单元数目SN取决于T。返回N层的前馈BP神经网络
- TF:相关层的传递函数,默认隐含层为tansig函数,输出层为purelin函数。
- BTF:BP神经网络学习训练函数,默认值为trainlm函数。
- BLF:权重学习函数,默认值为learngdm。
- PF:性能函数,默认值为mse,可选择的还有sse,sae,mae,crossentropy。
- IPF,OPF,DDF均为默认值即可。
1.2 传递函数TF
- purelin: 线性传递函数。
- tansig :正切S型传递函数。
- logsig :对数S型传递函数。
- 隐含层和输出层函数的选择对BP神经网络预测精度有较大影响,一般隐含层节点转移函数选用 tansig函数或logsig函数,输出层节点转移函数选用tansig函数或purelin函数。
1.3 学习训练函数BTF
- traingd:最速下降BP算法。
- traingdm:动量BP算法。
- trainda:学习率可变的最速下降BP算法。
- traindx:学习率可变的动量BP算法。
- trainrp:弹性算法。
变梯度算法:
- traincgf(Fletcher-Reeves修正算法)
- traincgp(Polak_Ribiere修正算法)
- traincgb(Powell-Beale复位算法)
- trainbfg(BFGS 拟牛顿算法)
- trainoss(OSS算法)
1.4 参数说明
通过net.trainParam可以查看参数
- Show Training Window Feedback showWindow: true
- Show Command Line Feedback showCommandLine: false
- Command Line Frequency show: 两次显示之间的训练次数
- Maximum Epochs epochs: 训练次数
- Maximum Training Time time: 最长训练时间(秒)
- Performance Goal goal: 网络性能目标
- Minimum Gradient min_grad: 性能函数最小梯度
- Maximum Validation Checks max_fail: 最大验证失败次数
- Learning Rate lr: 学习速率
- Learning Rate Increase lr_inc: 学习速率增长值
- Learning Rate lr_dec: 学习速率下降值
- Maximum Performance Increase max_perf_inc:
- Momentum Constant mc: 动量因子
1.5 实例
% 创建网络
net = newff(TriX, TriY, 9);
% 设置参数
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
net.trainParam.lr = 0.01;
% 训练
net = train(net, TriX, TriY);
% 测试
PreY = sim(net, TestX);
值得注意的地方是,这里的X和Y需要是m * n,即m个特征* n个样本数。
二、支持向量机
2.1 fitcsvm()函数参数说明
fitcsvm()本身应用于单目标回归,我们可以将多目标拆分成多个单目标回归以应用到多目标上。
model = fitcsvm(X,Y,'ClassNames',{'negClass','posClass'},'Standardize',true,...
'KernelFunction','rbf','BoxConstraint',1);
- X是训练样本,nxm的矩阵,n是样本数,m是特征维数。
- Y是样本标签,nx1的矩阵,n是样本数。
- ‘ClassNames’,{‘negClass’,‘posClass’} 为键值对参数,指定正负类别,负类名在前,正类名在后,与样本标签Y中的元素对应。
- ‘Standardize’,true 为键值对参数,指示软件是否应在训练分类器之前使预测期标准化。
- ‘KernelFunction’,‘rbf’ 为键值对参数,有3种 ‘linear’(默认), ‘gaussian’ (or ‘rbf’), ‘polynomial’。
- ‘BoxConstraint’,1 为键值对参数,直观上可以理解为一个惩罚因子(或者说正则参数),这个参数和svmtrain里的-c是一个道理。其实际上涉及到软间隔SVM的间隔(Margin)大小。
2.2 实例
model1 = fitcsvm(TriX, TriY(:, 1));
model2 = fitcsvm(TriX, TriY(:, 2));
model3 = fitcsvm(TriX, TriY(:, 3));
[label1, score1] = predict(model1, TestX);
[label2, score2] = predict(model2, TestX);
[label3, score3] = predict(model3, TestX);
PreY = [label1, label2, label3];