简单易学的机器学习算法极限学习机(ELM)

上传者：郭殿杰
|
上传时间：2015-05-06
|
密次下载

简单易学的机器学习算法极限学习机(ELM)

内容需要下载文档才能查看

即存在，和

内容需要下载文档才能查看

，使得

内容需要下载文档才能查看

可以矩阵表示为其中，

内容需要下载文档才能查看

是隐层节点的输出，

内容需要下载文档才能查看

为输出权重，

内容需要下载文档才能查看内容需要下载文档才能查看

为期望输出。

内容需要下载文档才能查看

，为了能够训练单隐层神经网络，我们希望得到，

内容需要下载文档才能查看

和

内容需要下载文档才能查看

，使得其中，

内容需要下载文档才能查看

，这等价于最小化损失函数传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中

内容需要下载文档才能查看

调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵

内容需要下载文档才能查看

就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重

内容需要下载文档才能查看

可以被确定

其中，三、实验是矩阵

内容需要下载文档才能查看

的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。

我们使用《简单易学的机器学习算法——Logistic回归》中的实验数据。

原始数据集

我们采用统计错误率的方式来评价实验的效果，其中错误率公式为：

内容需要下载文档才能查看

对于这样一个简单的问题，MATLAB代码

主程序

[plain]

01.

02.

03.

04.

05.

06.

07.

08.

09.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

47.

48.

49.

50.

51.

52.

53.

54.

55.

56.

57.

58.

59. %% 主函数，二分类问题 %导入数据集 A = load('testSet.txt'); data = A(:,1:2);%特征 label = A(:,3);%标签 [N,n] = size(data); L = 100;%隐层节点个数 m = 2;%要分的类别数 %‐‐初始化权重和偏置矩阵 W = rand(n,L)*2‐1; b_1 = rand(1,L); ind = ones(N,1); b = b_1(ind,:);%扩充成N*L的矩阵 tempH = data*W+b; H = g(tempH);%得到H %对输出做处理 temp_T=zeros(N,m); for i = 1:N if label(i,:) == 0 temp_T(i,1) = 1; else temp_T(i,2) = 1; end end T = temp_T*2‐1; outputWeight = pinv(H)*T; %‐‐画出图形 x_1 = data(:,1); x_2 = data(:,2); hold on for i = 1 : N if label(i,:) == 0 plot(x_1(i,:),x_2(i,:),'.g'); else plot(x_1(i,:),x_2(i,:),'.r'); end end output = H * outputWeight; %‐‐‐计算错误率 tempCorrect=0; for i = 1:N [maxNum,index] = max(output(i,:)); index = index‐1; if index == label(i,:); tempCorrect = tempCorrect+1; end end errorRate = 1‐tempCorrect./N; 。激活函数

[plain]

01. 02.

03. function [ H ] = g( X ) H = 1 ./ (1 + exp(‐X)); end

黄老师提供的极限学习机的代码：点击打开链接