Motivation

深度学习: 1,时间长:由于涉及到大量的超参数和复杂的结构,大多数神经网络的训练过程非常耗时。

                   2,重新训练:如果要更改神经网络的结构,或者增加样本,深度学习系统将遇到一个完整的重新训练过程。

宽度学习: 1,消除了训练过程长的缺点,并且提供了很好的泛化能力。

                   2,如果网络需要扩展,宽度学习网络可以快速重构,无需重新训练过程。

Preliminaries

1,RVFLNN

                                           宽度学习(一):宽度学习体系:有效和高效的无需深度架构的增量学习系统[通俗易懂]-风君雪科技博客宽度学习(一):宽度学习体系:有效和高效的无需深度架构的增量学习系统[通俗易懂]-风君雪科技博客

  • 给定输入X,它乘上一组随机的权重,加上随机的偏差之后传入到增强层得到H,并且这组权重在以后不会变了。
  • 输入X和增强层的计算结果H合并成一个矩阵,称为A,A=[X|H],把A作为输入,乘上权重,加上偏差之后传到输出层。
  • AW = Y,W=A-1Y,A不是一个方阵,所以是没有逆矩阵的,但是,没有逆矩阵,我们可以求A的伪逆。