如果以下的表格及图像出现格式问题,请将你的浏览器中文字体的等宽字体设置好

一.预处理

提取特征量

Human created algorithm: 人想到的算法         +-----------------------+-------> |Human created algorithm| --------> 答案         +-----------------------+ Human created Feature quantity: 人想到的特征量      +------------------------------------------+       +---------------------------+----> |Human created Feature quantity(SIF,HGD...)| ----> |Machine learning(svm,knn..)| ---> 答案      +------------------------------------------+       +---------------------------+ Feature quantity find by computer: 计算机自动寻找特征量         +-----------------------------------+         |        Neural Networks            |-------> |      (Machine learning)           | --------> 答案         | Feature quantity find by computer |         +-----------------------------------+

Hyper-Parameter

设定超参数的范围
从设定的超参数的范围中随机采样
使用步骤1中采样到的超参数的值进行学习,通过验证数据,评估识别精度(要将epoch设置得很小)
重复步骤1和步骤2,根据他们的识别精度的结果缩小超参数的范围

超参数优化参考:贝叶斯最优化

权重

权重的初始值:不应该设置为0/1(设置为0或1,可能造成梯度消失),应选择随机生成初始值

其他权重初始值: He初始值

输出层

输出层的神经数量需要根据待解决的问题来决定,如:对于分类问题,输出层的神经元数量一般设定为类别的数量.

2019