路线
Machine Learning Mindmap | ActiveWizards: data science and engineering lab
如果有一天你要去罗马，但你不认识路，你可能会问路。
随机梯度下降就是，你每走一段路后，再问一个人接下来怎么走，每次走的路程逐步递减。例如第一次走100 km, 第二次走 99 km。
虽然有可能有人会骗你或者指错了路，但最终你还是能走到罗马的。
作者：陈大帅
链接：https://www.zhihu.com/question/28728418/answer/415574476
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
不断使用测试集和验证集会使其逐渐失去效果。也就是说，您使用相同数据来决定超参数设置或其他模型改进的次数越多，您对于这些结果能够真正泛化到未见过的新数据的信心就越低。请注意，验证集的失效速度通常比测试集缓慢。
如果可能的话，建议您收集更多数据来“刷新”测试集和验证集。重新开始是一种很好的重置方式。