「本章白话内容居多，大佬们不必看或者放松当成小说看」

优化器的英文是Optimizer，本意是让一件事情变得更好。那么让什么事情更好呢？

好问题，众所周知，任何机器学习的结构都是y=f(x)，给个输入「x」通过一系列的操作，变成符合现实的输出「y」。f，function，例如说 y=kx+b, 这个结构是f，而除了x和y之外的所有参数（意思是在一次运行过程中不发生改变的量）「此处指的是k和b」。换而言之，给你一组类似于一元一次函数的输入和输出，寻找一个f，使得生成的y_hat，贴近y（真实值）。

优化器的作用就是让这个f中的k和b变成一个具体数值，使用这组具体数值能够让误差（y和yhat的误差）最小。（y和y_hat误差不一定只是绝对值哦，还有很多其他形式的数学定义来定义他们的误差）。

理解优化器也很容易，把优化器当成流水线上的打工人，误差（loss）给优化器（Optimizer）之后，优化器根据loss对k和b（神经网络中的参数）进行调整，仅此而已，只不过有很多种的优化器，不同生产环境下需要的打工人可能会不一样。

机器学习：各种优化器Optimizer的总结与比较_SanFancsgo的博客-CSDN博客_优化器?blog.csdn.net

「以后总结、先 一会儿」