Оптимизатор Adam Подробно описан с помощью анимации | Оптимизаторов в Deep Learning Part 5

• Адам - самый мощный метод оптимизации для CNN, RNN и других задач.  

• Адам используется в большинстве случаев для оптимизации с помощью пакетного градиентного спуска, мини-пакетного градиентного спуска и базовых методов ускоренного градиента.  

• Адам основан на идее пакетного градиентного спуска, который затухает колебания скорости импульса.  

• Адам использует математическую формулу для коррекции смещения и скорости обучения.  

• Адам показывает сходящуюся задачу выпуклой оптимизации.  

• В сложных нейронных сетях Адам может быть не лучшим выбором, поэтому рекомендуется использовать RMS Prop или другие методы оптимизации.