# 23Fall_Optimization

**Repository Path**: leiyunfei/23-fall_optimization

## Basic Information

- **Project Name**: 23Fall_Optimization
- **Description**: 北航23fall 最优化方法作业

- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-10-06
- **Last Updated**: 2023-10-07

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 23秋 最优化方法-深度学习优化方法第一次作业

## 优化算法对比

在一个简单的回归问题上使用了GD，SGD，SGDM，AdaGrad，RMSProp和Adam优化算法：

![](优化算法对比/csvs/ablation.png)

每个优化算法都能达到最优，但是SGD收敛的慢，SGDM震荡剧烈，RMSProp和Adam表现差不多，AdaGrad表现最好，可能是因为数据集较小，AdaGrad学习率衰退的不明显。