论文研读（深度学习、低频高频、多尺度网络）

总述

Frequency Principle in Deep Learning and MscaleDNN for learning high frequency

许志钦 Zhi-Qin John Xu

• 我们展示了一种非常通用的频率原理，即深度神经网络在诸如MNIST / CIFAR10之类的高维基准数据集和诸如VGG16之类的深度神经网络上更快地学习低频。
• 然后，我们利用频率原理来理解深度学习的泛化。
• 最后，我们设计了一种多尺度DNN，该DNN在应用程序（例如解决PDE）中更快地学习高频功能。

基本概念

• 函数拟合
• 高维概率密度
• 逼近、泛化、训练误差
• 泛化：算法、数据（匹配）
• 增加模型复杂度，训练集误差下降，测试集overfighting

数据集

• CIFAR10
  • CIFAR-10数据集包含10个类别的60000个32x32彩色图像，每个类别6000个图像。有50000张训练图像和10000张测试图像。
  • 数据集分为五个训练批次和一个测试批次，每个批次具有10000张图像。测试批次包含每个类别中恰好1000个随机选择的图像。
  • 训练批次按随机顺序包含其余图像，但是某些训练批次可能包含比另一类更多的图像。在它们之间，培训批次包含每个班级的正好5000张图像。

• Mnist
  • MNIST手写数字数据库的训练集为60,000个示例，而测试集为10,000个示例。
  • 文件格式
    • 训练设置标签文件（train-labels-idx1-ubyte）
    • 训练集图像文件（train-images-idx3-ubyte
    • 测试集标签文件（t10k-labels-idx1-ubyte）
    • 测试集图像文件（t10k-images-idx3-ubyte）

方法

• target function -->DNN(Deep Neural Networks) fitting
• Frequency principle: lower frequency to high frequency
• 多尺度网络
  • 多尺度输入网络
  • 多尺度特征融合网络
    • 并行多分支结构
      •  Inception 网络中的 Inception 基本模块，包括有四个并行的分支结构，分别是 1×1 卷积，3×3 卷积，5×5 卷积，3×3 最大池化
    • 串行多分支结构
      • U-Net，skip connection