论文研读(深度学习、低频高频、多尺度网络)

发布于 2020-10-29  1051 次阅读


总述

Frequency Principle in Deep Learning and MscaleDNN for learning high frequency

许志钦 Zhi-Qin John Xu

  • 我们展示了一种非常通用的频率原理,即深度神经网络在诸如MNIST / CIFAR10之类的高维基准数据集和诸如VGG16之类的深度神经网络上更快地学习低频。
  • 然后,我们利用频率原理来理解深度学习的泛化。
  • 最后,我们设计了一种多尺度DNN,该DNN在应用程序(例如解决PDE)中更快地学习高频功能。

基本概念

  • 函数拟合
  • 高维概率密度
  • 逼近、泛化、训练误差
  • 泛化:算法、数据(匹配)
  • 增加模型复杂度,训练集误差下降,测试集overfighting

数据集

  • CIFAR10
    • CIFAR-10数据集包含10个类别的60000个32x32彩色图像,每个类别6000个图像。有50000张训练图像和10000张测试图像。
    • 数据集分为五个训练批次和一个测试批次,每个批次具有10000张图像。测试批次包含每个类别中恰好1000个随机选择的图像。
    • 训练批次按随机顺序包含其余图像,但是某些训练批次可能包含比另一类更多的图像。在它们之间,培训批次包含每个班级的正好5000张图像。
数据集中的类
  • Mnist
    • MNIST手写数字数据库的训练集为60,000个示例,而测试集为10,000个示例。
    • 文件格式
      • 训练设置标签文件(train-labels-idx1-ubyte)
      • 训练集图像文件(train-images-idx3-ubyte
      • 测试集标签文件(t10k-labels-idx1-ubyte)
      • 测试集图像文件(t10k-images-idx3-ubyte)

方法

  • target function -->DNN(Deep Neural Networks) fitting
  • Frequency principle: lower frequency to high frequency
  • 多尺度网络
    • 多尺度输入网络
    • 多尺度特征融合网络
      • 并行多分支结构
        •  Inception 网络中的 Inception 基本模块,包括有四个并行的分支结构,分别是 1×1 卷积,3×3 卷积,5×5 卷积,3×3 最大池化
      • 串行多分支结构
        • U-Net,skip connection