标准化技术在训练深度神经网络中的应用 GAIR大讲堂 | 第53期
标准化技术在训练深度神经网络中的应用
开课时间:2018/04/03 20:00 预计时长:1个小时左右
课程回放
268人报名
观看回放
课程介绍
 
分享主题 
 
标准化技术在训练深度神经网络中的应用
 
分享背景
 
标准化技术目前已被广泛应用于各种深度神经网络的训练,如著名的批量标准化技术 (Batch Normalization, BN) 基本上是训练深度卷积网络的标准配置。装配有BN 模块的神经网络模型通常比原始模型更容易训练,且通常表现出更好的泛化能力。
 
本次GAIR大讲堂报告人将阐述标准化技术应用于训练深度神经网络中的主要动机以及介绍一些主流的标准化技术,除此之外报告人也将讲解其沿着这个方向发表在AAAI 2018 的论文《Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks》。
 
分享提纲
 
1、标准化技术应用于深度神经网络训练的主要动机及相关方法介绍。
     a) 标准化技术加速神经网络训练的主要动机
     b) 主要的标准化方法介绍
2、正交权重标准化技术:在通用的前向神经网络中学习正交过滤器组。
     a) 在深度神经网络中学习正交过滤器组的主要动机
     b) 基于重参数化方法求解多个依赖的Stiefel流形优化问题
     c) 实验结果介绍
 
分享嘉宾
 
黄雷,北京航空航天大学计算机学院博士,曾于2015年10月至2016年10月在密歇根大学安娜堡分校Vision & Learning 实验室做关于深度学习模型优化方面的研究。主要的研究领域为深度神经网络中标准化技术,半监督学习,非参主动学习及相关方法在计算机视觉和多媒体领域中的应用。目前已发表学术论文十余篇,包括 CVPR,ICCV和AAAI 等。
 
 
分享时间
 
(北京时间 )  4 月 3 日(星期二)  20:00
课程须知
  • 本次公开课将于4月3日晚上8点准时开始,请大家提前10分钟进入直播间
  • 开课后两天内会上传回放视频,错过直播的同学也不要担心
  • 欢迎大家多多向嘉宾提问,问题被采纳者有机会获得神秘礼品