利用Features Replay实现深度神经网络训练模块间的并行 大讲堂 | 第130期
本次分享中,讲者将介绍如何利用历史特征信息,实现深度网络模块间的并行计算
开课时间:2019/03/19 20:00 预计时长:一个小时左右
课程回放
307人报名
观看回放
课程介绍

分享主题

2018 NeurIPS Spotlight 论文解读: 利用Features Replay实现深度神经网络训练模块间的并行

 

分享背景

反向传播算法是深度学习优化中计算梯度的有效方法。然而随着网络层数逐渐增加,梯度在网络间的序列传播 (backward locking) 成为加速深度学习模型训练的重要瓶颈。本次分享中,讲者将介绍如何利用历史特征信息,实现深度网络模块间的并行计算。

 

分享嘉宾

霍周元,匹兹堡大学在读博士,京东数字科技实习生,主要研究方向为分布式机器学习,随机优化。其研究工作曾在ICML, NeurIPS, KDD, AAAI, IJCAI等发表。

 

分享提纲

1、反向传播与backward locking

2、相关算法简介

3、Features Replay并行深度学习

 

分享时间

(北京时间 )3月 19 日(星期二)  20:00

 

附:公开课小组微信交流群(可与老师交流)

课程须知
  • 本次公开课将于03月19日周二晚8点准时开始,请大家提前10分钟进入直播间
  • 公开课后两天内会上传回放视频,错过直播的同学也不要担心
  • 欢迎大家多多向嘉宾提问,问题被采纳者有机会获得神秘礼品

授课教师

匹兹堡大学在读博士,京东数字科技实习生,主要研究方向为分布式机器学习,随机优化。其研究工作曾在ICML, NeurIPS, KDD, AAAI, IJCAI等发表。
微信扫码分享课程
投递简历

扫描求职百题斩小程序
助求职者一壁之力

微信扫码助力

如果您对这家企业感兴趣,想要加入一同谋事,可上传您的简历。
投递简历