利用Features Replay实现深度神经网络训练模块间的并行 大讲堂 | 第130期
本次分享中,讲者将介绍如何利用历史特征信息,实现深度网络模块间的并行计算
开课时间:2019/03/19 20:00 预计时长:一个小时左右
离开课还有:
  • --
  • --
  • --
  • --
  • 247人报名
    报名预约
    课程介绍

    分享主题

    2018 NeurIPS Spotlight 论文解读: 利用Features Replay实现深度神经网络训练模块间的并行

     

    分享背景

    反向传播算法是深度学习优化中计算梯度的有效方法。然而随着网络层数逐渐增加,梯度在网络间的序列传播 (backward locking) 成为加速深度学习模型训练的重要瓶颈。本次分享中,讲者将介绍如何利用历史特征信息,实现深度网络模块间的并行计算。

     

    分享嘉宾

    霍周元,匹兹堡大学在读博士,京东数字科技实习生,主要研究方向为分布式机器学习,随机优化。其研究工作曾在ICML, NeurIPS, KDD, AAAI, IJCAI等发表。

     

    分享提纲

    1、反向传播与backward locking

    2、相关算法简介

    3、Features Replay并行深度学习

     

    分享时间

    (北京时间 )3月 19 日(星期二)  20:00

     

    附:公开课小组微信交流群(可与老师交流)

    课程须知
    • 本次公开课将于03月19日周二晚8点准时开始,请大家提前10分钟进入直播间
    • 公开课后两天内会上传回放视频,错过直播的同学也不要担心
    • 欢迎大家多多向嘉宾提问,问题被采纳者有机会获得神秘礼品

    授课教师

    匹兹堡大学在读博士,京东数字科技实习生,主要研究方向为分布式机器学习,随机优化。其研究工作曾在ICML, NeurIPS, KDD, AAAI, IJCAI等发表。
    微信扫码分享课程
    投递简历

    扫描求职百题斩小程序
    助求职者一壁之力

    微信扫码助力

    如果您对这家企业感兴趣,想要加入一同谋事,可上传您的简历。
    投递简历