云雾深度学习:RNN 隐藏结构稀疏化和超低精度梯度下降法 GAIR大讲堂 | 第54期
杜克大学博士生分享云雾深度学习
开课时间:2018/04/10 20:00 预计时长:1个小时左右
课程回放
413人报名
观看回放
课程介绍

分享主题 
 
云雾深度学习:RNN 隐藏结构稀疏化和超低精度梯度下降法
 
分享背景
 
如今,基于深度学习的 AI 系统日趋产业化,如何有效地在云端和雾端进行落地成为一个核心问题。相对于传统机器学习,深度学习无论是训练还是部署都对计算和通信等提出了很大的挑战。在云端(如 Google Cloud、Amazon AWS、Microsoft Azure、Facebook Big Basin),深度神经网络的训练依赖于分布式系统,其可扩展性受限于通信带宽。 在雾端(Fog Computing,如移动手机的 Face ID、无人机、去中心化自动驾驶系统等),便携设备的计算等资源有限,深度神经网络的高效部署依赖于模型压缩与加速技术,以完成轻量级部署。
 
分享提纲
 
1.云端与雾端 AI 部署的挑战。
2.雾端加速 [ICLR 2018]:结构化稀疏递归神经网络,以提高推理速度。
3.云端优化 [NIPS 2017 oral]:三元化随机梯度下降方法,以降低通信带宽。

TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning
https://papers.nips.cc/paper/6749-terngrad-ternary-gradients-to-reduce-communication-in-distributed-deep-learning.pdf
LEARNING INTRINSIC SPARSE STRUCTURES WITHIN LONG SHORT-TERM MEMORY
https://openreview.net/pdf?id=rk6cfpRjZ 

分享嘉宾

温伟,杜克大学四年级博士生,导师是 Hai Helen Li 教授和 Yiran Chen 教授。主要研究方向是机器学习、分布式深度学习、模型压缩与加速、神经形态计算芯片等。其研究工作曾在 NIPS、ICCV、ICLR、CVPR、DAC 等发表,是 ASP-DAC 2017 最佳论文获得者,也是 DAC 2015 和 DAC 2016 最佳论文提名者。温伟是 Microsoft Research、HP Labs 和 Facebook Research 的实习生。
个人主页:
http://www.pittnuts.com/ 
 
分享时间
 
北京时间 4 月 10 日(周二)晚上 8:00

课程须知
  • 请大家提前10分钟进入直播间
  • 开课后两个工作日左右会上传回放视频,错过直播的同学也不要担心
  • 欢迎大家多多向嘉宾提问,问题被采纳者有机会获得神秘礼品