The Limit of the Batch Size #11
Description
一言でいうと
DNNの大規模分散学習におけるバッチサイズの限界について分析．
論文リンク
https://arxiv.org/pdf/2006.08517.pdf
著者/所属機関
Yang You, Yuhui Wang, Huan Zhang, Zhao Zhang, James Demmel, Cho-Jui Hsieh (UC Berkeley)
投稿日付(yyyy/MM/dd)
2020/06/15
概要
新規性・差分
バッチサイズの限界についての初めての議論．
手法
大規模実験と詳細な分析によってバッチサイズの限界とultra-slow diffusion理論について検証．
結果
