NEZHA

NEZHA全名为NEural contextualiZed representation for CHinese lAnguage understanding,NEZHA相较于BERT有如下改进: (1)函数式相对位置编码 (2)全词覆盖 (3)混合精度训练 (4)训练过程中使用 LAMB 优化器