最新模型架构整理-番外篇

模型基础结构:

ELMo=双向+LSTM

GPT=单向+Transformer

Bert=双向+Transformer

 

Bert改进?

答:

对于BERT的改进可以大体分为两个方向:

第一个是纵向,即去研究bert模型结构或者算法优化等方面的问题,致力于提出一种比bert效果更好更轻量级的模型;

第二个方向是横向,即在bert的基础上稍作修改去探索那些vanilla bert还没有触及的领域。直观上来看第二个方向明显会比第一个方向简单,关键是出效果更快。

模型参数比较?

答:Bert-base: 108M    Bert-lagrge:334M

ALBert-base:12M   ALBert-large:18M

ALBert训练速度是Bert的三倍,但要注意的是:预测速度不会变!

(后来有出了albert_tiny模型,更小更快,1.8M,速度快10倍)

 

模型融入融入知识图谱面临的两大挑战?

答:

1.Structed Knowledge Encoding:对于给定的文本,如何有效的提取其中的知识图谱信息并对其进行 encode。

2.Heterogeneous Information Fusion:即如何将 encode 后的知识图谱信息融入预训练模型。

2

发表评论

电子邮件地址不会被公开。 必填项已用*标注

微信扫一扫

微信扫一扫

微信扫一扫,分享到朋友圈

最新模型架构整理-番外篇
嘿!有什么能帮到您的吗?
返回顶部

显示

忘记密码?

显示

显示

获取验证码

Close