按照林灰在论文中补充内容进行的阐述。
传统的训练机制下，文本摘要模型的产生思路是：
语料训练→模型
而按照林灰的思路引入预训练机制后。
文本摘要模型的产生思路是：
语料预训练→预训练模型→微调→模型
这个思路的本身是没问题的。
但伊芙·卡莉面对着这个全新的模型产生思路却满脑子全是问题。
具体应用的时候究竟引入何种的预训练方式才能够起到事半功倍的训练效率？
什么样的预训练模型才是预训练的目标？
对于预训练模型的“微调”究竟应该如何理解呢？
前两个问题是就林灰鼓捣的理论而产生的疑问。
第三个问题是因为语言方面的阐述而产生的一些疑问。
尽管伊芙·卡莉最近在向米娜·卡莉努力地学习汉语了。
但汉语显然并不是短时期内能够速成的。
对于预训练模型林灰所谓的“微调”的“微”究竟应该如何理解呢？
只是一点点小小的调整么？
还是说所谓的“微”只是因为林灰本人对这一事情难度的蔑视。
伊芙·卡莉觉得应该是后者。
不太可能是微小的调整。
为什么伊芙·卡莉这样想呢？
伊芙·卡莉觉得涉及到文本摘要方面的模型往往都是极其复杂的。
一个正式模型所涉及到的参数都是极其繁多的。
更何况是预训练产生的预训练模型呢？
这种先于正式模型产生的粗模型可能参数要更加复杂。
当然，这只是伊芙·卡莉的一点猜测。
涉及到这些问题只有林灰本人才可能有真正的答案。
自从来到林灰的身边之后。
原本伊芙·卡莉以为自己的问题会逐渐变少。
但实际却是问题愈发变得多了起来。
至少刚才的那几个问题在美国的时候伊芙·卡莉就从来没疑惑过。
但对此伊芙·卡莉并没有灰心丧气。
科研方面从来都是提出问题比解决问题更重要。
伊芙·卡莉很清楚，虽然此时她的疑惑比在美国时候的疑惑还要多。
但这无关紧要，至少她现在提出的问题相比于以往那些问题现在才更接近技术的本质了。
而这就是学术方面的成长。
伊芙·卡莉也不是一无所获。
原本她一向是比较好奇林灰这个此前几乎在文本摘要方面岌岌无名的人究竟是怎样在短时间做到弯道超车的。
毕竟涉及到语言模型的构建往往需要大量的时间。
但现在知道林灰搞的这个预处理之后。
伊芙·卡莉则感觉这个问题似乎不是太大问题。
按照林灰在论文补充内容提出的预训练机制的这个思路进行操作。
虽然引入预训练机制后仍然需要进行训练。
甚至看起来步骤要更繁琐了一些。
但伊芙·卡莉估计同等规模语料库下的训练
引入预训练机制的训练要比常规的至少能够节省50%的时间。
模型的训练引入预训练的处理方式会带来效率的提升。
这里面的道理通过学习方面的例子做类比很容易明白。
通常情况下，通过掌握知识的共性之后再攻克疑难显然效率上是比按部就班进行学习要高的。
同样的道理，机器学习的时候让机器掌握数据的共性之后再搞剩下的标注数据也会带来效率的提升。
林灰一度就是伊芙·卡莉眼中绝对意义上的天才。
在伊芙·卡莉看来天才的重点不在于“才能”，而在于“天分”
所有人似乎都知道的走出房间要找到门，却各种找不到门路。
而天才就是那个在众人茫然眼光之下信步走到门前并轻轻推开门的那个人。
在所有人面对着抽取式摘要算法的瓶颈而找不到走出文本摘要这个房间的方法之时。
LINHUI恰到好处地出现了，在所有人的茫然下信步般推开了一扇被称为是“生成式文本摘要”的崭新的门。
而现在来看，伊芙·卡莉觉得她以前的认知还是差点意思。
事实是林灰不光是绝对意义上的天才，还是当之无愧的强者。
如果林灰在论文中的补充内容里所描述的内容所言非虚的话。
这样的人不是强者又是什么呢？
预训练的提出说是对传统的语料训练方式的一次革命也不为过。
这将极大的给语言模型的训练进行助力。
伊芙·卡莉有预感在预训练的提出之后传统的自然语言处理这一领域有望全面进入到神经网络学习的时代。
如果真的能做到如此的话。
那将是意义空前的贡献。
要知道林灰搞出来的东西可不仅仅是预训练。
伊芙·卡莉注意到林灰在论文中对预训练的描述是基于迁移学习思想的预训练。
什么叫迁移学习？
借助迁移学习可以运用已有的知识来学习新的知识。
这一思想的核心是找到已有知识和新知识之间的相似性从而举一反三。
在机器学习这一领域，直接对目标从头开始学习成本太高。
借助于迁移学习的话就不用那么麻烦了。
很多时候我们可以运用已有的相关知识来辅助尽快地学习新知识。
比如，已经会了C语言，就可以类比着来学习C ；
已经学会希腊语，就可以类比着来学习英语。
世间万事万物皆有共性，合理地找寻它们之间的相似性之后。
利用这个桥梁来帮助学习新知识，可以省却很多新麻烦。
如果诚然是借助于这一思想的话。
在预训练的数据共性学习之后。
再对非共性标记数据进行额外学习时。
倘若因为迁移思想的引入使得预训练具备了举一反三的学习能力。
那么在对非共性标记数据学习所花费的时间可能会更少。
时间更少意味着什么呢？
意味着效率的空前提升。
此前伊芙·卡莉一直不是很理解林灰是怎么突然异军突起的。
现在她却已然是心下了然了。
不过这样的话，伊芙·卡莉觉得先前对林灰进行的有些估计就有点保守了。
同等规模语料库下的训练引入基于迁移思想的预训练机制的训练要比常规的至少能够节省70%的时间。
这个数据是相当惊人的了。
喜欢穿越：2014请大家收藏：(www.qicaizw.com)穿越：2014七彩中文更新速度全网最快。