按照林灰在論文中補充內(nèi)容進行的闡述。
傳統(tǒng)的訓(xùn)練機制下，文本摘要模型的產(chǎn)生思路是：
語料訓(xùn)練→模型
而按照林灰的思路引入預(yù)訓(xùn)練機制后。
文本摘要模型的產(chǎn)生思路是：
語料預(yù)訓(xùn)練→預(yù)訓(xùn)練模型→微調(diào)→模型
這個思路的本身是沒問題的。
但伊芙·卡莉面對著這個全新的模型產(chǎn)生思路卻滿腦子全是問題。
具體應(yīng)用的時候究竟引入何種的預(yù)訓(xùn)練方式...