前言
"Paper 整理"系列只是試著將paper中的概念,或是將別人對paper的見解整理起來,幫助自己消化及日後複習。都會附上出處,如有侵權或錯誤煩請email告知:jason.eed05@gmail.com
話說這是我第一篇讀的論文,實在嚴重消化困難阿......。
論文連結
Abstract
BERT - Bidirectional Encoder Representations from Transformers
簡言之,BERT是個可以將輸入資訊(詞語、句子)中的特徵(feature)、表徵(representation)提取出來的model。(BERT中的R便是從此而來)
然後將表徵用於下游訓練(論文說通常只需在model下面多加just one additional output layer),便可在所需任務上取得出色成果。