bert是語言模型嗎

不是。

BERT模型（Bidirectional Encoder Representation from Transformers）是谷歌AI團隊釋出於2018年10月的BERT預訓練模型，被認為是 NLP 領域的極大突破，重新整理了11個NLP任務的當前最優結果。 其對GPT語言模型做了進一步的改進，通過左、右兩側上下文來預測當前詞和通過當前句子預測下一個句子，預訓練的 BERT 表徵可以僅用一個額外的輸出層進行微調，在不對任務特定架構做出大量修改條件下，就可以為很多工建立當前最優模型。