什麼是gen模型

gen模型是一個用於自然語言生成的增強型多流預訓練和微調框架。該框架通過填充生成機制和噪聲感知生成方法彌補了訓練和推理之間的差異。

為了使生成更接近人類的寫作模式，這個框架引入了一個逐個跨度的生成流程，訓練模型連續預測語義完整的跨度，而不是逐個單詞預測。