transformer技術

Transformer 網路架構架構由 Ashish Vaswani 等人在 Attention Is All You Need一文中提出，並用於機器翻譯任務，和以往網路架構有所區別的是，該網路架構中，編碼器和解碼器沒有采用 RNN 或 CNN 等網路架構，而是採用完全依賴於注意力機制的架構。