Deep Learning (1) 썸네일형 리스트형 [논문] Attention Is All You Need (Feat. 동빈나 유튜브) * 이 글은 유튜브 채널 의 영상을 보고 필기한 내용입니다. https://www.youtube.com/watch?v=AA621UofTUA 개요 이 논문은 현대 자연어처리 딥러닝 기반의 핵심 아키텍처인 transformer의 시작을 알렸다. transformer는 attention이라는 매커니즘을 활용하는 아키텍처. 딥러닝 기반의 기계 번역 발전 과정 2021년 기준 최신 고성능 모델들은 transformer 아키텍처를 기반으로 하고 있다. 대표적으로 GPT는 transformer의 decoder를, BERT는 encoder를 활용하고 있다. attention 매커니즘은 2015년 처음 제안되었다. 2년 후 RNN을 전혀 사용하지 않고 attention에만 의존한 transformer가 등장했다. tra.. 이전 1 다음
