Transformer를 사용한 인공 신경망 한영 번역기 코드 예제 실습 (Colab 버전)

Huffon/nlp-various-tutorials의 The Annotated Transformer 보다 친절한 트랜스포머 튜토리얼 을 보고 따라했다.

해당 튜토리얼은 nlp.seas.harvard.edu/2018/04/03/attention.html 과 

Pytorch의 pytorch.org/tutorials/beginner/torchtext_translation_tutorial.html 을 참고했다.

 

15시간을 코드 돌리면서 삽질하고 샘플링 후, 10시간 이상 더 삽질한 것 같다.

 

하지만 이거 보면서 왜 안되지? 하고 s, 사소한 변수명 수정하며 시간을 날리고 나니

차리리 딥러닝 자연어처리 입문을 보면서 개념을 익히고 공식 튜토리얼 보면서 따라하는게 나았을 것 같기도 하다는... 생각이....