본문 바로가기

문학적 Transformer

문학적 Transformer - Prologue

이 시리즈의 목적

Transformer를 설명하는 자료는 이미 수없이 많습니다.
하지만 많은 글과 영상들이 구조적 개요나 수식에만 초점을 맞추다 보니,
정작 Transformer가 어떤 사고 흐름을 따라 작동하는지,
왜 이런 구조가 되었는지를 명확히 이해하기 어렵습니다.

이 시리즈는 그러한 아쉬움에서 시작되었습니다.


이 시리즈가 참조한 영상

Transformer의 구조와 작동 원리를 입체적으로 이해하기 위해
다음 3개의 뛰어난 설명 영상을 함께 참고했습니다:

https://www.youtube.com/watch?v=wjZofJX0v4M

https://www.youtube.com/watch?v=eMlx5fFNoYc

https://www.youtube.com/watch?v=9-Jl0dxWQs8

 

이 영상들에서 느낀 직관, 논리 흐름, 의문점
내 나름대로 재해석하고 재구성한 것이
바로 이 "문학적 Transformer" 포스팅 시리즈입니다.


이 시리즈의 관점과 보완점

이 글은 단순한 요약이 아닌,
Transformer 내부의 '의도'와 '사고 방식'을 따라가는 과정을 그립니다.

특히 다음과 같은 영상에서 부족했던 부분을 보완했습니다:

  • 학습과 추론 시 Masked Self-Attention이 어떻게 다르게 작동하는지
    → 학습 시엔 전체 정답을 마스크만으로 가리고,
    추론 시엔 이전 토큰만 누적해 생성하는 구조적 차이를 명확히 해설했습니다.
  • Linear Projection $W_O$의 의미
    → 각 Head의 시선을 어떻게 일관된 표현으로 통합하는가에 대한 직관적 해석을 추가했습니다.

포스팅 구조 요약

포스팅 번호 주제 핵심 해석 방향
1편 임베딩 단어를 의미 공간의 좌표로 해석하기
2편 Self-Attention 시선(Q), 반응(K), 정보(V)의 상호작용
3편 Multi-Head & FFN 다양한 시선의 조합과 의미의 비선형 확장
4편 Decoder & 생성 과정 시점별 생성 논리, 학습과 추론의 구조 차이

글을 어떻게 읽으면 좋을까?

  • 먼저 위 영상 중 하나를 시청하며 직관을 얻고,
  • 이어서 각 글을 한 편의 해석서처럼 읽어보세요.
  • 수식보다는 비유와 논리를 따라가는 방식으로 구성되어 있으니,
    수학적 지식보다 의미적 흐름에 집중해도 충분히 이해할 수 있습니다.

마무리

이 시리즈는 Transformer를
"왜 이렇게 만들었을까?"라는 질문에서 시작해,
"그래서 결국 어떤 사고 과정을 거치는 걸까?"라는 결론에 도달하려는 여정입니다.

기계처럼 보이던 Transformer 안에서
사유, 의미, 시선, 조화라는 단어들이 떠오르기 시작한다면,
이 글의 목적은 이미 절반 이상 달성된 것입니다.

이제부터는,
영상과 함께,
그리고 나만의 시선으로 Transformer를 읽어보는 시간이 되기를 바랍니다.