어텐션은 어떤 토큰을 참고할까
작은 수치 예제로 Q와 K의 점수를 구하고, 미래 위치를 가린 뒤 확률로 바꾸어 V를 섞습니다. 어텐션 가중치는 이 층·헤드의 혼합 비율이며, 모델의 판단 이유 전체를 설명하는 값은 아닙니다.
01어텐션은 어떤 토큰을 참고할까
개념 한눈에 보기합성 수치 · 실제 모델 출력 아님
어텐션은 볼 수 있는 토큰의 정보를 가중합합니다. 여기서는 한 헤드의 2차원 합성 값을 사용합니다.
각 토큰의 벡터를 Q·K·V로 투영합니다. Q와 K는 혼합 비율을 정하고 V는 섞을 정보를 담습니다.
Q와 각 K의 내적으로 점수를 구합니다. 헤드 차원의 제곱근으로 나눠 값의 크기를 조절합니다.
미래 위치의 점수는 음의 무한대로 바꿉니다. 자기 위치와 이전 위치만 참고할 수 있습니다.
각 행에 softmax를 적용합니다. 미래 위치는 확률이 0이며, 볼 수 있는 위치의 비율 합은 1입니다.
마지막 행의 비율로 V를 섞습니다. 토큰 하나를 복사하는 대신 여러 벡터의 가중합을 만듭니다.
실제 블록은 여러 헤드의 출력을 이어 붙이고 다시 투영합니다. 헤드별 역할이 미리 정해진 것은 아닙니다.
02 쉽게 이해하기
For Everyone어텐션은 현재 토큰의 Q와 볼 수 있는 토큰의 K를 비교해 V의 혼합 비율을 정합니다.
Q·K·V는 각 층의 토큰 벡터에 학습된 투영을 적용한 결과입니다.
QKᵀ를 헤드 차원의 제곱근으로 나누고 미래 위치에 −∞를 넣은 뒤 행별 softmax를 적용합니다.
그 비율로 V를 가중합합니다.
여러 헤드의 출력을 이어 붙이고 다시 투영합니다.
화면의 2차원 값은 계산 검산을 위한 합성 예제이며, 실제 모델에서 추출한 값이 아닙니다.
- –causal mask와 어텐션 행렬을 읽을 때
- –Q·K·V의 역할을 구분할 때 사용합니다
03 자주 묻는 질문
FAQ어텐션은 어떤 토큰을 참고할까란 무엇인가요?+
작은 수치 예제로 Q와 K의 점수를 구하고, 미래 위치를 가린 뒤 확률로 바꾸어 V를 섞습니다. 어텐션 가중치는 이 층·헤드의 혼합 비율이며, 모델의 판단 이유 전체를 설명하는 값은 아닙니다.
어텐션은 어떤 토큰을 참고할까은(는) 어디에 사용하나요?+
causal mask와 어텐션 행렬을 읽을 때, Q·K·V의 역할을 구분할 때 사용합니다.
어텐션은 어떤 토큰을 참고할까를 쉽게 비유하면?+
어텐션은 현재 토큰의 Q와 볼 수 있는 토큰의 K를 비교해 V의 혼합 비율을 정합니다.