LLM은 어떻게 다음 토큰을 고를까
GPT-2식 decoder-only Transformer를 따라 입력이 토큰과 벡터로 바뀌고, 반복되는 블록을 거쳐 다음 토큰의 확률이 되는 과정을 봅니다. 학습과 추론을 구분하고, 문장 전체를 한 번에 완성하지 않는 이유를 확인합니다.
01LLM은 어떻게 다음 토큰을 고를까
개념 한눈에 보기GPT-2식 구조 · 모델별 구성은 다름
LLM은 입력 토큰을 여러 층에서 처리해 다음 토큰의 확률을 계산합니다.
입력을 토큰 ID로 나눕니다. 실제 경계는 토크나이저마다 다르며, 여기서는 세 토큰으로 단순화합니다.
각 ID에 해당하는 임베딩을 가져오고 위치 벡터를 더합니다. 단어와 위치가 숫자 벡터에 담깁니다.
같은 형태의 Transformer 블록을 차례로 통과합니다. 블록마다 별도의 학습된 가중치를 사용합니다.
마지막 블록 뒤에서 정규화합니다. 다음 토큰을 고를 때는 현재 마지막 위치의 벡터를 사용합니다.
출력 투영과 softmax를 거쳐 다음 토큰의 확률을 얻습니다. 높은 확률이 정답을 보장하지는 않습니다.
고른 토큰을 입력 뒤에 붙여 다음 계산을 시작합니다. 추론 중 모델 가중치는 그대로입니다.
02 쉽게 이해하기
For EveryoneLLM은 앞에 놓인 토큰을 조건으로 다음 토큰의 확률을 계산합니다. 생성한 토큰을 입력에 붙여 같은 계산을 반복합니다.
이 그림은 학습된 위치 임베딩과 LayerNorm을 쓰는 GPT-2식 구조입니다.
토큰 ID를 임베딩으로 바꾸고 위치 벡터를 더한 뒤, 여러 Transformer 블록과 마지막 정규화·출력 투영을 거칩니다.
추론 중에는 가중치를 바꾸지 않습니다.
실제 토큰 경계·차원·블록 수는 모델마다 다르며, 이 예제는 이해를 위해 축소했습니다.
- –LLM의 입력·출력과 모델 내부를 구분할 때
- –학습과 생성의 차이를 설명할 때 사용합니다
03 자주 묻는 질문
FAQLLM은 어떻게 다음 토큰을 고를까란 무엇인가요?+
GPT-2식 decoder-only Transformer를 따라 입력이 토큰과 벡터로 바뀌고, 반복되는 블록을 거쳐 다음 토큰의 확률이 되는 과정을 봅니다. 학습과 추론을 구분하고, 문장 전체를 한 번에 완성하지 않는 이유를 확인합니다.
LLM은 어떻게 다음 토큰을 고를까은(는) 어디에 사용하나요?+
LLM의 입력·출력과 모델 내부를 구분할 때, 학습과 생성의 차이를 설명할 때 사용합니다.
LLM은 어떻게 다음 토큰을 고를까를 쉽게 비유하면?+
LLM은 앞에 놓인 토큰을 조건으로 다음 토큰의 확률을 계산합니다. 생성한 토큰을 입력에 붙여 같은 계산을 반복합니다.