확률이 문장으로 바뀌는 과정
출력 점수를 확률로 바꾸고 다음 토큰을 선택하는 과정을 봅니다. temperature가 분포를 바꾸는 모습과 토큰을 하나씩 붙이는 생성 반복을 구분합니다.
01확률이 문장으로 바뀌는 과정
개념 한눈에 보기합성 수치 · 실제 모델 출력 아님
생성은 다음 토큰의 분포에서 하나를 고르는 반복입니다. 여기서는 후보 네 개의 합성 어휘를 씁니다.
마지막 위치의 벡터를 어휘 크기로 투영해 토큰별 점수를 얻습니다. 이 점수는 아직 확률이 아닙니다.
점수에 softmax를 적용합니다. 확률이 음수가 되지 않고 전체 합이 1이 됩니다.
temperature를 낮추면 높은 점수에 확률이 더 집중됩니다. 모델 가중치나 후보의 점수 순서는 바뀌지 않습니다.
temperature를 높이면 분포가 덜 집중됩니다. 같은 추첨값으로도 선택되는 토큰이 달라질 수 있습니다.
샘플링은 확률 구간에 추첨값을 놓아 선택합니다. 가장 높은 확률의 토큰이 항상 선택되는 것은 아닙니다.
선택한 토큰을 입력 뒤에 붙입니다. 새 입력을 조건으로 다음 토큰의 분포를 다시 계산해야 합니다.
종료 토큰이 나오거나 설정한 길이에 도달하면 멈춥니다. 이 예제는 새 토큰 두 개의 길이 제한에서 끝납니다.
02 쉽게 이해하기
For Everyone생성은 다음 토큰을 고르고 입력에 붙이는 반복입니다. 샘플링은 가장 확률이 높은 토큰만 고르는 방식과 다릅니다.
마지막 위치의 벡터를 어휘 크기로 투영하면 토큰별 logit이 나옵니다.
logit을 양의 temperature로 나누고 softmax를 적용합니다.
낮은 temperature는 분포를 집중시키지만 사실성을 보장하지는 않습니다.
이 예제는 4개 후보만 있는 합성 어휘와 미리 정한 추첨값을 사용합니다.
실제 모델의 예측이나 전체 어휘를 줄여 표시한 결과가 아닙니다.
종료 토큰 또는 길이 제한에서 생성을 끝냅니다.
- –temperature·샘플링 설정을 이해하고 생성 길이 제한을 정할 때 사용합니다
03 자주 묻는 질문
FAQ확률이 문장으로 바뀌는 과정란 무엇인가요?+
출력 점수를 확률로 바꾸고 다음 토큰을 선택하는 과정을 봅니다. temperature가 분포를 바꾸는 모습과 토큰을 하나씩 붙이는 생성 반복을 구분합니다.
확률이 문장으로 바뀌는 과정은(는) 어디에 사용하나요?+
temperature·샘플링 설정을 이해하고 생성 길이 제한을 정할 때 사용합니다.
확률이 문장으로 바뀌는 과정를 쉽게 비유하면?+
생성은 다음 토큰을 고르고 입력에 붙이는 반복입니다. 샘플링은 가장 확률이 높은 토큰만 고르는 방식과 다릅니다.