ㅓㅓㅓ

대규모 언어 모델은 사람의 질문을 보고 알맞은 답변을 만듭니다.

영어로는 LLM이라고 부르며, 글쓰기·요약·번역·질문 답변 같은 일을 할 수 있습니다. 하지만 사람처럼 생각하거나 감정을 느끼는 것은 아닙니다.

챗GPT는 문장 전체를 한 번에 완성하기보다 다음에 올 말을 조금씩 예측합니다.

단어 또는 짧은 글자 묶음을 하나 고른 뒤 문장에 붙이고, 다시 그다음 말을 예측하는 일을 매우 빠르게 반복합니다.

언어 모델은 책, 문서, 웹페이지처럼 아주 많은 글을 이용해 공부합니다.

이렇게 공부에 사용하는 자료 모음을 데이터셋이라고 부릅니다.

문장의 앞부분을 보여 주고 뒤에 올 단어를 맞히게 합니다.

예측이 정답과 다르면 모델 안의 숫자를 조금 바꾸고, 이 과정을 수없이 반복해 점점 더 정확하게 만듭니다.

사전 훈련은 모델이 본격적으로 사용되기 전에 하는 큰 공부입니다.

모델은 이 과정에서 문장 구조, 단어 관계, 다양한 표현을 배웁니다.

RLHF는 모델이 사람들이 선호하는 답을 만들도록 돕습니다.

사람이 여러 답변을 비교하거나 잘못된 답을 고쳐 주면 모델은 그 평가를 바탕으로 다시 조정됩니다.

수많은 문장과 파라미터를 처리하려면 엄청나게 많은 계산이 필요하기 때문입니다.

일반 컴퓨터 한 대로 차례대로 계산하면 너무 오래 걸려 여러 장치를 함께 사용합니다.

컴퓨터는 글자의 뜻을 사람처럼 직접 이해하지 못하고 숫자를 계산합니다.

그래서 단어를 벡터로 바꾸어 모델이 계산할 수 있게 합니다.

트랜스포머는 챗GPT를 만드는 데 사용되는 핵심 설계 방식입니다.

문장을 앞에서부터 한 단어씩만 보는 것이 아니라 여러 단어를 함께 비교해 문맥을 파악합니다.

어텐션은 문장 속 중요한 연결을 찾습니다.

예를 들어 철수는 사과를 먹었다. 그는 배가 불렀다.에서 그는이 철수와 관련 있다고 판단하도록 돕습니다.

피드포워드는 모델이 배운 언어 규칙을 적용하도록 돕습니다.

어텐션과 피드포워드를 여러 레이어에 걸쳐 반복하면 문장의 뜻과 관계가 점점 더 잘 정리됩니다.

엄청나게 많은 글에서 배운 단어 관계와 문장 규칙을 이용하기 때문입니다.

앞의 문맥에 잘 맞는 말을 계속 이어 붙여 사람이 쓴 것처럼 자연스러운 문장을 만듭니다.

챗GPT의 답변은 자연스러워 보여도 틀릴 수 있으므로 항상 믿어서는 안 됩니다.

특히 날짜, 숫자, 의학, 법률, 돈과 관련된 중요한 정보는 믿을 만한 자료로 다시 확인해야 합니다.