[Azure OpenAI #2] GPT 이름 뜯어보기: Generative, Pre-trained, Transformer

1. 오늘의 핵심 질문

• GPT는 정확히 어떤 뜻일까?
• Generative는 무엇을 생성한다는 의미일까?
• Pre-trained는 왜 중요한가?
• Transformer는 어떤 역할을 하는가?
• GPT는 왜 “다음 단어 예측기”라고 볼 수 있을까?

2. GPT란?

GPT는 Generative Pre-trained Transformer의 약자이다.
이름 안에 GPT의 핵심 특징이 모두 들어 있다.

3. Generative: 생성한다

GPT는 단순히 정답을 고르는 모델이 아니라 새로운 텍스트를 생성한다.
사용자의 질문, 요청, 문맥을 바탕으로 답변, 요약문, 번역문, 코드 등을 만들어낸다.

4. Pre-trained: 미리 학습했다

GPT는 사용자가 질문할 때마다 처음부터 배우는 것이 아니다.
이미 대규모 텍스트 데이터를 통해 언어의 패턴, 문장 구조, 단어 관계 등을 미리 학습해둔 모델이다.

5. Transformer: 문맥을 처리하는 구조

Transformer는 문장 안의 단어들이 서로 어떤 관계를 가지는지 파악하는 구조이다.
특히 Self-Attention을 통해 문맥에서 중요한 단어에 더 집중할 수 있다.

6. GPT를 “다음 단어 예측기”로 이해하기

GPT는 문장을 한 번에 완성하는 것이 아니라, 이전 문맥을 보고 다음에 올 토큰을 하나씩 예측한다.

예를 들어 “오늘 날씨가 정말”이라는 문장이 있으면,
뒤에 올 수 있는 단어로 “좋다”, “춥다”, “맑다” 등을 확률적으로 계산한다.

7. 헷갈렸던 점

처음에는 GPT가 질문의 정답을 데이터베이스에서 찾아오는 것처럼 느껴졌다.
하지만 GPT는 검색 엔진처럼 기존 문서를 그대로 가져오는 것이 아니라,
문맥을 바탕으로 다음 토큰을 예측하면서 답변을 생성한다.

8. 정리

• GPT는 Generative Pre-trained Transformer의 약자이다.
• Generative는 새로운 텍스트를 생성한다는 의미이다.
• Pre-trained는 대규모 데이터를 통해 미리 학습했다는 의미이다.
• Transformer는 문맥을 처리하는 딥러닝 구조이다.
• GPT는 이전 문맥을 바탕으로 다음 토큰을 예측하며 문장을 생성한다.

9. 다음에 공부할 것

다음 글에서는 GPT가 텍스트를 처리하는 기본 단위인 토큰과,
텍스트의 의미를 숫자로 표현하는 임베딩에 대해 정리해볼 예정이다.