GPT(생성형 사전 학습 트랜스포머)란 무엇인가요?

AI 연구 기관인 OpenAI는 2018년에 GPT-1이라는 첫 번째 GPT 모델을 도입했습니다. 그 이후로 GPT AI 모델 라인에서 여러 가지 발전된 버전을 출시했습니다. 가장 최근의 GPT 모델은 2023년 초에 출시된 GPT-4입니다. 2024년 5월, OpenAI는 오디오, 시각, 텍스트 입력을 실시간으로 처리할 수 있는 다국어 및 멀티모달 GPT-4o을 발표했습니다.

GPT는 파운데이션 모델로서 이후 미세 조정을 거쳐 다양한 다운스트림 특정 작업에 맞게 조정되었습니다. GPT는 텍스트 기반 애플리케이션을 넘어, 컴퓨팅 비전을 통해 이미지를 생성 및 분석하고, 코드를 작성하고 데이터를 처리하는 등의 작업을 수행하는 인공 지능(AI) 앱을 지원합니다. 이러한 앱은 애플리케이션 프로그래밍 인터페이스(API)를 통해 GPT에 연결하여 데이터를 주고받을 수 있습니다.

GPT 모델은 2017년 Google Brain 논문 'Attention Is All You Need'²에 소개된 신경망의 일종인 트랜스포머 아키텍처에 힘입어 생성형 AI 개발을 가속화했습니다. GPT와 BERT를 포함한 트랜스포머 모델은 그 이후로 OpenAI의 ChatGPT 챗봇을 중심으로 생성형 AI에서 많은 주목할 만한 발전을 주도했습니다.

OpenAI 외에도 Anthropic의 Claude, Inflection의 Pi 및 이전에 Bard로 알려졌던 Google의 Gemini를 포함한 다른 회사들이 자체 생성형 AI 모델을 출시했습니다. 한편, OpenAI는 Microsoft의 Copilot AI 서비스를 지원합니다.

GPT와 같은 트랜스포머 모델은 유연성이 뛰어나 다양한 사용 사례에 적용할 수 있습니다. GPT는 인간과 유사한 텍스트 생성 기능을 제공하므로 다음과 같은 분야에서 널리 사용됩니다.

• 챗봇 및 음성 어시스턴트
• 콘텐츠 제작 및 텍스트 생성
• 언어 번역
• 콘텐츠 요약 및 변환
• 데이터 분석
• 코딩
• 의료

GPT 기반 챗봇은 표준 자동화 고객 서비스 옵션보다 더 인간적인 느낌을 줄 수 있습니다. 조직은 API를 통해 GPT를 음성 앱과 연결하여 더 복잡한 문장에 응답하고 대화형 질문 답변 서비스를 제공할 수 있는 음성 어시스턴트를 만들 수 있습니다.

효과적인 프롬프트를 통해 GPT 모델은 짧은 형식의 소셜 미디어 카피부터 완전한 블로그 게시물 및 이메일에 이르기까지 다양한 텍스트 콘텐츠를 생성할 수 있습니다. 또한 작성자는 GPT를 사용하여 콘텐츠의 윤곽을 잡거나 아이디어를 떠올린 다음 직접 작성할 수 있으므로 콘텐츠 작성 워크플로를 간소화할 수 있습니다.

GPT를 사용하여 게시용 콘텐츠를 직접 생성할 경우 지적 재산권 문제가 발생할 수 있습니다. 이는 GPT 사용에 따른 주요 위험 중 하나입니다.

GPT 기반 앱은 서면 소스와 오디오 소스 모두에서 실시간으로 언어를 번역할 수 있습니다. 라이브 데모³에서 GPT-4o는 자체적으로 실시간 번역이 가능하다는 것을 보여주었습니다.

GPT는 법적 진술이나 비즈니스 보고서와 같은 긴 문서를 처리하고 요약할 수 있습니다. 또한 사용자가 지정한 스타일로 콘텐츠를 다시 작성할 수도 있습니다. 예를 들어, 사용자는 분기별 보고서를 입력 데이터로 제공한 다음 재치 있는 글머리 기호로 요약하도록 요청할 수 있습니다.

GPT는 대량의 데이터를 이해하기 쉬운 인사이트로 처리할 수 있습니다. 다른 앱은 API를 통해 GPT를 사용하여 차트, 그래프 및 기타 유형의 데이터 시각화를 만들 수 있습니다. 조직이 GPT에 내부 데이터를 제공하면 사이버 보안 침해에 노출되거나 데이터 보호 규정을 위반하게 될 수 있습니다.

GPT 모델은 프로그래밍 언어를 학습하고 코드 스니펫을 생성할 수 있습니다. 일반적으로 사용자는 처음부터 완전한 앱을 만들도록 요청하는 것보다 GPT를 코딩 어시스턴트로 취급할 때 더 나은 결과를 얻을 수 있습니다. 코드를 포함하여 모든 GPT 생성 콘텐츠는 정확성과 공정한 사용을 보장하기 위해 사용 전에 검토를 거쳐야 합니다.

2024년 2월, 미국 국립의학도서관(National Library of Medicine)은 헬스케어 분야에 GPT 애플리케이션을 적용할 수 있는 가능성을 요약한 논문을 발표했습니다. 여기에는 외딴 지역에 있는 환자에 대한 지속적인 접근과 개인화된 관리 옵션이 포함됩니다. 반면 개인정보 보호 문제와 및 지식의 한계와 같은 다양한 단점에 대해서도 다루고 있습니다.

GPT 모델은 인풋 시퀀스를 분석하고 복잡한 수학을 적용하여 가장 가능성이 높은 아웃풋을 예측합니다. 확률을 사용하여 이전의 모든 단어를 기반으로 문장에서 가장 적합한 다음 단어를 식별합니다. 딥 러닝 AI 기술의 한 유형인 GPT는 사용자 프롬프트를 이해하고 인간과 유사한 관련 응답을 생성하기 위해 자연어 처리(NLP)를 사용합니다.

사용자가 텍스트 기반 프롬프트를 입력하면 GPT는 유명 문학 작품부터 오픈 소스 코드에 이르기까지 공개적으로 사용 가능한 수십억 개의 텍스트 데이터 소스로 구성된 학습 데이터를 기반으로 가장 가능성이 높은 응답을 생성합니다.

GPT는 방대한 훈련 데이터 세트를 통해 인간과 같은 언어 이해 능력을 모방할 수 있습니다. 대규모 GPT 모델은 딥 러닝을 적용하여 컨텍스트를 처리하고 훈련 데이터의 관련 텍스트에서 지식을 추출하여 최적의 응답을 예측합니다.

GPT 모델의 힘은 다음과 같은 두 가지 주요 측면에서 비롯됩니다.

• 라벨이 지정되지 않은 데이터에서 패턴을 감지한 다음, 해당 패턴을 새 입력에 적용하도록 모델을 학습시키는 생성형 사전 학습입니다.

• 모델이 입력 시퀀스의 모든 부분을 병렬로 처리할 수 있도록 하는 트랜스포머 아키텍처입니다.

생성형 사전 학습은 라벨이 지정되지 않은 데이터에 대해 대규모 언어 모델을 학습시켜 모델이 다양한 데이터를 인식하고 정확한 예측을 생성할 수 있도록 학습시키는 프로세스입니다. GPT는 사전 학습 데이터의 패턴과 구조를 사용자 입력에 적용하여 새로운 데이터를 생성합니다.

생성형 사전 학습은 비지도 학습의 한 형태로, 모델에 라벨이 지정되지 않은 데이터를 입력하여 스스로 의미를 파악하도록 합니다. 라벨이 지정되지 않은 데이터 세트에서 패턴을 감지하는 법을 학습함으로써 머신 러닝 모델은 ChatGPT의 사용자 프롬프트와 같은 새로운 인풋에 노출되었을 때 비슷한 결론을 도출하는 능력을 얻습니다.

GPT 모델은 수십억 또는 수조 개의 매개변수(모델이 학습 과정을 통해 개선하고 작동 방식을 결정하는 내부 변수)로 훈련됩니다. OpenAI는 아직 GPT-4에 대한 정확한 세부 정보를 공개하지 않았지만, 이 모델에는 GPT-3.5에 비해 10배 이상 증가한 약 1조 8천억 개의 매개변수가⁴ 포함되어 있는 것으로 추정됩니다.

트랜스포머 모델은 자연어 처리에 특화된 신경망 유형으로, 텍스트 기반 인풋에서 의도와 의미를 식별합니다. 문장 내 어느 위치에 있든 인풋을 동적으로 처리하고 가장 중요한 단어를 찾아낼 수 있습니다.

GPT 모델은 인간과 같은 방식으로 언어를 이해하지 못합니다. 대신 단어를 토큰이라는 개별 단위로 처리하며, 일부 단어는 여러 토큰으로 분할됩니다. 트랜스포머는 모든 토큰을 한 번에 평가함으로써 멀리 떨어져 있는 토큰 간의 관계인 장거리 종속성을 설정하는 데 탁월합니다. GPT는 장거리 종속성에 대한 이해를 바탕으로 입력을 컨텍스트에 맞게 처리합니다.

트랜스포머 모델은 인코더와 디코더로 알려진 두 개의 모듈로 데이터를 처리하는 동시에 자기 주의 메커니즘을 사용하여 종속성과 관계를 설정합니다.

자기 주의 메커니즘은 트랜스포머의 대표적인 기능으로, 전체 입력 시퀀스를 한 번에 처리할 수 있도록 지원합니다. 트랜스포머는 위치에 관계없이 입력 시퀀스에서 가장 중요한 토큰에 '주의'를 집중할 수 있습니다.

반면, 기존의 순환 신경망(RNN)과 컨볼루션 신경망(CNN)은 인풋 데이터를 순차적 또는 계층적으로 평가합니다. GPT는 자기 주의 기능을 통해 문맥을 처리하며, 문장의 다음 단어를 단순히 추측하는 것이 아니라 자연스럽게 느껴지는 언어로 길게 답변할 수 있습니다.

인코딩은 토큰을 가상의 3차원 벡터 공간에 매핑하는 프로세스입니다. 3D 공간에서 근처에 인코딩된 토큰은 의미가 더 유사한 것으로 가정됩니다. 입력 시퀀스의 이러한 수학적 벡터화를 임베딩이라고 합니다.

트랜스포머 네트워크의 인코더 블록은 각 임베딩에 가중치를 할당하여 상대적 중요도를 결정합니다. 한편, 위치 인코더는 의미를 캡처하여 GPT 모델이 "닭이 달걀보다 먼저인가"와 "달걀이 닭보다 먼저인가"와 같이 같은 단어이지만 순서가 다른 그룹을 구분할 수 있게 해줍니다.

디코더는 인코더가 준비한 임베딩에 대해 통계적으로 가장 가능성이 높은 응답을 예측합니다. 자기 주의 메커니즘은 디코더가 입력 시퀀스의 가장 중요한 부분을 식별할 수 있도록 하는 반면, 고급 알고리즘은 정확할 가능성이 가장 높은 아웃풋을 결정합니다.

2018년 GPT가 출시된 이후, OpenAI는 현재 진행 중인 생성형 AI 관련 논의의 선두에 서 있습니다. 이 회사는 주력 제품인 ChatGPT 외에도 DALL-E를 통한 이미지 생성과 Sora를 통한 생성형 비디오도 발전시켜왔습니다.

OpenAI가 첫 번째 GPT 모델을 출시했습니다. 그 성능은 당시로서는 인상적인 것이었으며, 이후 이러한 개발이 달성할 것들에 대한 개념 증명 역할을 했습니다. GPT-1은 인간과 같은 방식으로 질문에 답하고 텍스트 생성 프롬프트에 응답할 수 있어 향후 챗봇 및 콘텐츠 제작에 활용할 수 있다는 점을 강조했습니다.

GPT-1은 잘못된 정보를 사실인 것처럼 제시하는 할루시네이션 또는 혼동에 비교적 취약했습니다. 이 모델의 답변은 OpenAI가 장거리 종속성을 식별하고 정확한 긴 형식의 응답을 한데 모으는 GPT의 능력을 아직 발전시키지 못했음을 보여주었습니다.

OpenAI의 다음 모델은 15억 개의 파라미터를 자랑하며 향상된 성능을 보여주었습니다. GPT-2는 더 긴 응답에 대한 일관성을 유지하는 데 있어 이전 버전보다 더 성공적이었으며, 이는 장거리 종속성 감지가 훨씬 더 확립되었음을 시사합니다.

GPT-2는 단계적으로 출시되었으며 정식 버전에 앞서 여러 제한된 용량 모델이 제공되었습니다. OpenAI는 발표문에서⁵ 잠재적인 오용 및 기타 윤리적 우려를 완화하기 위해 시차를 두고 출시하게 되었다고 설명했습니다. OpenAI는 이 모델이 온라인에서 다른 사람을 사칭하고 오해의 소지가 있는 뉴스 항목을 생성하고 사이버 괴롭힘과 피싱 콘텐츠를 자동화하는 데 어떻게 사용될 수 있는지 언급했습니다.

OpenAI의 CEO인 Sam Altman은 공개적으로 AI에 대한 정부의 규제를 거듭 촉구해왔지만, 비공개적으로는 EU의 AI 법을 덜 제한적으로 만들기 위해 로비를 벌이기도 했습니다.⁶ 2024년 6월 유럽 의회가 승인한 법안의 최종 문구는 OpenAI의 권고 사항과 일치하는 것으로 나타났습니다.

이전 모델보다 100배 이상 많은 1,750억 개의 매개변수를 보유한 GPT-3는 당시 가장 큰 LLM 중 하나로 부상했습니다. 그 기능은 해당 제품군의 이전 모델을 훨씬 능가했습니다. ChatGPT의 무료 버전은 여전히 GPT-3의 최신 버전인 GPT-3.5로 구동됩니다.

GPT-3의 성능은 파워와 크기가 더 커졌지만 훈련 수요도 급증했습니다. 이러한 대규모 LLM을 훈련시키는 데 필요한 컴퓨팅 및 에너지 리소스는 탄소 및 물 발자국에 대한 우려를 불러일으켰습니다⁷. 이에 대응하여 OpenAI는 훈련 프로세스의 효율성을 높이는 새로운 학습 방법을 개발했습니다.

현재 버전의 GPT는 OpenAI의 가장 강력한 버전으로, 콘텐츠 품질과 편향 방지 모두에서 이전 버전을 능가합니다. 이는 프리미엄 버전의 ChatGPT를 기반으로 하며, 가입자에게 GPT-3.5 기반의 무료 버전 서비스보다 더 뛰어난 기능과 성능을 제공합니다.

그러나 이는 GPT 제품군에서 가장 리소스 집약적인 모델이기도 하며, 일일 운영 비용은 미화 700,000달러로⁸ 추정됩니다. LLM이 계속 성장함에 따라 비용 대비 잠재적 이점에 대한 논쟁이 계속되고 있습니다. 2024년 6월 Goldman Sachs가 발표한 보고서⁹에서는 모델 훈련 및 유지 관리 비용 증가에 비해 생성형 AI가 가진 잠재적인 사용 사례의 한계에 대해 집중적으로 다뤘습니다.

현재 모델의 반복 버전인 GPT-4 Turbo의 지식 마감일은 2023년 4월입니다. 즉, 해당 시점 이후에 출시된 온라인 콘텐츠는 교육 데이터 또는 지식 기반에 포함되지 않습니다.

2024년 5월에 공개된 GPT-4o는 다국어 능력을 갖추어 영어 이외의 다양한 언어로 콘텐츠를 지원합니다. 또한 이미지, 오디오 및 비디오 프롬프트를 처리하는 동시에 응답으로 텍스트, 이미지 및 오디오 콘텐츠를 생성할 수 있는 멀티모달이기도 합니다. OpenAI에 따르면 GPT-4o는 GPT-4 Turbo보다 50% 저렴하고 텍스트 생성 속도가 2배 빠릅니다¹⁰.

GPT와 기타 생성형 AI 모델은 언론에서 널리 소개되었지만, 그 사용에 위험이 없는 것은 아닙니다. GPT를 워크플로에 통합하려는 조직과 개인은 다음과 같은 잠재적 위험을 알고 있어야 합니다.

• 데이터 개인정보 보호 및 기밀성

• 지적 재산권 침해 및 소유권 분쟁

• 부정확한 아웃풋

• 모델 편향

GPT에 입력된 모든 데이터는 다른 쿼리를 처리할 때 사용할 수 있으며, OpenAI가 다른 모델을 훈련하는 데 사용할 수 있습니다. 이는 기밀 데이터에 대한 보안 위험을 초래할 뿐만 아니라 조직이 데이터 보호에 대한 계약 및 법적 의무를 위반할 위험에 처하게 됩니다.

OpenAI는 저작권이 있는 자료를 통해 모델을 학습시킵니다. OpenAI는 이러한 선택을 공정 사용이라고 옹호하고 있지만, 2023년 12월에 The New York Times¹¹가 제기한 소송을 포함하여 법적 조치가 논의되고 있습니다. AI가 생성한 아웃풋에는 저작권이 있는 콘텐츠가 포함될 수 있으며, 사전에 사람이 검토하고 편집하지 않으면 저작권 규제를 위반할 수 있습니다.

또한 ChatGPT 음성 중 하나가 2013년 영화 Her에서 미래형 AI 목소리로 출연한 배우 스칼렛 요한슨¹²의 목소리를 기반으로 했다는 주장이 제기되면서 OpenAI는 비난을 받았습니다. 이후 OpenAI는 제품에서 해당 음성을 사용하는 것을 중단했습니다.

GPT에서 생성된 아웃풋은 정확한 사실이 아닐 수 있습니다. 생성형 AI 모델은 AI 할루시네이션 또는 혼동의 영향을 받기 쉬우며, 이 경우 알고리즘은 데이터에서 존재하지 않는 패턴을 감지합니다. 혼동으로 인해 모델은 부정확한 콘텐츠를 생성하여 마치 신뢰할 수 있는 사실인 것처럼 사용자에게 제공합니다. ChatGPT와 관련된 이러한 경향은 2024년 Hicks 등이 작성한 논문에서 자세히 탐구된 바 있습니다¹³.

모델 편향은 학습 데이터를 기반으로 한 모델의 예측과 실제 세계에서 일어나는 일 사이에 차이가 발생하는 것을 말합니다. GPT는 방대한 인터넷 데이터에 대해 학습하며, 이러한 콘텐츠는 사람들이 만든 것이기 때문에 차별적 관점을 포함할 수 있으며, 이는 때로는 의도적일 수도 있고 그렇지 않을 수도 있습니다. AI가 치안, 의료 및 기타 일상생활 영역에 통합됨에 따라 AI 편향은 현실 세계에 부정적인 영향을 미칠 수 있습니다.