프롬프트 조정이란 무엇인가요?

프롬프트 조정은 수십억 개의 매개변수를 업데이트하지 않고도 사전 훈련된 대규모 모델을 새로운 작업에 적용하는 매개변수 효율적인 미세 조정(PEFT) 기술입니다. 대신 모델의 입력 공간에 삽입되는 프롬프트 또는 토큰이라고 하는 훈련 가능한 작은 벡터 세트를 학습합니다. 이러한 벡터는 연속 신호 역할을 하여 고정된 모델을 예상 동작으로 제어하고 백본을 그대로 유지합니다. 이러한 관점은 컴퓨팅 및 스토리지 비용을 크게 절감하므로 여러 사용 사례에 걸쳐 대규모 모델을 사용자 지정해야 하는 조직에 적합합니다. ^1, 2

프롬프트 엔지니어링은 모델에서 올바른 행동을 이끌어내기 위해 영리한 텍스트 지침(하드 프롬프트)을 만드는 데 의존합니다. 하드 프롬프트는 일부 경우에 효과적이지만, 취약하고 대규모로 최적화하기 어렵습니다. 즉, 프롬프트 엔지니어링에서는 문구의 사소한 변경으로 인해 성능이 예측할 수 없을 정도로 크게 달라질 수 있으므로 체계적으로 최적화하기가 어렵습니다. 그러나 완전한 미세 조정 업데이트는 모든 모델 매개변수를 업데이트하므로 값비싼 계산 비용이 소요되고 스토리지가 많이 필요하며, 특히 수천억 개의 가중치를 가진 모델의 경우 더욱 그렇습니다. 프롬프트 조정은 이러한 측면에서 균형을 이룹니다. 즉, 연속 임베딩을 사용하고, 이러한 작은 벡터만 학습시키고, 많은 작업에서 완전한 미세 조정에 가까운 성능을 달성하면서도 훨씬 더 효율적입니다. ^{2, 3}

프롬프트 조정 접근 방식은 사전 학습된 대규모 모델을 조정하기 위해 함께 작동하는 핵심 구성 요소를 기반으로 합니다. 이 방법은 동결 모델을 사용하고 그라데이션 기반 최적화를 통해 소프트 프롬프트 임베딩 세트를 학습하며 작업별 데이터 세트를 기반으로 합니다. 이러한 요소를 사용하면 전체 모델을 재훈련하지 않고도 매개변수를 효율적으로 조정할 수 있습니다. ^{1, 2}

사전 학습된 고정 모델:대규모 언어 모델(LLM) 또는 비전 트랜스포머가 중추 역할을 합니다. 이 모데은 훈련 중에는 고정된 상태로 유지되어 컴퓨팅 및 스토리지 비용을 줄이면서 일반 지식을 유지합니다.⁴

소프트 프롬프트 임베딩: 이러한 프롬프트는 토큰화된 입력에 첨부되거나 삽입된 가상 토큰이라고도 하는 학습 가능한 벡터입니다. 내부 가중치를 변경하지 않고 아웃풋 작업을 향해 모델을 제어하는 연속 신호 역할을 합니다.⁴

작업별 데이터 세트: 하위 작업에 맞춰 레이블이 지정된 데이터 세트는 소프트 프롬프트의 감독 최적화에 필수적입니다.

그래디언트 기반 최적화: 소프트 프롬프트 매개변수와 경량 헤드(선택사항)만 옵티마이저를 사용하여 업데이트되고 백본은 고정된 상태로 유지됩니다. 이 방법은 작업 중에 효율성과 안정성을 보장합니다.⁴

그림에서 볼 수 있듯이, 프롬프트 조정은 고정된 사전 훈련된 모델의 입력에 훈련 가능한 벡터의 작은 집합을 도입하여 작동합니다. 이러한 프롬프트는 수십억 개의 매개변수를 업데이트하지 않고도 모델을 대상 작업으로 안내하는 숨겨진 지침으로 작동합니다.

이러한 핵심 구성 요소 외에도 여러 디자인 선택이 성능에 상당한 영향을 미칩니다.

프롬프트 길이: 소프트 프롬프트의 토큰 수는 중요한 하이퍼매개변수입니다. 여러 연구자들의 실험 수행 결과, 최적의 길이는 작업에 따라 다르다는 점이 도출되었습니다. 예를 들어 간단한 분류 작업은 더 짧은 프롬프트(예: 20개 토큰 미만)에서 가장 잘 수행되는 반면, 복잡한 시퀀스 라벨링 작업에는 더 긴 프롬프트(예: 약 100개 토큰)가 필요할 수 있습니다.⁵

프롬프트 배치: 이 요소는 프롬프트가 입력 시퀀스 내에서 접두사로 나타나는지, 접미사로 나타나는지 입력 시퀀스에 삽입되어 나타나는지 여부에 관계없이 프롬프트의 위치를 최적화합니다.

초기화 전략: 무작위 값, 샘플링된 임베딩 또는 작업별 토큰으로 소프트 프롬프트를 시작하면 수렴 속도와 정확도에 영향을 미칠 수 있습니다.⁴

이러한 추가 요소는 필수적이지는 않으나, 최적의 결과를 얻기 위해 권장됩니다.

프롬프트 조정의 메커니즘과 이점에 대한 명확한 설명을 제공하는 감정 분석 작업을 알아보겠습니다. 1,750억 개의 매개변수 모델을 적용하여 영화 후기를 "긍정적" 또는 "부정적"으로 분류하는 것이 목표라고 가정해 보겠습니다. 완전한 미세 조정 접근 방식은 비용이 엄청나게 많이 들고 느립니다. 프롬프트 조정의 프로세스는 다음과 같습니다.

고정되고 사전 학습된 모델로 시작: 175B 매개변수 백본은 완전히 손대지 않은 상태로 유지되어 사전 훈련 중에 학습한 방대한 일반 지식 저장소를 보존합니다.⁵

프롬프트 추가: 훈련 가능한 벡터의 작은 세트(예: 20개의 토큰)가 모든 영화 후기의 임베딩에 첨부됩니다. 이러한 벡터는 사람이 읽을 수 있는 텍스트가 아닙니다. 이는 모델의 어휘와 동일한 고차원 공간(예: 이 규모의 모델에 대한 12,288차원 공간)에 존재하는 연속 임베딩입니다. 최적화를 통해 이러한 벡터는 모델의 동작을 조종하는 연속적인 작업별 신호를 인코딩하는 방법을 학습합니다.

입력 피드: 예를 들어,

[소프트 프롬프트] 영화 진짜 재미있었어요!

이 예에서는 감정 분석 작업을 위해 20개의 소프트 프롬프트 토큰을 초기화한다고 가정해 보겠습니다. 학습 후 입력은 내부적으로 다음과 같을 수 있습니다.

여기서 각 v1은 학습된 고차원 프롬프트 벡터입니다. 훈련의 목표는 동결된 모델이 후속 텍스트의 감정을 올바르게 분류하도록 안내하는 벡터에 대한 최적 값을 찾는 것입니다.

소프트 프롬프트만 학습: 레이블이 지정된 영화 리뷰 데이터 세트를 사용하여 훈련 프로세스가 시작됩니다. 역전파(Backpropagation)를 통해 오차 그래디언트가 계산되지만, 최적화 단계에서는 소프트 프롬프트 임베딩의 매개변수만 업데이트됩니다. 이 접근 방식에는 모델의 1,750억 가중치 대신 수천 개의 매개변수만 조정하는 것이 포함됩니다.⁵

모듈식으로 배포: 학습이 완료되면 결과 20개의 벡터 세트가 전체 작업별 적응을 구성합니다. 스팸 감지와 같은 다른 작업에 동일한 기본 모델을 적용하려면 스팸 데이터 세트에서 새로운 프롬프트 세트를 간단히 학습시키고 추론 시간에 이를 교체하면 됩니다.

이 기법은 효율성 측면에서 상당한 이점을 제공합니다. 각 작업에 대해 모델의 별도 전체 사본을 저장하는 대신(175B 매개변수 모델은 최대 350GB가 필요할 수 있음) 작업별 프롬프트 매개변수를 저장하면 되며, 이러한 매개변수의 크기는 몇 KB에 불과할 수 있습니다.¹ 이러한 모듈성 덕분에 프롬프트 조정은 대규모 모델 적응을 위한 실용적이고 비용 효율적인 솔루션이 됩니다.²

프롬프트 조정은 실시간 애플리케이션에서 많은 이점을 제공하지만, 그 한계를 이해하는 것이 중요합니다.

프롬프트 조정의 주요 장점은 효율성, 모듈성, 기본 모델의 지식 보존입니다.

탁월한 매개변수 및 비용 효율성: 가장 중요한 이점은 훈련 가능한 매개변수가 대폭 감소한다는 것입니다. 전체 모델의 1% 미만을 차지하는 소수의 소프트 프롬프트 벡터 세트만 업데이트하므로 프롬프트 조정은 계산 및 스토리지 비용을 크게 줄여 줍니다. 이 전략을 사용하면 컴퓨팅 리소스가 제한된 조직에서도 대규모 파운데이션 모델을 적용할 수 있습니다.

모듈화 및 확장 가능한 배포: 각 작업이 작고 독립적인 프롬프트 매개변수 세트로 캡슐화되므로, 추론 시 이러한 경량 프롬프트 파일을 교체하기만 하면 단일 고정 백본 모델을 다양한 작업에 맞게 조정할 수 있습니다. 이러한 "플러그 앤 플레이" 아키텍처는 모듈성이 뛰어나 모든 애플리케이션에 대해 별도로 기가바이트 크기의 모델 사본을 저장하고 관리할 필요가 없습니다.

치명적인 망각 완화: 완전한 미세 조정은 새로운 작업을 학습할 때 모델의 사전 훈련된 지식을 덮어쓰거나 저하시킬 위험이 있습니다. 백본 모델의 가중치를 완전히 고정함으로써 프롬프트 조정을 통해 사전 학습 중에 학습한 광범위한 일반 지식 저장소를 보존하고, 핵심 기능을 잃지 않고 모델을 다른 용도로 사용할 수 있습니다.

데이터 효율성: 새로운 작업마다 레이블이 지정된 대규모 데이터 세트가 필요한 전체 미세 조정에 비해 프롬프트 조정은 더 작고 적절한 데이터 세트로 강력한 성능을 달성할 수 있습니다.

프롬프트 조정은 강점에도 불구하고 표현력의 한계, 학습의 어려움,해석 가능성 부족 등의 단점이 있습니다.

제한된 표현력: 이론적 한계의 핵심은 프롬프트 및 접두사 조정이 LoRA 또는 전체 미세 조정과 같은 방법보다 표현력이 떨어진다는 것입니다. 형식적인 분석에 따르면 이러한 방법은 주의 블록의 아웃풋에 편향을 추가하여 작동하지만 모델의 학습된 주의 패턴을 근본적으로 변경할 수는 없습니다. 즉, 프롬프트 조정은 모델에 이미 존재하는 기술을 이끌어내고 결합하는 데는 매우 효과적이지만, 새로운 추론 패턴을 필요로 하는 진정으로 새로운 작업 학습에는 실패할 수 있습니다.

학습 불안정성 및 하이퍼매개변수 민감도: 가장 중요한 실질적인 과제 중 하나는 하이퍼매개변수에 대한 방법의 민감도입니다. 학습 프로세스를 수렴하기 어려울 수 있고, 학습 속도 선택과 프롬프트 초기화 전략 및 길이에 크게 의존하며 최적의 결과를 얻기 위해 신중하고 광범위한 조정이 필요한 경우가 많습니다.

해석 가능성의 "블랙박스" 문제: 주요하고 지속적인 한계는 소프트 프롬프트의 해석 가능성이 본질적으로 부족하다는 것입니다. 소프트 프롬프트는 그래디언트 하강을 통해 최적화된 연속적인 고차원 벡터이기 때문에 사람이 읽을 수 있는 텍스트에 상응하지 않습니다. 이러한 "블랙박스" 특성으로 인해 프롬프트가 무엇을 학습했는지, 왜 모델을 특정 방식으로 조종하는지, 실패했을 때 디버깅하는 방법은 무엇인지 이해하기 어렵습니다.

모델 규모에 대한 의존성: 원래의 입력 수준 프롬프트 조정 방법의 효율성은 백본 모델의 규모와 상관관계가 있습니다. 100억 개 이상의 매개변수가 있는 모델에 대해서는 완전한 미세 조정 경쟁력이 있지만, 더 작고 일반적으로 사용되는 모델에서는 성능이 크게 저하됩니다.

프롬프트 조정의 원칙은 자연어 처리에 처음 적용했을 때보다 훨씬 더 뛰어난 적응성을 가지고 있음이 입증되었습니다. 이 기술은 이제 다중 모드 도메인, 음성 처리 및 고급 학습 패러다임에서 모델을 효율적으로 사용자 정의하기 위한 핵심 원동력이 되었습니다.

다중 모드 프롬프트 조정(시각 언어 모델): 프롬프트 조정은 CLIP과 같은 사전 학습된 시각 언어 모델(VLM)을 다운스트림 시각 작업에 적용하는 데 중요한 기술입니다. 이러한 컨텍스트에서 프롬프트는 하나 또는 두 가지 모달에 대해 엔지니어링될 수 있습니다.⁷

애플리케이션: 프롬프트 조정 패러다임은 음성 처리 영역으로 성공적으로 확장되었습니다. 이 애플리케이션에서는 원시 음성 발화가 개별 음향 단위로 인코딩되고 학습 가능한 작업별 소프트 프롬프트 세트가 이 시퀀스에 첨부됩니다. 이 프레임워크는 통합되어 있으며, 사전 학습된 단일 음성 모델을 다양한 작업에 적용할 수 있습니다. 여기에는 키워드 발견, 음성 의도 분류, 심지어 자동 음성 인식(ASR)까지 포함되며, 이 모든 것이 작고 구체적인 프롬프트만 학습하는 동안 수행됩니다.

멀티태스킹 및 다국어 학습: 효율성과 일반화를 더욱 강화하기 위해 연구자들은 고립된 단일 작업 프롬프트를 훈련하는 데에서 한 걸음 더 나아갔습니다. 이제 고급 방법은 여러 작업이나 언어로 전송할 수 있는 프롬프트를 학습하는 데 중점을 둡니다.

• 멀티태스크 프롬프트 조정(MPT): 이 접근 방식은 여러 소스 작업의 지식을 단일하고 전송 가능한 공유 프롬프트로 추출합니다. 그런 다음 이 공유 프롬프트를 새로운 대상 작업에 효율적으로 적용할 수 있습니다. 이 과정에서는 작업당 모델 매개변수의 0.035%만 필요하며, 퓨샷 러닝 시나리오에서 강력한 성능이 도출됩니다.
• 다국어 미세 조정: 다국어 모델에 대한 연구에 따르면, 영어 전용 데이터 세트 및 프롬프트 컬렉션에 대한 멀티태스킹 미세 조정은 영어 외 언어로 된 작업에 대한 모델의 제로샷 성능을 크게 향상시킬 수 있습니다. 이 방법은 모델이 어느 정도 언어에 구애받지 않는 작업 해결 능력을 학습한다는 것을 보여줍니다.

인공 지능 연구 분야에서는 머신 러닝과 생성형 AI 프롬프트 조정이 AI 모델의 효율적인 모델 조정을 위한 중요한 방법으로 떠오르고 있습니다. 모든 모델 가중치를 변경하고 제한된 훈련 데이터로 과적합 위험이 있는 전체 모델 훈련과 달리, 이 기술은 입력 텍스트에 첨부된 프롬프트를 최적화하는 데 중점을 둡니다. 목표는 자동화 및 반복 프로세스를 통해 특정 작업에 대한 효과적인 프롬프트를 생성하는 최적의 프롬프트를 발견하는 것이며, 이 프로세스의 성공 여부는 종종 모델 크기에 따라 달라집니다. 이러한 접근 방식은 광범위한 재교육에 대한 확장 가능한 대안을 제공하고 RAG와 같은 여타 전략을 보완하여 파운데이션 모델을 사용자 정의하기 위한 초석으로서의 역할을 강화합니다.