퓨샷 프롬프트란 무엇인가요?

퓨샷 프롬프트는 AI 모델에 작업의 몇 가지 예를 제공하여 성능을 안내하는 프로세스를 의미합니다. 이 방법은 광범위한 훈련 데이터를 사용할 수 없는 시나리오에서 특히 유용합니다.

예시가 필요하지 않은 제로샷 프롬프트나 단일 예시에 의존하는 원샷 프롬프트와 같은 다른 기술에서 퓨샷 프롬프트는 정확성과 적응성을 향상시키기 위해 여러 예시를 사용합니다. 이 외에도 생각의 연결고리 프롬프트 및 생각의 나무 프롬프트와 같은 다른 고급 프롬프트 엔지니어링 프레임워크도 예시를 사용하여 원하는 아웃풋을 얻고 모델의 아웃풋을 최적화합니다.

퓨샷 러닝은 대량의 레이블이 지정된 데이터를 수집하기 어려운 생성형 AI 상황에서 필수적입니다. 프롬프팅 방법은 텍스트 입력을 구조화된 형식으로 변환하여 IBM Granite 시리즈, Meta의 Llama 모델, OpenAI의 GPT-3 및 GPT-4 같은 모델이 적절한 응답으로 빈칸을 채울 수 있게 하므로 레이블이 지정된 데이터 세트 없이도 작업을 효과적으로 수행할 수 있습니다.^[1] 또한 이 기술은 특정 예시를 통해 모델을 안내하여 미리 정의된 아웃풋 형식을 가져오는 것을 지원하여 원하는 구조의 일관성과 정확성을 보장합니다.

퓨샷 프롬프트는 인공 지능(AI), 머신러닝(ML), 자연어 처리(NLP) 분야에서 강력한 기술로 부상했습니다. 이 방법은 모델이 제한된 예시로 작업을 수행할 수 있다는 점에서 제로샷 및 원샷 프롬프트와 같은 다른 프롬프트 방법과 차별화됩니다. 퓨샷 프롬프트를 이해하는 것은 OpenAI의 GPT-3/GPT-4와 같은 고급 AI 시스템과 IBM Granite 모델 또는 Meta의 Llama 모델과 같은 기타 대규모 언어 모델(LLM)의 잠재력을 최대한 활용하는 데 매우 중요합니다.

그림 1은 대규모 언어 모델을 사용하여 감정을 분류하는 퓨샷 러닝 프로세스를 보여줍니다. 프롬프트는 "긍정적" 또는 "부정적"으로 표시된 텍스트의 예시를 제공합니다. 모델은 이러한 레이블이 지정된 예시를 본 후 새 텍스트("이 제품은 매우 비용 효율적입니다")를 "긍정적"으로 분류하는 작업을 받습니다. 이는 퓨샷 러닝을 통해 모델이 특정 작업을 수행하기 위해 소수의 예시에서 일반화할 수 있는 방법을 보여줍니다.

퓨샷 프롬프트는 프롬프트 내에서 원하는 작업의 여러 예시를 모델에 제시하는 방식으로 작동합니다. 이 기술은 대규모 언어 모델(LLM)에 대한 사전 훈련된 지식을 활용하여 제한된 데이터로도 특정 작업을 효율적으로 수행합니다.

사용자 쿼리: 이 프로세스는 "이 제품은 매우 비용 효율적입니다"와 같은 사용자 쿼리로 시작됩니다.

벡터 스토어: 모든 예시는 의미 검색에 최적화된 데이터베이스인 벡터 스토어에 저장됩니다. 사용자 쿼리가 수신되면 시스템은 시맨틱 일치를 수행하여 벡터 스토어에서 가장 관련성이 높은 예시를 찾습니다.

관련 예시 검색: 가장 관련성 있는 예시만 검색하여 프롬프트를 형성하는 데 사용합니다. 이 예시에서는 검색 증강 생성(RAG)을 활용하여 벡터 스토어에서 예시를 검색하므로 프롬프트를 특정 쿼리에 맞게 조정하는 데 도움이 됩니다. RAG는 퓨샷 프롬프트에 보편적으로 요구되는 것은 아니지만, 상황에 가장 적합한 예시를 사용하여 특정 시나리오에서 모델의 성능을 개선함으로써 프로세스를 크게 향상할 수 있습니다.

프롬프트 형성: 프롬프트는 검색된 예와 사용자 쿼리를 사용하여 구성됩니다. 예를 들어 프롬프트는 다음과 같습니다.

LLM 처리: 구성된 프롬프트는 LLM에 입력됩니다. 모델은 프롬프트를 처리하고 아웃풋을 생성합니다. 이 경우에는 사용자 쿼리의 감정을 분류합니다.

아웃풋: LLM은 주어진 예시에 대해 "부정적"과 같은 분류를 출력합니다.

연구는 광범위한 프롬프트 엔지니어링에 대한 의존도를 줄이는 퓨샷 러닝 접근 방식의 효과를 강조했습니다. 프롬프트 전에 대규모 데이터 세트를 사용하여 모델 매개변수를 조정하는 기존의 미세 조정과 달리, 퓨샷 설정의 미세 조정은 프롬프트 내에서 직접 제공되는 몇 가지 예시만으로 사전 학습된 모델을 조정하는 프로세스를 의미합니다. 이 접근 방식을 사용하면 대규모 데이터 세트에 대한 추가 교육의 필요 없이 모델이 기존 지식을 보다 효과적으로 활용할 수 있습니다.^[2] 이 연구는 "null 프롬프트"(작업별 템플릿이나 레이블이 지정된 예시가 포함되지 않은 프롬프트)를 사용하는 경우에도 모델이 다양한 작업에서 경쟁력 있는 정확도를 달성할 수 있음을 보여주었습니다. 예를 들어 null 프롬프트는 단순히 "다음 텍스트의 감정은 무엇입니까?"와 같은 질문을 하며, 감정을 분류하는 방법에 대한 구체적인 예나 지침을 제공하지 않습니다. 이러한 구조 부족에도 불구하고 모델은 잘 작동하여 퓨샷 러닝의 견고성을 보여줍니다.

전반적으로 이 연구는 특히 구조화된 프롬프트를 사용할 때 퓨샷 러닝이 매우 효과적인 전략임을 시사합니다. null 프롬프트는 좋은 결과를 도출할 수 있지만, 잘 선택된 몇 가지 예시를 추가하면 모델의 성능을 더욱 향상시킬 수 있으므로 특히 레이블이 지정된 데이터가 제한된 시나리오에서 유연하고 효율적인 접근 방식이 될 수 있습니다. ^[1]

퓨샷 프롬프트는 자연어 처리(NLP)에서 강력한 기술로, 모델이 최소한의 예로 작업을 수행할 수 있도록 합니다. 이 접근 방식에는 효율성과 적용 가능성에 영향을 미치는 몇 가지 장점과 한계가 있습니다.

장점

1. 효율성과 유연성: 퓨샷 프롬프트는 훈련에 필요한 레이블이 지정된 데이터 양을 크게 줄여 매우 효율적이고 새로운 작업에 적응할 수 있게 해 줍니다. 사전 학습된 대규모 언어 모델을 활용하면 제한된 데이터로도 경쟁력 있는 퓨샷 프롬프트 성능을 달성할 수 있습니다. 예를 들어, 아래 인용된 연구에서 저자들은 몇 번의 촬영 환경에서 언어 모델을 미세 조정하면 광범위한 프롬프트 엔지니어링의 필요성이 감소하고 광범위한 작업에서 높은 정확도를 달성할 수 있다는 것을 보여주었습니다.^[2]
2. 다양한 응용 분야에서 향상된 성능: 퓨샷 프롬프트는 텍스트 분류부터 기계 번역에 이르기까지 다양한 응용 분야에서 상당한 개선을 보였습니다. 예를 들어, 아래 인용된 연구의 저자들은 TransPrompt를 제안했습니다. TransPrompt는 교차 작업 지식을 캡처하여 몇 번의 텍스트 분류 작업에서 성능을 크게 향상시키는 전송 가능한 프롬프트 프레임워크입니다.^[3]
3. 다양한 프롬프트에 대한 견고성: 다양한 프롬프트 공식에 대한 퓨샷 프롬프트의 견고성은 또 다른 주요 장점입니다. Feihu Jin 등이 설명한 통합 프롬프트 튜닝(UPT)은 작업별 정보와 인스턴스 종속 정보로 프롬프트를 풍부하게 하여 다양한 NLP 작업에서 프롬프트 성능을 크게 향상시킵니다.^[4]
4. 계산 오버헤드 감소: 최근의 발전으로 인해 퓨샷 프롬프트는 효율성이 더욱 높아졌습니다. 예를 들어, Lewis Tunstall 등은 기존 방법에 비해 훨씬 적은 수의 매개변수와 학습 시간 단축으로 높은 정확도를 달성하는 Sentence Transformers의 퓨샷 미세 조정을 위한 효율적인 프레임워크인 SetFit을 도입했습니다.^[5]

제한 사항

1. 프롬프트 품질에 대한 의존성: 프롬프트의 품질과 설계는 퓨샷 프롬프트의 성능에 상당한 영향을 미칩니다. 효과적인 프롬프트를 만들려면 신중한 엔지니어링 및 영역에 대한 전문 지식이 필요한 경우가 많습니다. 저자인 Timo Schick과 동료 연구자들은 프롬프트 품질에 따른 성능 변동성을 강조하면서 신뢰할 수 있는 결과를 얻으려면 여러 프롬프트를 지능적으로 처리해야 한다는 점을 강조했습니다.^[6]
2. 계산 복잡도: 퓨샷 프롬프트에 사용되는 대규모 언어 모델은 상당한 계산 리소스를 필요로 합니다. 이는 많은 조직에게 장벽이 되어 이러한 모델의 접근성을 제한할 수 있습니다. Morteza Bahrami 등은 엄청난 수의 매개변수가 있는 모델에는 강력한 하드웨어가 필요하며 이는 광범위한 도입에 제약으로 작용할 수 있다고 지적했습니다.^[1]
3. 일반화의 어려움: 다양한 작업과 데이터 세트에 걸쳐 프롬프트를 일반화하는 것은 여전히 중요한 과제입니다. 퓨샷 프롬프트는 특정 작업에서 잘 수행될 수 있지만, 다양한 응용 분야에서 일관된 성능을 보장하려면 고급 기술이 필요합니다. 예를 들어, Feihu Jin과 동료 저자들이 수행한 연구에서는 프롬프트 기반 학습의 일반화를 개선하기 위해 대량의 훈련 데이터를 활용함으로써 수치 추론에서 이 문제를 해결했습니다.^[4]
4. 제한된 제로샷 기능: 퓨샷 프롬프트는 최소한의 사례에서는 효과적이지만, 제로샷 설정에서는 성능이 저하될 수 있습니다. NER의 발전에 대한 연구에서는 프롬프트 견고성을 향상시켜 제로샷 기능의 한계를 해결하는 Named Entity Recognition을 위한 프롬프트 기반 방법인 QaNER을 소개했습니다.^[7]

따라서 퓨샷 프롬프트는 다양한 애플리케이션에서 효율성, 유연성 및 성능 측면에서 상당한 이점을 제공합니다. 그러나 프롬프트 품질에 대한 의존성, 계산 복잡성, 일반화의 어려움, 제한된 제로샷 능력으로 인해 잠재력을 극대화하기 위해 추가 발전이 필요한 영역이 강조됩니다.

퓨샷 프롬프트는 대규모 언어 모델의 강점을 활용하여 제한된 예시로 복잡한 작업을 수행하는 등 다양한 애플리케이션에서 수많은 예시를 통해 다재다능하고 강력한 도구로 입증되었습니다. 퓨샷 프롬프트는 콘텐츠 제작이나 컨텍스트 내 학습과 같은 창의적인 생성형 AI 사용 사례에서 인기가 있습니다. 다음은 몇 가지 주목할 만한 사용 사례에 대한 자세한 설명입니다.

감정 분석
퓨샷 프롬프트는 모델이 제한된 레이블이 지정된 데이터로 텍스트의 감정을 분류하는 감정 분석에 특히 유용합니다. 한 가지 예는 그림 2의 시맨틱 매칭과 퓨샷 프롬프트의 통합입니다. 이를 통해 모델은 벡터 스토어의 관련 예시를 기반으로 감정을 정확하게 분류할 수 있습니다.^[1]

동영상 내 동작 인식
퓨샷 프롬프트는 동영상 내 동작 인식에도 적용되었습니다. Yuheng Shi 등은 외부 리소스의 상식적인 지식을 활용하여 비전-언어 모델을 프롬프트하는 지식 프롬프트를 도입했습니다. 이 방법은 최소한의 감독으로 동영상에서 동작을 효과적으로 분류하여 최첨단 성능을 달성하는 동시에 훈련 오버헤드를 크게 줄입니다.^[8]

지식 기반 대화 생성
지식 기반 대화 생성이나 챗봇에서 퓨샷 프롬프트는 외부 정보 소스를 통합하여 대화 모델을 강화합니다. 이 연구는 퓨샷 프롬프트 방법이 대화 모델의 성능을 크게 향상시켜 대화 모델을 더욱 일관되고 맥락적으로 관련성 있게 만들 수 있음을 보여주었습니다.^[9]

Named Entity Recognition(NER)
퓨샷 프롬프트는 모델이 텍스트 내의 엔티티를 인식하고 분류하는 데 도움이 되는 예시를 제공함으로써 Named Entity Recognition 작업을 향상할 수 있습니다. 다음 인용된 연구의 저자는 질문 답변 작업을 위한 엔티티 인식 프롬프트 기반의 퓨샷 러닝 방법을 개발했으며, 이는 NER 작업에 맞게 조정되어 모델의 성능을 크게 향상시킬 수 있습니다.^[10]

코드 생성 작업
퓨샷 프롬프트는 테스트 어설션 생성 및 프로그램 복구와 같은 코드 관련 작업에도 활용할 수 있습니다. Noor Nashid 등은 연구에서 효과적인 프롬프트를 생성하기 위해 코드 데모를 자동으로 검색하는 기술을 개발했으며, 이를 통해 작업 정확도가 상당히 향상되었음을 보여주었습니다.^[11]

이러한 사용 사례는 다양한 분야와 작업에 걸쳐 퓨샷 프롬프트의 광범위한 적용 가능성과 효과를 보여주며, AI 및 NLP 애플리케이션의 혁신과 효율성을 촉진할 수 있는 잠재력을 보여줍니다.

퓨샷 프롬프트는 제한된 예시로 효율성, 유연성 및 향상된 성능을 제공하는 AI 및 NLP의 상당한 도약을 보여줍니다. 기술이 발전할수록 퓨샷 프롬프트는 다양한 응용 분야에서 중요한 역할을 하여 여러 분야에서 혁신과 효율성을 주도할 것입니다.