생성형 AI 통합: 고려해야 할 요소

이제 많은 기업들이 생성형 AI를 실험하는 데 있어 큰 진전을 이루었습니다. 반복적인 작업을 자동화하는 방법을 발견했으며, 인공지능이 자사의 워크플로에 어떻게 적용되는지도 파악했습니다. 그러나 탐색 단계에서 실제 운영 단계로 전환하려면 일반적인 AI 통합 과제를 해결해야 하며, 몇 가지 비일반적인 요소도 함께 고려해야 합니다.

소프트웨어 개발 스타트업이라면 GitHub Copilot과 같은 AI 기반 코드 생성 툴을 사용해 본 경험이 있을 수 있습니다. 또는 콘텐츠 제작 에이전시라면 OpenAI의 ChatGPT와 같은 챗봇을 활용해 팟캐스트와 영상 대본을 작성하고 소셜 미디어 게시물을 제작해 보았을 수 있습니다. 이제 한 단계 더 나아가 생성형 AI를 비즈니스에 통합할 준비가 되었습니다.

목표와 기대 성과를 정의하고, AI 통합 전략을 수립했으며, 생성형 AI 통합 서비스도 검토했습니다. 혼자 진행하든 팀의 도움을 받든, 통합 여정에 영향을 줄 수 있는 작지만 중요한 요소들을 살펴보세요. 그 과정에서 도움이 될 수 있는 몇 가지 방법을 얻을 수 있습니다.

고품질 데이터는 고성능 생성형 AI 모델로 이어질 수 있습니다. 데이터 감사, 데이터 통합, 데이터 준비는 생성형 AI 통합 과정의 일반적인 요소이지만, 관련 컨텍스트를 추가하면 데이터 품질을 더욱 향상시키고 더 높은 컨텍스트 인식 출력을 얻을 수 있습니다.

컨텍스트를 포함하는 한 가지 방법은 도메인 또는 실제 작업과 사용 사례에 특화된 소규모 데이터 세트로 사전 학습된 모델을 미세 조정하는 것입니다. 이를 통해 처음부터 모델을 학습하는 데 필요한 상당한 시간, 노력 및 비용을 절감할 수 있습니다.

한편 검색 증강 생성(RAG)과 모델 컨텍스트 프로토콜(MCP)은 모두 실시간으로 컨텍스트를 반영합니다. RAG 시스템은 외부 지식 베이스에서 데이터를 검색하고, 해당 데이터로 프롬프트에 강화된 컨텍스트를 추가한 뒤 응답을 생성합니다. MCP는 유사하게 작동하지만, RAG처럼 생성 전에 컨텍스트를 추가하는 대신 생성 과정 중에 컨텍스트를 결합합니다. 이는 AI 애플리케이션이 외부 데이터 소스, 서비스 및 툴에 연결될 수 있도록 하는 표준화된 계층으로 작동하며, 실시간 데이터를 활용합니다.

생성형 AI 솔루션이 기존 시스템과 호환되는지 판단하는 과정 없이는 통합 프로세스가 완성될 수 없습니다. 예를 들어 AI 개발 팀은 선택한 대형 언어 모델(LLM)을 CRM 및 ERP 소프트웨어와 연결하기 위해 미들웨어와 같은 커넥터를 이미 설계하고 있을 수 있습니다.

그러나 때로는 단일 LLM만으로는 충분하지 않을 수 있으며, 특히 비즈니스 프로세스 자동화나 워크플로 자동화의 복잡한 단계에서는 더욱 그렇습니다. 예를 들어 인사 부서는 정기적인 직원 설문에서 얻은 피드백을 분석하기 위해 언어 모델의 자연어 처리(NLP) 기능을 활용하는 것을 고려할 수 있습니다. 소형 언어 모델(SLM)은 설문에서 식별 정보를 제거하는 익명화 작업이나 주요 주제를 요약하는 것과 같은 비교적 단순한 작업을 수행할 수 있습니다. 보다 강력한 LLM은 감성 분석이나 의사 결정을 지원하기 위한 실행 가능한 인사이트 생성과 같은 더 복잡하고 정교한 작업을 수행할 수 있습니다.

이러한 상황에서는 LLM 오케스트레이션을 통해 여러 언어 모델의 관리를 간소화할 수 있습니다. LLM 오케스트레이션 프레임워크는 적절한 모델에 작업을 할당하고 모델 간 상호작용을 조율하여 효율성과 효과성을 모두 향상시킵니다.

모델을 선택하고, 그 동작을 테스트하며, 성능을 평가하는 것은 생성형 AI 솔루션 통합의 핵심 단계입니다. 그러나 모델을 어떻게 호스팅하거나 액세스할지도 중요하며, 다음과 같은 여러 옵션이 있습니다.

• 자체 호스팅: 예산, 리소스 및 팀이 있다면 생성형 AI 모델을 온프레미스 또는 프라이빗 클라우드에 호스팅할 수 있습니다. 데이터를 완전히 통제할 수 있으며 필요에 따라 모델을 자유롭게 맞춤화할 수 있습니다. 자체 호스팅은 금융 및 헬스케어와 같이 데이터 프라이버시와 데이터 보안 요구 사항이 엄격한 산업에 적합할 수 있습니다.

• 서비스형 모델(MaaS): 머신 러닝(ML) 모델은 클라우드에 호스팅되며 API를 통해 액세스할 수 있습니다. 특히 LLM은 LLM API를 통해 제공됩니다. MaaS는 자체 AI 인프라를 관리할 필요 없이 빠른 통합을 가능하게 하며, 사용량 기반 과금 방식으로 유연성을 제공합니다.

• 구독 플랜: 구독 플랜을 통해 클라우드 기반 플랫폼에서 생성형 AI 툴과 앱에 액세스할 수 있습니다. 일부 공급자는 고급 기능, 전담 고객 지원, 강화된 서비스 수준 계약 및 기업 수준의 보안과 규정 준수 기능을 포함한 비즈니스 맞춤형 플랜을 제공합니다.

모델 배포는 모델 선택과 모델 평가 다음 단계로 자연스럽게 이어집니다. 그러나 생성형 AI 기반 워크로드는 DevOps가 제공하는 것보다 더 특화된 접근 방식이 필요할 수 있습니다.

이때 MLOps와 LLMOps가 활용되며, 생성형 AI 통합 프로세스를 보다 원활하게 만듭니다. MLOps는 DevOps 원칙을 기반으로 기존 CI/CD 파이프라인에 머신 러닝 파이프라인을 통합하여 모델의 지속적인 통합, 배포, 모니터링 및 관측 가능성, 개선, 그리고 거버넌스를 가능하게 합니다. LLMOps는 MLOps의 범주에 속하지만, LLM 벤치마크를 활용한 미세 조정 및 평가와 같이 LLM의 수명 주기와 요구 사항에 더욱 특화되어 있습니다.

사용자 경험(UX)은 생성형 AI 통합의 핵심 구성 요소입니다. 사려 깊고 직관적이며 사용자 친화적인 인터페이스는 조직 내에서 생성형 AI 도입을 촉진하는 데 도움이 됩니다.

다음과 같은 UX 중심 팁을 고려하세요.

• 특히 생성형 AI 프로토타입을 구축할 때 AI 구현 초기 단계부터 UX 디자이너를 참여시키세요.

• 멀티모달 AI 모델의 경우 채팅 창이나 프롬프트 입력창을 넘어 오디오나 이미지와 같은 텍스트 외 입력 유형도 지원할 수 있도록 설계하세요.

• 특히 다단계 워크플로 또는 처리 시간이 긴 작업의 경우 작업 진행 상황을 사용자에게 알려주는 표시를 활용하세요.

• 사용자 숙련도 수준에 맞출 수 있도록 가이드 프롬프트 또는 템플릿을 구현하세요.

• 사용자 선호도와 이전 컨텍스트를 유지할 수 있는 메커니즘을 제공하세요.

• 생성형 AI 앱의 기능과 특징을 안내하는 인터랙티브 가이드 또는 튜토리얼을 만드세요.

현재 IT 에코시스템을 평가하는 것은 통합 프로세스에서 매우 중요합니다. 그러나 평가는 현재뿐만 아니라 미래를 고려하여 이루어져야 합니다. 기업은 생성형 AI 시스템의 연산 요구 사항과 변화하는 비즈니스 요구를 모두 충족할 수 있도록 인프라를 확장할 수 있는지 확인해야 합니다.

모델을 자체 호스팅할 계획이라면 AI 가속기와 기타 고성능 컴퓨팅 리소스에 투자하여 생성형 AI에 맞게 하드웨어를 최적화하는 것을 고려하세요. 고속·저지연(지연 시간) 데이터 전송을 처리할 수 있도록 네트워크 역량을 업그레이드하는 것도 좋은 방법입니다. 하지만 클라우드 또는 API 기반 방식을 선택하는 경우, 사용 중인 플랫폼이 생성형 AI 워크로드를 처리할 만큼 충분히 견고한지, 그리고 최신 생성형 AI 발전을 따라가고 있는지 확인하세요.