홈
Architectures
하이브리드
Agent Assist와의 대화
조직 내의 다계층 지원 시스템은 인간 상담원과 함께 대규모 언어 모델 기반 대화형 어시스턴트 또는 챗봇을 사용하여 최종 사용자에게 효율적이고 포괄적인 지원을 제공할 수 있습니다.
Agent Assist와의 대화를 위한 아키텍처는 위 다이어그램에 나와 있습니다. 아키텍처 흐름의 주요 단계는 다음과 같습니다.
기업 문서(예: 제품 설명서, 자주 묻는 질문 문서, 오퍼링 자료, 안내서, 해결된 지원 티켓 등)는 IBM Watson Discovery의 인스턴스에 수집되어 시맨틱 검색을 위해 준비됩니다.
사용자는 조직의 웹사이트, 전용 앱 또는 다른 플랫폼의 인터페이스를 통해 요청, 문제 또는 질문을 제출합니다. 이러한 상호작용은 채팅 기반 상호작용의 기본 인터페이스 역할을 하는 IBM watsonx Assistant를 통해 촉진됩니다.
조직의 문서나 지식 기반에서 데이터를 검색해야 하는 요청의 경우 사용자 요청과 가장 관련성이 높은 정보 구절을 검색하기 위해 IBM watsonx Discovery가 호출됩니다.
watsonx Assistant가 사용자의 요청과 watsonx Discovery에서 검색한 관련 정보를 watsonx.ai에서 호스팅된 대규모 언어 모델(LLM)에 제출합니다.
LLM은 사용자의 요청과 제공된 정보를 LLM에 내장된 지식과 합성하여 사람과 유사한 응답을 생성하고, watsonx.ai로 다시 전달합니다. 이 응답은 형식 지정 및 기타 처리를 거친 후 사용자에게 표시됩니다.
사용자가 생성된 응답에 만족하지 않는 경우(예: 요청이 미묘하거나 복잡하거나 특정 지식이 필요한 경우) watsonx Assistant가 통화를 인간 상담원에게 에스컬레이션하도록 선택할 수 있습니다. 마찬가지로 LLM의 응답이 신뢰도가 낮거나 잠재적으로 불쾌하다고 감지되면 상호작용이 자동으로 에스컬레이션될 수 있습니다. 사용자는 언제든지 인간 담당자와 상호작용하도록 선택할 수 있습니다. watsonx Assistant는 기업의 컨택 센터 관리 시스템을 통해 상호작용을 인간 상담원에게 원활하게 전환합니다.
watsonx Assistant 채팅 기록에 대한 전체 액세스 권한이 있는 인간 상담원은 사용자의 요청, 문제 또는 질문을 해결하도록 도와줍니다.
해결 후 시스템은 watsonx Assistant를 통해 사용자 피드백을 요청할 수 있습니다. 이 피드백은 자주 누락되거나 에스컬레이션되는 쿼리를 분석하고 조직이 watsonx.ai에 호스팅된 LLM을 조정하거나 watsonx Discovery의 검색 매개변수를 조정하여 성능을 향상시킴으로써 향후 상호작용을 개선하는 데 도움이 됩니다.
아래 다이어그램에는 개념 아키텍처에 대한 IBM watsonx AI 제품 포트폴리오의 매핑이 나와 있습니다. watsonx Assistant는 가상 어시스턴트 구성 요소 기능을 제공하고, watsonx Assistant의 애드온인 watsonx Discovery는 문서 수집 및 시맨틱 검색 기능을 제공합니다. watsonx.ai 모델 개발 및 호스팅 환경을 사용하면 대규모 언어 모델을 선택, 조정, 테스트 및 배포할 수 있습니다.
일부 고객의 경우 해당 지역에서 watsonx.ai를 사용할 수 없거나 보안 문제 또는 규제 요구 사항으로 인해 watsonx.ai 엔터프라이즈급 AI 스튜디오를 사용하지 못할 수 있습니다. 이러한 고객을 위해 IBM은 watsonx.ai를 일련의 컨테이너화된 서비스로 제공합니다. 이 서비스는 고객의 데이터 센터 내에서, 클라우드 서비스 제공업체 인프라의 가상 프라이빗 클라우드(VPC) 내에서 또는 기타 위치에서 실행되는 Red Hat Openshift에 배포할 수 있습니다.
아키텍처 결정 및 고려 사항
생성 모델 선택
프로젝트에 적합한 모델을 선택하는 데에는 여러 가지 요소가 고려됩니다.
모델의 라이선스에 따라 사용 방법이 제한될 수 있습니다. 예를 들어, 모델의 라이선스로 인해 상업용 애플리케이션의 일부로 사용하지 못할 수도 있습니다.
모델 학습에 사용되는 데이터 세트는 모델이 특정 애플리케이션에서 얼마나 잘 작동하는지에 직접적인 영향을 미치며, 모델이 무의미하거나 공격적이거나 단순히 원치 않는 응답을 생성할 수 있는 위험에 상당한 영향을 미칩니다. 마찬가지로 저작권이 있는 데이터나 개인 데이터를 기반으로 학습한 모델의 사용자는 법적 책임을 물어야 할 수도 있습니다. IBM은 완전한 학습 데이터 투명성을 제공하고 자사 모델에서 발생하는 법적 청구에 대한 면책을 제공합니다.
모델의 크기, 학습된 매개변수의 수, 컨텍스트 윈도우(모델이 수용할 수 있는 텍스트 구절 길이)의 크기는 모델 성능, 리소스 요구 사항, 처리량에 영향을 미칩니다. '더 큰 것이 낫다'다 철학을 고수하고 200억 개의 매개변수 모델을 선택하고 싶지만, 리소스 요구 사항과 정확도 개선(해당하는 경우)만으로는 이를 정당화하지 못할 수 있습니다. 최근 연구에 따르면 일부 솔루션에서는 작은 모델이 큰 모델보다 성능이 훨씬 뛰어날 수 있습니다.
모델에 적용된 모든 미세 조정은 작업에 대한 적합성에 영향을 줄 수 있습니다. 예를 들어, IBM은 Granite 모델의 두 가지 버전을 제공합니다. 하나는 일반 채팅 애플리케이션에 맞게 조정되었고 다른 하나는 명령을 따르도록 조정되었습니다.
모델을 선택할 때 고려해야 할 기타 사항은 다음과 같습니다.
모델 매개변수 선택. 예: 인간 같은 텍스트 생성과 사실적인 응답 간 균형을 맞추기 위한 모델 온도. 모델 온도를 높은 값으로 설정하면 일관되지만 잠재적으로 흥미롭지 않거나 지나치게 간결한 응답이 생성되고, 온도를 낮은 값으로 설정하면 응답에 더 많은 다양성이 도입되지만 응답 길이와 내용에 예측 불가능성이 추가됩니다.
비효율적이거나 모욕적인 결과를 방지하기 위한 모델 가드레일의 선택 및 구현.
클라이언트 데이터와 사용자 프롬프트의 언어도 고려해야 합니다. 대부분의 LLM은 영어 텍스트로 학습되었으며 종종 다양한 수준의 전문성을 통해 영어와 다른 언어 간에 번역할 수 있습니다. 다국어 또는 현지화 언어 지원이 필요한 애플리케이션은 각 지원 언어로 학습된 여러 모델을 사용하거나, 다국어 입력을 영어 또는 다른 '기본' 언어로 번역하는 번역 단계를 구현해야 할 수 있습니다.