' AI Gateway'를 사용하여 ' Gemini '에 대한 REST 프록시 만들기

온라인에서 편집하기

' AI Gateway '을 사용하여 AI 모델에 대한 액세스를 제어하는 REST 프록시를 만듭니다.

시작하기 전에

' AI Gateway' 사용을 위한 전제 조건의 작업을 완료하여 ' Gemini'에 액세스할 수 있는지 확인합니다.

이 태스크에 대한 정보

' AI Gateway '은 OpenAPI 3.0 API에서만 지원됩니다.

프로시저

  1. 탐색 창에서 을 클릭합니다 개발 아이콘.

  2. ‘개발’ 페이지에서 ‘추가’ > ‘API’를 클릭합니다.

  3. API 유형 선택 페이지에서 OpenAPI 3.0 탭을 클릭합니다.

  4. 만들기 섹션에서 AI 게이트웨이를 선택한 후 다음을 클릭합니다.

  5. AI 게이트웨이에서 API 만들기 페이지에서 플랫폼 필드를 사용하여 새 API가 사용할 AI 서비스로 Google Gemini를 선택합니다.

  6. '정보' 섹션을 사용하여 API에 대한 기본 정보를 입력한 후 다음을 클릭합니다:
    Draft comment: abeesh.thomas@ibm.com
    From this step on, the info was copied from OpenAI so it needs updating for Genini.
    • OpenAPI 버전은 OpenAPI 을 클릭한 3단계 선택을 기준으로 합니다 3.0

    • 제목 : 제목에는 특수 문자를 포함할 수 있지만 사용자 인터페이스에 쉽게 표시될 수 있도록 짧게 작성해야 합니다.

    • 제목에 따라 이름이 자동으로 채워집니다. 이 값은 개발자 툴킷 CLI 명령에서 API를 식별하는 데 사용되는 단일 문자열입니다.

    • 버전: 기본값을 그대로 사용하거나 필요에 따라 수정합니다. 버전은 OpenAPI 정의의 ' info.version ' 속성 값에 해당합니다. version.release.modification 버전 번호 체계(예: 1.0.0)를 사용하는 것이 좋습니다.

    • 기본 경로입니다: 기본값을 그대로 사용하거나 필요에 따라 수정합니다. API의 '기본 경로'는 API가 게시된 카탈로그의 모든 베니티 엔드포인트 구성을 고려하여 API 호출을 위한 전체 URL 엔드포인트를 결정하는 데 사용되는 서버 URL 입니다. DataPower® API Gateway 에서 강제하는 API의 경우, 기본 경로 값만 제공하면 됩니다. 또한,
      • 호스트 이름이나 경로 또는 작업에 대한 추가 세그먼트를 포함하지 마세요
      • 특수 문자를 포함하지 마십시오
      • URL 를 비워 두더라도 슬래시(/)로 시작하세요

    • 설명: 선택 사항인 설명은 API를 식별하는 데 도움이 됩니다.
  7. API 키 값 또는 값이 API 키인 $(카탈로그 속성 이름) 변수를 입력한 후 다음을 클릭합니다. API 키는 Google Studio 로 인증할 수 있으며 Gemini 서비스에 액세스하는 데 필요합니다.
  8. API가 요청을 제출하기 위해 ' Gemini '에 액세스하는 방법에 대한 정보를 제공한 다음 만들기를 클릭합니다:
    • 노출된 경로: 노출된 경로의 기본 목록을 수락하거나 API가 액세스할 경로만 선택합니다. 노출된 경로는 생성된 API에 어떤 ' Gemini 작업이 포함되는지 정의합니다.

    • 응답 캐싱 사용 : API 성능을 최적화하기 위해 기본적으로 응답 캐싱이 사용 설정되어 있지만, API에 필요한 경우 비활성화할 수 있습니다. 응답 캐싱을 사용하는 경우 정책 UI의 응답 캐시 만료 속성에서 캐시 기간을 지정할 수 있습니다.

      응답 캐싱이 활성화되면 요청이 ' Gemini 서비스로 전송될 때 응답 캐시를 검사하여 요청 페이로드에 캐시된 응답이 연결되어 있는지 확인합니다. 그렇다면, 그 응답과 관련된 HTTP 응답 헤더는 DataPower API Gateway 컨텍스트 메시지(기본적으로 message 로 이름이 지정됨)에 배치됩니다. 다른 메시지가 필요한 경우 API가 생성된 후 정책 UI의 출력 메시지 속성을 수정할 수 있습니다.

      캐시된 응답이 없는 경우 요청은 Gemini 서비스로 전달되고 응답 캐시 만료 속성에 지정된 유효 기간을 사용하여 후속 작업을 위해 응답이 캐시됩니다.

      응답 캐싱을 사용 설정하는 경우 정책 UI의 응답 캐시 만료 필드에서 기본값을 수락하거나 새 값을 선택(또는 입력)하여 캐시 기간을 구성합니다. 최소 기간은 60초, 최대 기간은 86400초(1일)입니다. -\- 이 범위를 벗어나는 값은 이 필드에서 허용되는 값이라 하더라도 API가 게시될 때 유효성 검사에 실패합니다.
    • 요금 제한 섹션에서 API에 대한 요금 제한을 제어하는 ' API ConnectAI Gateway 제품을 생성하려면 제품 생성을 선택합니다.

      ' API ConnectAI Gateway'에서 제품은 요금 한도를 정의하는 API 및 관련 사용 요금제를 위한 컨테이너 역할을 합니다. 여기에서 제품 비율 제한을 설정하면 필요한 ' gemini-default ' 및 ' gemini-token-weighted 조립 비율 제한이 포함된 플랜이 생성되고 사용자가 정의한 제한이 지정됩니다.

      제품을 자동으로 생성하지 않기로 선택한 경우, ‘AI Gateway를 사용하여 Gemini용 REST 프록시 생성’에 설명된 대로 제품을 직접 생성해야 합니다.

      주의: 나중에 자동 게시 기능을 사용하여 생성되는 제품(API 게시 시)에는 AI 서비스 사용에 필요한 플랜이 포함되어 있지 않습니다. 지금 바로 제품을 생성하거나, API를 공개하기 전에 사용자 지정 제품을 생성하십시오.

      API 호출에 적용할 속도 제한 유형을 구성합니다:

      참고: 비율 제한 값을 지정하지 않으면 해당 비율 제한에 대한 기본값이 지정됩니다.
      • 속도 제한 설정 : (시간 기반) 기본 속도 제한을 수락하거나 지정된 기간 내에 전송된 API 요청 수에 따라 새로운 제한을 구성합니다. 이 유형의 요금 제한은 토큰을 사용하지 않습니다.

      • AI 토큰 한도 설정 : (토큰 기반) 기본 요금 한도를 수락하거나 지정된 기간 내에 사용한 비용 기반 토큰 수에 따라 새로운 한도를 구성합니다. 토큰 기반 요금 제한은 ' /chat/completions ' 작업을 사용하여 토큰 사용량을 추적합니다.

        AI 토큰 제한은 토큰 사용량에 따라 속도 제한을 적용합니다. 속도 제한은 지정된 기간 내에 게이트웨이를 통과할 수 있는 토큰 수를 결정합니다.

  9. 요약 페이지를 검토하여 API에 문제가 없는지 확인합니다.

  10. 새 API를 편집하고 API의 워크플로를 제어하는 정책 및 로직 구성을 추가합니다.

    생성된 API에는 요청된 노출된 경로에 대한 Gemini 호출 정책이 포함되어 있습니다. 필요에 따라 속성을 편집할 수 있습니다.