작업에 적합한 툴: LLM과 기존 ML 중 선택하기 위한 실무자 프레임워크

생성형 AI 시대가 도래하면서 조직에는 대규모 언어 모델이 모든 것을 할 수 있다는 새로운 유혹이 생겨났습니다. 이러한 시스템은 놀라운 속도로 코드를 작성하고, 계약서를 요약하고, 복잡한 질문에 답하고, 콘텐츠를 생성합니다. 

이러한 열광은 충분히 이해할 만합니다. 하지만 AI를 배포하기 위한 경쟁이 치열해지면서 기존 머신 러닝 모델을 사용하면 훨씬 적은 비용으로 더 빠르고 효과적으로 처리할 수 있는 작업에도 많은 팀이 LLM을 선택하고 있습니다. 

다행히 이러한 과도한 기대에 휩쓸리지 않고 판단할 수 있는 실용적인 프레임워크가 있습니다. 그 출발점은 모델이 아니라 데이터입니다.

숙련된 목수는 못을 박기 위해 원형 톱을 집어 들지 않습니다. 톱은 매우 뛰어난 툴입니다. 2x4 목재를 몇 초 만에 자를 수 있습니다. 하지만 잘못된 작업에 사용하면 아무 쓸모가 없을 뿐만 아니라 최악의 경우에는 손상을 초래할 수도 있습니다. 

자신의 툴을 제대로 이해하는 목수는 툴과 작업을 모두 잘 알고 있기 때문에 본능적으로 적합한 툴을 선택합니다. 문손잡이를 분리할 때는 왕복 톱이 아니라 드라이버가 필요하다는 것을 알고 있습니다. AI 엔지니어링에도 동일한 원칙이 적용됩니다. 

오늘날 데이터 과학자는 그래디언트 부스팅 모델, 신경망, 회귀 알고리즘, 시계열 기법, 대규모 언어 모델 등 매우 다양한 툴을 활용할 수 있습니다. 중요한 것은 당면한 문제에 어떤 툴이 가장 적합한가입니다. LLM과 머신 러닝 모델 중 하나를 선택할 때는 거의 항상 두 가지 요소, 즉 입력 데이터의 특성과 필요한 결과물의 특성이 결정적인 기준이 됩니다.

복잡한 요소를 걷어내고 핵심만 살펴보겠습니다. 이렇게 보면 LLM과 기존 ML 모델의 차이는 하나의 원칙으로 요약됩니다. LLM은 단어를 사용하여 단어를 예측합니다. ML 모델은 숫자를 사용하여 숫자를 예측합니다.

대규모 언어 모델은 다음 토큰을 예측하는 엔진입니다. 방대한 텍스트 말뭉치로 학습된 LLM은 입력과 결과물이 모두 언어인 작업에 탁월합니다. 지원 티켓 요약 툴, 계약서 검토 어시스턴트 또는 내부 문서를 기반으로 구축된 질의응답 시스템은 LLM에 적합한 대표적인 사례입니다. 데이터가 텍스트로 입력되고 가치 역시 텍스트 형태로 제공됩니다. 

기존 머신 러닝 모델은 다른 방식으로 작동합니다. 행과 열로 구성된 데이터와 같은 구조화된 수치 입력을 받아 구조화된 수치 결과를 반환합니다. 고객 이탈 모델은 계정 이용 기간, 사용 빈도 및 청구 내역을 입력받아 확률 점수를 반환합니다. 예측 유지보수 시스템은 센서 데이터를 읽고 장비 고장 가능성을 결과로 제공합니다. 전체 파이프라인이 숫자를 기반으로 실행됩니다. 

다만 몇 가지 세부적인 차이도 고려할 필요가 있습니다. 단어는 임베딩을 통해 숫자로 표현할 수 있습니다. 범주형 텍스트는 머신 러닝 모델에서 사용할 수 있도록 수치형 피처로 인코딩할 수 있습니다. 또한 데이터는 이미지나 동영상 형태일 수도 있으며, 이는 어느 한 범주에 명확히 속하지 않습니다. 이러한 세부 사항은 실제로 존재하며 중요하지만, 실무적인 프레임워크 자체를 바꾸지는 않습니다. 

실무자에게 중요한 것은 대부분의 모호함을 없애주는 하나의 기준입니다. 

• 문서, PDF, 이메일, 지원 티켓 등 입력이 텍스트 기반이고 필요한 결과물 역시 텍스트 기반이라면 LLM을 선택합니다. 
•   데이터베이스 레코드, 센서 판독값, 트랜잭션 데이터 등 입력이 구조화된 수치 데이터이고 필요한 결과물이 숫자나 범주라면 기존 ML 모델을 선택합니다. 

이 프레임워크를 구체적인 문제에 적용하면 쉽게 이해할 수 있습니다.

고객 이탈 예측: 입력은 계정 이용 기간, 제품 사용 현황, 결제 내역 및 지원 서비스 이용 내역으로 구성된 구조화된 고객 레코드입니다. 결과는 확률 점수입니다. 해석해야 할 언어도, 생성해야 할 텍스트도 없습니다. 그래디언트 부스팅 분류기나 로지스틱 회귀 모델이 적합한 툴입니다.

예측 장비 유지보수: 센서 데이터(온도, 진동, 압력 및 RPM)가 일정한 시간 간격으로 기록됩니다. 목표는 고장이 발생하기 전에 이를 예측하는 것입니다. 입력은 수치 데이터이고 결과는 확률입니다.

매장별 매출 예측: 수백 개의 소매점에서 월별 매출을 예측하려면 모델이 과거 판매 데이터, 프로모션 일정, 지역 경제 지표 및 계절성 패턴을 학습해야 합니다. 이러한 피처는 모두 수치 데이터입니다. 이 경우 결과인 매출 예측값도 숫자입니다.

지원 티켓 요약 및 라우팅: 접수되는 티켓은 자연어로 작성되며, 모호한 경우가 많고 때로는 감정적인 표현이 포함되기도 합니다. 필요한 결과물은 간결한 요약과 분류이며, 둘 다 언어로 표현됩니다. LLM은 이러한 작업을 정확하면서도 미묘한 뉘앙스까지 고려하여 처리할 수 있습니다.

법률 계약서 검토: 법률 문서는 내용이 방대하고 구조화되어 있지 않으며 전문적인 언어로 작성됩니다. 비표준 조항을 식별하고, 잠재적인 법적 책임을 표시하거나, 주요 조건을 요약하려면 언어를 이해하는 능력이 필요합니다. LLM이 적합한 툴입니다.

내부 지식에 대한 엔터프라이즈 Q&A: 직원이 HR 정책, 제품 문서 또는 내부 절차에 대한 답변을 필요로 하는 경우 입력은 자연어 질문입니다. 또한 예상되는 결과물 역시 자연어 답변입니다. 이러한 유형의 작업은 LLM이 설계된 목적에 정확히 부합합니다.

기존 ML 모델만으로 충분한 상황에서 LLM을 사용하는 것은 아키텍처 측면에서 아무런 대가가 없는 선택이 아닙니다. 여기에는 분명한 비용이 따릅니다.

비용. LLM 추론에는 많은 컴퓨팅 리소스가 필요합니다. 수만 건의 고객 레코드를 LLM으로 처리하여 이탈 점수를 생성하는 데는 동일한 작업을 위해 특별히 구축된 ML 분류기를 사용하는 것보다 몇 자릿수 배나 많은 비용이 듭니다.

환각 위험. LLM은 결정론적이지 않습니다. 그럴듯하게 들리지만 사실과 다른 결과를 생성할 수 있습니다. 사기 탐지나 신용 점수 산정에서 확신에 차 있지만 잘못된 결과는 사소한 불편이 아니라 심각한 위험 요소입니다.

비일관성. LLM은 동일한 질문이라도 표현이 조금만 달라지면 상당히 다른 답변을 제공할 수 있습니다. 잘 학습된 ML 모델은 기반 데이터나 모델 하이퍼파라미터가 변경되지 않는 한 이러한 차이가 발생하지 않습니다. 규제 산업에서 이러한 일관성은 선택 사항이 아니라 필수입니다.

복잡성. LLM을 사용하면 기존 ML에는 없는 프롬프트 엔지니어링, 컨텍스트 창 관리, 결과 파싱 및 지연 시간과 같은 요소를 고려해야 합니다. 이러한 복잡성이 필요하지 않은 문제에 이를 추가하면 개발 속도가 느려지고 유지보수가 복잡해지며 모델의 동작을 파악하기 어려워집니다.

반대의 경우도 마찬가지입니다. 문서 이해, 시맨틱 검색, 자연어 생성과 같이 실제로 언어 이해가 필요한 작업에서 LLM을 충분히 활용하지 않으면 얻을 수 있는 분명한 가치를 놓치게 됩니다. 따라서 어느 경우든 적합한 툴을 선택하는 원칙을 동일하게 적용해야 합니다.

어떤 툴을 사용할지 결정하는 것은 궁극적으로 정확성과 비용 간의 절충점을 찾는 문제입니다. 더 비싼 모델이 더 정확할 수 있지만, 추가 비용을 정당화할 만큼 정확도가 향상되지 않을 수도 있습니다. 예를 들어 정확도를 0.00001% 높이는 데 100만 달러가 든다면, 그만한 비용을 지출해야 할까요? 아마 그렇지 않을 것입니다.

비용이 더 많이 들기 때문에 더 저렴한 기존 머신 러닝 모델로는 해결할 수 없는 경우가 아니라면 LLM을 사용하지 않는 편이 좋습니다.

가장 효과적인 엔터프라이즈 AI 시스템은 점차 단일 모델을 중심으로 구축되지 않는 추세입니다. 대신 LLM과 기존 ML이 각각 가장 적합한 워크플로 부분을 처리하도록 체계적으로 설계된 파이프라인으로 구축됩니다. 

유지보수 작업을 예로 들어보겠습니다. 기술자 메모와 인시던트 로그는 비정형 데이터로, 현장에 있었던 사람만 이해할 수 있는 약어, 전문 용어 및 맥락으로 가득합니다. LLM은 이러한 로그를 읽고 피처(입력)를 생성할 수 있습니다. 그런 다음 예측 모델은 LLM이 생성한 피처를 센서 데이터 및 서비스 이력과 결합하여 장비 고장 확률을 추정합니다. LLM은 언어의 모호성을 처리합니다. ML 모델은 수치 예측을 처리합니다. 

소비자 마케팅에도 동일한 패턴이 적용됩니다. ML 모델은 고객의 이탈 가능성 또는 제안에 대한 반응 가능성을 점수로 산정합니다. 이러한 예측은 빠르고 보정되어 있으며 구조화된 데이터 전반으로 확장할 수 있습니다. 그런 다음 LLM은 해당 점수를 제품 컨텍스트 및 고객 이력과 함께 사용하여 개인화된 이메일 권유 메시지를 생성합니다. 

ML 모델은 어떤 고객이 이탈 위험이 있는지 판단합니다. LLM은 어떤 내용을 어떤 방식으로 전달할지 결정합니다. 많은 조직에서 이러한 하이브리드 패턴은 AI 배포의 새로운 실무적 방향으로 자리 잡고 있습니다. LLM은 비정형 정보를 해석하거나 전달해야 하는 시스템의 경계에서 활용됩니다. 

기존 ML은 규모, 일관성 및 보정된 결과가 가장 중요한 수치 기반 의사결정의 핵심으로 계속 활용됩니다. 엔터프라이즈 AI 설계에서 가장 흔한 실수는 더 저렴하고 안정적이며 거버넌스를 더 쉽게 적용할 수 있는 ML 모델에 적합한 작업까지 하나의 LLM으로 모두 처리하려는 것입니다.

최고의 AI팀은 특정 기술만을 고집하지 않습니다. 문제 해결 자체에 집중합니다. 코드를 한 줄이라도 작성하기 전에 입력 데이터는 어떤 형태인지, 좋은 결과물은 어떤 모습인지 질문합니다.


이 두 가지 질문을 통해 거의 항상 적합한 툴을 찾을 수 있습니다. LLM의 비용은 계속 낮아지고 성능은 향상되는 한편, IBM® watsonx와 같은 제품을 통해 기존 ML 툴을 더 쉽게 이용할 수 있게 되면서 이러한 결정을 내리는 구체적인 기준도 계속 변화할 것입니다. 

하지만 변하지 않는 기본 원칙이 있습니다. 데이터를 이해하고, 원하는 결과물을 이해하고, 제약 조건에 적합한 툴을 선택하는 것입니다. 다양한 툴을 갖춘 목수가 더 좋은 결과물을 만드는 이유는 툴을 더 많이 가지고 있어서가 아니라 어떤 툴을 선택해야 하는지 알기 때문입니다.