RFP와 챗봇을 넘어: AI가 IT 인프라 및 운영을 최적화하는 방법

오늘날 인공 지능(AI) 분야의 주요 뉴스는 대부분 새로운 최첨단 생성형 AI(gen AI) 애플리케이션의 개발과 관련된 것입니다. 학생들의 리포트 작성 지원부터 몇 초 만에 제안 요청서(RFP) 작성, 그리고 (조악한 수준의) 법률 사건 준비에 이르기까지, 그 성공과 실패 사례는 이미 널리 알려져 있습니다.

하지만 더 일상적인 작업은 어떨까요? 일부 조직에서는 IT 인프라 및 운영 측면을 자동화하기 위해 AI를 배포하는 실험을 진행하고 있으며, 이를 통해 귀중한 인적 전문 지식을 다른 곳에 투입할 수 있습니다.

“생성형 AI는 많은 현대 기업들이 수익을 창출하기 위해 새로운 디지털 제품을 개발하는 방식의 핵심 요소입니다.”라고 IBM 기업가치연구소(IBV) 글로벌 리서치 리드인 Richard Warrick는 말합니다. “하지만 동일한 기술이 이러한 애플리케이션을 설계하고, 배포하고, 관리하고, 모니터링하는 데 필요한 비즈니스 프로세스 자체를 근본적으로 변화시킬 수 있다면 어떻게 될까요?”

데이터 센터 프로비저닝 및 DevOps와 같은 리소스 집약적인 프로세스의 자동화부터 현장 보안 인력의 교체에 이르기까지 지능형 AI 자동화가 IT 인프라 및 운영을 혁신하는 방법은 다음과 같습니다. 

AI가 비즈니스 목적으로 처음 연구되었을 때, 이전에는 사람의 입력이 필요했던 반복적인 작업을 자동화하는 능력이 가장 가치 있는 애플리케이션으로 간주되었습니다. 생성형 AI의 등장과 다양한 능력이 등장하면서 이러한 개념은 이제 진부해졌습니다. 하지만 AI가 자동화할 수 있는 작업의 특성은 바뀌었지만 자동화 자체의 근본적인 가치는 변하지 않았습니다.

IBV의 최근 연구에 따르면, 향후 3년 동안 80%의 경영진이 IT 네트워크 운영을 자동화할 것이며, 76%는 같은 기간 동안 동일한 AI 역량을 IT 운영에 적용할 것이라고 합니다.

Warrick은 "AI 기반 지능형 워크플로와 IT 자동화 툴은 비즈니스 리더가 이전에는 파악하지 못했던 성능 측면에서 경쟁 우위를 확보할 수 있도록 지원합니다."라고 말합니다.

10년 전만 해도 AI는 규칙 기반 자동화로 알려진 기술인 간단한 규칙 기반 프로세스를 실행하는 데 사용되었습니다. 초기 규칙 기반 AI의 예로는 ARM 및 공장 조립 라인의 작동이 있습니다. 규칙 기반 AI 도구는 특정 영역에서 효과적이었지만 더 광범위한 비즈니스 문제에 적용할 수 있는 유연성과 확장성이 부족했습니다. 규칙 기반 시스템은 미리 정의된 규칙 집합에 의존했으며, 수행해야 하는 작업이 복잡해짐에 따라 시스템이 작동하는 데 필요한 규칙의 수도 증가하여 결국 확장 불가능한이 아닌 확장가능한 시스템이 생성되었습니다.

1990년대에 과학자들은 대량의 데이터를 사용하여 인간의 두뇌와 유사한 방식으로 결론을 도출하는 방법을 '학습'할 수 있는 컴퓨터 프로그램을 개발하기 시작했습니다. 머신 러닝 (ML)으로 알려진 이 AI 분야를 통해 이 기술은 음성 및 필기 인식, 복잡한 게임 플레이, 심지어 의료 진단 지원 기능 등 점점 더 복잡한 작업을 처리할 수 있게 되었습니다.

2010년대에 인기를 얻은 머신 러닝의 하위 집합인 딥 러닝은 AI 시스템이 처리할 수 있는 복잡성 수준을 완전히 새로운 수준으로 끌어올렸습니다. 다층 신경망을 기반으로 학습하는 딥 러닝 프로그램은 인간의 뇌가 결정을 내리는 복잡하고 미묘한 방식을 모방함으로써, AI가 애플리케이션을 구축하고 이미지와 영상을 해석하며, 음성과 텍스트 프롬프트에도 인간처럼 반응할 수 있도록 만들었습니다.

오늘날 AI 자동화는 ML과 딥 러닝 덕분에 단순한 규칙 기반 프로세스에서 인간과 동일한 많은 작업을 수행할 수 있는 대규모 데이터 세트를 기반으로 학습된 풍부하고 정교한 모델로 발전했습니다. 지능형 자동화로 알려진 이 새로운 AI 툴은 조직이 비즈니스 운영을 간소화하고, 데이터를 분석하고, 이전에는 사람의 주의가 필요했던 복잡한 문제를 해결함으로써 IT 인프라와 운영을 개선할 수 있도록 지원합니다.

현대의 기업은 가장 뛰어난 기술 중심의 인재를 필요로 하며, 가장 뛰어난 비즈니스 가치를 제공할 수 있는 잠재력이 있는 이니셔티브에 집중해야 하며, 이는 바로 지금 당장 생성형 AI 애플리케이션을 개발하는 것을 의미합니다. 또 다른 IBV 연구에 따르면 CEO의 64%가 투자자, 채권자 및 대출 기관으로부터 생성형 AI 도입을 가속화하라는 압력을 받고 있다고 답했으며 절반 이상이 직원들로부터도 같은 압력을 받고 있다고 답했습니다. 

하지만 생성형 AI 애플리케이션은 방대한 양의 데이터를 수집, 처리하고 안전하게 저장하기 위한 복잡한 인프라의 지원이 필요합니다. 이전에는 IT 관리자, 엔지니어, 데이터 과학자들로 구성된 팀이 이러한 책임을 맡았지만, AI가 이를 수행할 수 있다면 어떨까요?

지능형 자동화는 컴퓨팅 비전, 자연어 처리(NLP) 및 기타 고급 AI 기술과 같은 전문 기술을 활용하여 매우 복잡한 비즈니스 문제를 해결합니다. 머신 러닝(ML)과 딥 러닝을 사용하여 대규모 데이터 세트에서 훈련된 AI 모델은 애플리케이션과 시스템의 데이터를 분석하고, 패턴을 신속하게 식별하며, 문제가 발생하기 전에 그에 따라 리소스와 프로세스를 조정할 수 있습니다.

컴퓨팅 비전은 인간의 뇌처럼 이미지와 비디오를 해석하는 AI입니다. AI 모델은 ML 및 딥 러닝을 사용하여 데이터를 반복적으로 분석하고 궁극적으로 이미지와 비디오에서 관련 차이점을 식별합니다. 예를 들어, 집을 보호하기 위해 훈련된 AI 모델은 침입 가능성을 인식하는 방법을 학습할 수 있도록 수천 시간 분량의 가정 보안 영상으로 훈련되어야 합니다.

IT 인프라에서 컴퓨팅 비전은 예측 유지 관리, 시스템 모니터링, 데이터 스트림 처리 등 이전에는 인간의 입력이 필요했던 다양한 작업에 사용됩니다.

• 예측 유지 관리: 특별히 훈련된 컴퓨팅 비전 시스템은 이미지 인식 알고리즘을 사용하여 네트워크 가동 중단이 발생하기 전에 케이블 및 서버와 같은 물리적 구성 요소의 문제를 감지합니다.

• 시스템 모니터링: 컴퓨팅 비전은 사람보다 훨씬 빠르게 다양한 소스의 대량의 데이터를 정확하게 분석할 수 있습니다. 지하철 터널, 고속도로, 건물의 카메라 각도를 사람이 분석하려면 몇 시간이 걸릴 수 있지만, 컴퓨팅 비전 시스템은 이를 실시간으로 처리할 수 있습니다.

• 데이터 스트림 처리: 컴퓨팅 비전 시스템은 온도, 습도, 공기 속도 등 주요 지표를 추적하는 물리적 센서로부터 전달되는 방대한 양의 데이터를 실시간으로 처리하고 분석합니다. 컴퓨팅 비전에 의존해 상태의 급격한 변화를 감지하면, 조직은 문제를 즉시 인지할 수 있습니다.

자연어 처리(NLP)는 인간의 언어를 사용하여 이해하고 의사 소통하도록 컴퓨터를 훈련하는 방법에 중점을 둔 AI 분야입니다. NLP는 시스템이 사람의 음성을 인식 및 이해하고 프롬프트에 대한 응답으로 텍스트를 생성하는 데 도움이 됩니다.

최근 NLP는 질문과 프롬프트에 대한 응답으로 사람과 유사한 텍스트를 이해하고 생성할 수 있는 획기적인 챗봇인 ChatGPT의 개발 및 출시에 중요한 역할을 했습니다.

IT 인프라 및 운영에서 NLP는 사용자 경험 개선, 티켓 해결 및 감정 분석과 같이 이전에는 사람의 입력이 필요했던 다양한 작업을 수행하는 조직을 지원합니다.

• 사용자 경험: NLP를 통해 사용자는 고객 서비스 담당자와 대화하는 방식으로 복잡한 IT 문제에 대해 질문하고 유용한 답변을 받을 수 있습니다. 방대한 기술 지식으로 학습되고 자연어 처리(NLP) 역량을 갖춘 챗봇은 수년간의 기술 지식을 쌓은 고객 서비스 담당자를 대신할 수 있습니다.

• 티켓 해결: AI NLP 시스템은 수신 티켓을 분석하고 중요도 및 유형별로 정확하게 우선순위를 지정하고 분류할 수 있습니다. AI 시스템은 문제를 스스로 해결하거나, 필요할 때 사람의 개입을 요청하거나, 기타 적절한 조치를 취하도록 훈련될 수도 있습니다.

• 감정 분석: NLP 시스템은 감정 분석을 사용자 피드백, 설문조사, 심지어 소셜 미디어 게시물에 대해 수행하여 응답 이면의 감정을 정확하게 측정하고 개선이 필요한 부분을 식별할 수 있습니다. 또한 NLP 시스템을 사용하면 전문 기술 정보를 체계화하여 문서 작성 및 조직 전체의 IT 지식 공유를 개선할 수 있습니다.

지능형 AI 자동화를 IT 인프라 및 운영에 적용함으로써, IT 관리자들이 시스템을 모니터링하고 최적화하며 핵심 리소스를 할당하는 방식이 변화하고 있습니다. 다음은 이 기술이 프로세스를 혁신하고 비용을 절감하며 핵심 비즈니스 관행에 대한 의미 있는 인사이트를 도출하는 데 도움을 주고 있는 네 가지 분야의 예시입니다.

AI는 데이터의 패턴을 파악하는 데 매우 능숙하기 때문에 매일 기업 데이터 센터를 통해 유입되는 방대한 양의 데이터를 분석하는 데 적합합니다. 데이터 센터 운영자들은 데이터에서 패턴을 발견하고 자동화 및 프로세스 간소화 기회를 포착하기 위해 AI를 도입하기 시작했으며, 이는 디지털 전환 이니셔티브의 투자 수익률(ROI)을 높이는 핵심 요소입니다.

AI가 이미 데이터 센터 운영을 개선하고 있는 분야 중 하나는 에너지 사용량입니다. AI 시스템은 냉각 시스템을 모니터링하고 동적으로 조절하며 전력 소비를 관리함으로써 기업이 수백만 달러를 절감할 수 있도록 돕습니다. 한 사례에서는 데이터 센터의 에너지 비용을 40%까지 줄였습니다.

AI는 데이터 거버넌스의 측면을 자동화하는 데 점점 더 많이 사용되고 있으며, 이는 데이터가 수집, 저장, 처리되는 동안 데이터 무결성과 보안을 유지하는 프로세스입니다. 생성형 AI의 부상으로 기업은 과거보다 훨씬 더 많은 데이터를 수집하고 관리해야 한다는 사실을 깨닫고 있습니다. 필요한 데이터가 한 곳에 수집되고 다른 곳에서 저장 및 처리되는 경우가 많기 때문에 해당 규정 준수 법률을 준수하는 것이 어려울 수 있습니다. AI 시스템은 규정 준수 프로세스의 특정 측면을 자동화하여 사람의 입력 없이 법률 및 규정에 따라 업데이트함으로써 전체 프로세스를 더욱 효율적이고 안전하게 만듭니다.

AI는 관측 가능성 분야에서 점점 더 중요한 역할을 하고 있으며, 이는 시스템의 출력값을 기반으로 복잡한 시스템의 상태를 조직이 이해할 수 있도록 도와주는 IT 운영의 한 영역입니다. 관측 가능성은 서버, 애플리케이션, 네트워크 장치 등을 포함한 다양한 인프라 구성 요소에 적용할 수 있습니다.

관측 가능성 목적으로 훈련된 AI 모델은 이러한 시스템의 데이터를 모니터링하고 오류 및 비효율성을 분석합니다. 일부 AI 시스템은 고급 지능형 AI 자동화를 사용하여 특정 문제의 근본 원인을 정확히 찾아내고 애플리케이션의 가용성, 성능 또는 보안에 영향을 미치기 전에 적절한 조치를 취할 수도 있습니다.

AI는 시스템 및 애플리케이션 성능 및 가용성을 모니터링하는 것 외에도 시스템과 사용자가 하드웨어 및 소프트웨어 리소스를 사용할 수 있도록 하는 프로세스인 프로비저닝을 혁신하고 있습니다. 오늘날 고급 AI 시스템은 프로비저닝을 자동화하여 기업이 클라우드 컴퓨팅 리소스를 보다 효율적으로 할당할 수 있도록 지원하므로 머신이 유휴 상태로 방치되지 않고 전반적인 성능이 저하되지 않습니다. 프로비저닝 프로세스에서 지능형 AI 자동화를 위한 시장 기회는 상당합니다. Flexera의 업계 보고서에 따르면 클라우드 지출의 32% 이상이 부적절한 프로비저닝에 낭비된다고 합니다.¹

AI 시스템은 코더와 IT 운영 간의 격차를 해소하는 소프트웨어 개발 방법인 DevOps를 개선하는 데 사용되고 있습니다. 일부 기업은 AI를 사용하여 소프트웨어 테스트를 자동화하여 개발 속도를 높였습니다. 다른 사람들은 파이프라인 데이터를 분석하고 리소스 할당을 개선하기 위해 AI 알고리즘을 배포했습니다. 또 다른 기업들은 코드를 작성하고, 테스트하고, 버그를 식별하고, 심지어 잠재적인 수정 사항을 제안하기 위해 점점 더 생성형 AI에 의존하고 있습니다.

IBM 펠로우인 Kyle Brown에 따르면, AI는 DevOps의 특정 측면을 자동화하는 데 그치지 않고, 전체 플랫폼을 자동화하는 데에도 활용되고 있습니다. 그는 "오늘날에는 완전히 구성 중심이고 자동화된 공통 AI DevOps 플랫폼을 구현할 수 있습니다."라고 말합니다. “개발 팀이 무엇을 개발하든, 이러한 플랫폼 중 하나에서 구축하고 있다면 기업이 설정한 가이드라인을 준수하게 됩니다.” 

비즈니스 애플리케이션에 대한 가능성으로 인해 생성형 AI가 여전히 많은 주목을 받고 있지만, AI를 IT의 기반이 되는 시스템과 프로세스에 적용하는 조직들은 비용을 절감하고 노후된 시스템과 프로세스를 혁신하는 새로운 방법들을 찾고 있습니다. 프로비저닝, 규정 준수 및 소프트웨어 테스트와 같은 리소스 집약적인 작업을 자동화하는 것부터 복잡한 시스템의 침입을 모니터링하고 인사이트를 얻기 위해 실시간으로 방대한 데이터를 샅샅이 뒤지는 것에 이르기까지, 이 분야의 혁신 잠재력은 무한합니다.

최신 AI IT 인프라 및 운영 솔루션(AIOps 솔루션)은 프로세스를 자동화하고 시스템 및 애플리케이션의 성능 및 상황에 대한 강력한 인사이트를 제공하는 완전하고 완벽하게 통합된 AI 기반 툴 세트를 제공합니다. “이러한 최신 툴들은 IT 운영 팀에게는 축복과도 같습니다.”라고 Brown은 말합니다. “예를 들어 계획 수립이라는 한 가지 영역만 보더라도, 지능형 AI 자동화를 통해 하드웨어 및 추가 리소스에 대한 계획된 지출을 절반으로 줄이는 사례를 이미 확인한 바 있습니다.”