모델 붕괴란 무엇인가요?

AI 개발과 컴퓨터 과학 분야에서 흔히 하는 말 중에 인공 지능(AI) 모델의 성능은 학습에 사용된 데이터만큼만 우수하다는 말이 있습니다. 최근 몇 년 동안 연구자들은 이전 모델의 아웃풋으로만 훈련된 생성형 모델이 점점 더 부정확한 결과를 만들어낸다는 사실을 발견했습니다. '돌이킬 수 없는 결함'을 가진 이러한 모델들은 결국 쓸모없는 존재가 됩니다.¹ 이는 피팅 과정 중 한 모델의 아웃풋에 존재하는 모든 오류가 나중에 후속 모델의 훈련에 포함되기 때문에 발생합니다. 그리고 새 모델은 자체 오류도 생성합니다. 모델 붕괴는 연속적인 세대에 걸쳐 오류가 누적되면서 진행됩니다.²

이러한 오류는 생성형 AI 모델이 원래 데이터 분포보다 변동이 적은 데이터 세트를 생성하기 때문에 발생합니다. Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao와 영국 및 캐나다 대학의 동료 연구원 팀은 모델 붕괴에 대한 널리 인용되는 보고서를 작성했습니다. 연구팀은 AI 모델에 대한 실험을 통해 합성 데이터라고도 하는 AI 생성 데이터로 훈련된 모델이 처음에는 실제 데이터 분포의 꼬리 또는 극단에서 정보를 잃어버렸다는 것을 발견했는데, 이를 "초기 모델 붕괴"라고 불렀습니다. 이후 모델 반복에서 데이터 분포가 너무 많이 수렴되어 원래 데이터와 거의 비슷해 보이지 않았는데, 연구자들은 이를 "후기 모델 붕괴"라고 불렀습니다.³

실제 시나리오에서는 대규모 언어 모델(LLM)과 같은 대규모 생성형 AI 모델에 사용되는 훈련 프로세스로 인해 모델 붕괴가 발생할 수 있습니다. LLM은 대부분 인터넷에서 스크랩한 사람이 생성한 데이터를 기반으로 훈련됩니다. 그러나 더 많은 AI 생성 콘텐츠가 웹을 통해 확산됨에 따라, 사람이 생성한 데이터 대신 이러한 콘텐츠가 미래 모델을 훈련하는 데 더 많이 사용될 수 있으며, 이로 인해 모델 붕괴가 발생할 수 있습니다.

모델 붕괴 현상은 AI 개발에 심각한 영향을 미치기 때문에 연구자들은 몇 가지 솔루션을 제안하고 있습니다. 이러한 솔루션에는 데이터 출처 추적, 원본 데이터 소스에 대한 액세스 보존, 축적된 AI 생성 데이터를 실제 데이터와 결합하여 AI 모델을 훈련하는 것 등이 포함됩니다.

생성형 AI 모델은 최근 몇 년 동안 부정확하고 터무니없는 아웃풋, 즉 AI 할루시네이션을 만들어낸다는 이유로 화제를 모았습니다. 예를 들어, Google Bard의 챗봇은 James Webb 우주 망원경에 대해 잘못된 주장을 했고, AI가 생성한 인간의 이미지에 손가락이 더 있는 것처럼 보이는 등의 일은 어디에나 존재합니다.

부정확하고 무의미한 아웃풋은 불편하고 때로는 재미있기도 하지만, 모델 붕괴의 결과는 다음과 같이 광범위할 수도 있습니다.

모델 붕괴로 인한 부정확한 아웃풋은 의사 결정에 AI를 사용하는 비즈니스에 비용이 많이 드는 결과를 초래할 수 있습니다. 고객 서비스 챗봇에서 AI 기반 의료 진단 도구에 이르기까지 모든 것이 영향을 받을 수 있습니다. 예를 들어, 이전 모델 세대의 훈련 데이터 세트에서 낮은 확률로 발병되는 질환이 결국 잊혀지고 삭제됨으로써 희귀 질환을 앓고 있는 환자를 올바르게 진단하지 못하는 AI 진단 모델을 상상해 보세요.

모델 붕괴에서는 모델이 실제 사람의 상호 작용 및 선호도와 관련된 데이터 포인트를 버릴 수 있습니다. 그 결과 덜 인기 있거나 독특한 콘텐츠를 찾는 사용자들은 모델 아웃풋에 실망할 수 있습니다.⁴ 예를 들어 온라인 쇼핑객을 위한 AI 추천 시스템을 생각해 보세요. 소비자가 연두색 신발을 선호하는데 시스템이 인기 상품이라는 이유로 계속해서 검정색과 흰색 신발을 추천한다면, 소비자는 다른 곳에서 도움을 구할 수 있습니다.

널리 사용되는 AI 시스템이 모델 붕괴를 겪으면서 지속적으로 좁은 아웃풋을 만들어낸다면 결국 '롱테일' 아이디어가 대중의 의식에서 사라져 인간 지식의 범위가 제한되고 사회의 일반적인 편견이 악화될 수 있습니다.⁵ 예를 들어, 오늘날 과학자들은 연구에 정보를 제공하기 위해 AI 기반 연구 툴을 사용할 수 있습니다. 그러나 모델 붕괴의 영향을 받는 툴은 널리 인용되는 연구만 검토할 수 있게 하여 중요한 발견으로 이어질 수 있는 주요 정보를 사용자에게 제공하지 않을 수 있습니다.

다양한 유형의 생성형 AI 모델은 모델 붕괴로 인해 여러 영향을 받을 수 있습니다.

LLM에서 모델 붕괴는 점점 더 관련성이 없고 무의미하며 반복적인 텍스트 아웃풋으로 나타날 수 있습니다. 한 실험에서 연구원들은 Meta가 출시한 오픈 소스 대규모 언어 모델인 OPT-125M을 미세 조정했습니다. 모델의 세대는 이전 모델이 생성한 데이터로 학습되었습니다. 건축에 대한 초기 영어 입력 후, 하나의 모델 생성은 결국 꼬리 색깔이 다른 토끼에 대한 아웃풋을 생성했습니다.⁶

모델 붕괴는 이미지 아웃풋의 품질, 다양성 및 정밀도가 감소하기 때문에 이미지 생성 모델에서 특히 두드러집니다. 한 실험에서는 손으로 쓴 고유한 숫자로 구성된 데이터 세트를 사용하여 변형 자동 인코더(VAE)를 학습시켰습니다. 여러 번의 반복적인 학습 주기를 거친 후, 모델의 후속 세대에서는 많은 숫자가 서로 유사한 아웃풋이 생성되었습니다.⁷ 다양한 얼굴 이미지로 학습된 생성형 적대적 네트워크(GAN) 모델을 사용한 다른 연구에서는 이 모델이 결국 더 균일한 얼굴을 만들어내는 것으로 나타났습니다.⁸

가우시안 혼합 모델은 데이터를 클러스터로 구성할 수 있지만, 연구자들은 데이터를 두 개의 클러스터로 분리하는 작업을 수행한 GMM이 수십 번의 반복 후에 성능이 현저히 떨어진다는 사실을 발견했습니다. 기본 데이터 분포에 대한 모델의 인식은 시간이 지남에 따라 변화했으며 2000번째 반복 생성 시에는 아웃풋이 거의 변하지 않았습니다.⁹

모델 붕괴는 머신 러닝에서 관찰되는 여러 모델 성능 저하 현상 중 하나입니다. 다른 것들에는 파괴적 망각, 모드 붕괴, 모델 드리프트 및 수행적 예측이 포함됩니다. 각각은 모델 붕괴와 유사하지만 다릅니다.

파괴적 망각과 모델 붕괴는 모두 AI 시스템에 의해 손실된 정보와 관련이 있습니다. 그러나 파괴적 망각은 모델 붕괴와 다릅니다. 파괴적 망각은 단일 모델이 새로운 정보를 학습하고 이전 정보를 '망각'할 때 발생하며, 그 결과 해당 모델을 오래된 정보를 사용해야 하는 작업에 적용할 때 성능이 저하됩니다. 모델 붕괴는 한 모델 내에서 데이터가 손실되거나 성능이 저하되는 것이 아니라 연속적인 모델 세대에 걸쳐 성능이 저하되는 것을 의미하기 때문에 다릅니다.¹⁰

모델 붕괴와 이름이 비슷하지만, 모드 붕괴는 GAN 모델에서만 나타나는 현상입니다. 이러한 모델은 실제 데이터와 통계적으로 유사한 합성 데이터를 생성하는 데 도움이 되는 생성기와 판별기라는 두 가지 부분으로 구성됩니다. 생성기는 데이터를 생성하는 역할을 하고, 판별기는 프로세스를 지속적으로 확인하여 가짜로 보이는 데이터를 식별하는 역할을 합니다. 모드 붕괴는 생성기의 아웃풋에 분산이 부족하고 이 결함이 판별기에 의해 감지되지 않아 성능이 저하될 때 발생합니다.

모델 드리프트는 데이터 또는 입력 변수와 출력 변수 간의 관계의 변화로 인해 머신 러닝 모델 성능이 저하되는 것을 말합니다. 과거 데이터로 구축된 모델은 정체될 수 있습니다. 오래된 학습 데이터를 기반으로 한 AI 모델의 학습이 수신 데이터와 일치하지 않으면 해당 데이터를 정확하게 해석하거나 수신 데이터를 사용하여 정확한 예측을 안정적으로 수행할 수 없습니다. 모델 붕괴는 AI가 생성한 새로운 데이터에 대해 반복적인 주기로 모델을 학습시켜야 한다는 점에서 다릅니다.

연구자들은 생성형 AI 모델의 모델 붕괴를 지도 학습 모델의 수행적 예측과 비교했는데, 둘 다 이전 머신 러닝 모델 입력에 의한 학습 세트의 오염을 수반하기 때문입니다. 수행적 예측은 지도 학습 모델의 아웃풋이 모델의 예측에 부합하는 방식으로 실제 결과에 영향을 미칠 때 발생합니다. 이것은 차례로 미래의 모델 아웃풋에 영향을 미쳐 '자기 충만 예언'을 산출합니다. 수행적 예측은 이 프로세스가 차별을 확고히 하는 경우 공정성 피드백 루프라고도 합니다.¹¹ 예를 들어, 미국의 차별적 레드라이닝 시대의 데이터를 기반으로 한 AI 기반 주택 융자 결정 모델은 오늘날 대출 기관이 의도치 않게 그러한 차별을 반복하도록 부추길 수 있습니다.

AI 개발자와 조직이 모델 붕괴를 방지하는 데 도움이 되는 몇 가지 전략이 있습니다. 여기에는 다음이 포함됩니다.

• 비 AI 데이터 소스 유지
• 데이터 출처 확인
• 데이터 축적 활용
• 더 나은 합성 데이터 사용
• 데이터 거버넌스 툴 구현

고품질 원본 데이터 소스는 일부 AI 생성 데이터에서 누락될 수 있는 중요한 분산을 제공할 수 있습니다. AI 모델을 그러한 인간이 생성한 데이터로 계속 학습시키면 소비자가 특이한 제품을 선호하거나 과학자가 거의 인용되지 않는 연구의 정보를 활용하는 것과 같이 확률이 낮은 사건을 설명하는 임무를 맡는 경우 AI 모델이 잘 작동할 수 있는 능력을 보존할 수 있습니다. 이러한 상황에서는 결과 아웃풋이 일반적이지 않거나 대중적이지 않을 수 있지만 실제로는 가장 정확합니다.

에코시스템에서 모델 생성 데이터와 인간 생성 데이터를 구분하는 것은 어려울 수 있지만, LLM 개발자와 AI 연구원 간의 협력은 데이터 출처에 대한 정보에 대한 액세스를 보장하는 데 도움이 될 수 있습니다. 이러한 공동의 노력 중 하나는 4,000개 이상의 데이터 세트를 감사한 MIT 및 기타 대학의 AI 연구자 집단인 The Data Provenance Initiative를 통해 이루어지고 있습니다.¹²

한 연구에 따르면 AI 개발자는 실제 데이터와 여러 세대의 합성 데이터로 AI 모델을 학습시켜 성능 저하를 방지할 수 있습니다. 이러한 축적은 원본 데이터를 AI 생성 데이터로 완전히 대체하는 관행과 대조를 이룹니다.¹³

AI 개발자가 데이터 축적을 탐색함에 따라 머신 러닝 교육 목적으로 특별히 생성된 합성 데이터의 품질 개선도 이점을 얻을 수 있습니다. 데이터 생성 알고리즘의 발전은 합성 데이터의 신뢰성을 높이고 그 활용도를 높이는 데 도움이 될 수 있습니다. 예를 들어, 의료 분야에서 합성 데이터는 모델 학습을 위한 더 넓은 범위의 시나리오를 제공하여 더 나은 진단 능력으로 이어질 수 있습니다.

AI 거버넌스 툴은 AI 개발자와 기업이 AI 시스템에 대한 감독 및 제어 권한을 강화하여 AI 성능 저하의 위험을 완화하는 데 도움이 될 수 있습니다. 이러한 툴에는 편향성, 드리프트, 성능 및 이상 징후에 대한 자동 감지 시스템이 포함되어 있어 모델 붕괴가 조직의 수익에 영향을 미치기 전에 잠재적으로 감지할 수 있습니다.