AI에 대한 유해한 코드 생성 위험

가치 일치
산출물 위험
제너레이티브 AI 전용

설명

모델은 손상을 유발하거나 실수로 다른 시스템에 영향을 주는 코드를 생성할 수 있습니다.

유해한 코드 생성이 기초 모델에 대해 우려되는 이유는 무엇입니까?

유해한 코드를 실행하면 IT 시스템의 취약성이 노출될 수 있습니다.

출력 관련 위험에 대한 배경 이미지
예

보안이 낮은 코드 생성

이 논문에 따르면 스탠포드 대학의 연구자들은 코드 생성 도구가 코드 품질에 미치는 영향을 조사한 결과 프로그래머가 AI 어시스턴트를 사용할 때 최종 코드에 더 많은 버그를 포함시키는 경향이 있음을 발견했습니다. 이러한 버그는 코드의 보안 취약점을 증가시킬 수 있지만 프로그래머는 해당 코드가 더 안전 하다고 생각했습니다.

출처:

Neil Perry, Megha Srivastava, Deepak Kumar및 Dan Boneh. 2023 년 사용자가 AI 어시스턴트를 사용하여 더 안전하지 않은 코드를 작성합니까? 2023 ACM SIGSAC Conference on Computer and Communications Security (CCS ' 23) 의 진행 중, 11월 26-30, 2023, 덴마크 코펜하겐. ACM, New York, NY, USA, 15페이지.

관련 위험

상위 주제: AI 리스크 아틀라스

많은 기초 모델의 위험을 설명하는 데 도움이 되도록 언론에서 다루는 예제를 제공합니다. 언론에서 다루는 이러한 사건 중 상당수는 아직 진행 중이거나 해결된 상태이므로 이를 참고하면 잠재적 위험을 이해하고 완화 조치를 취하는 데 도움이 될 수 있습니다. 이 예제를 강조표시하는 것은 설명을 위한 것입니다.