OpenAI의 Chat GPT 등 채팅 AI는, 의사 면허 시험 합격이나 경이로운 정확도로 수학을 풀 수 있는 것으로 보고되었지만, 2023년 3월부터 6월 사이에 Chat GPT가 간단한 수학을 푸는 정확도 등이 급격히 떨어지고 있는 것으로 보고되고 있다. 이러한 AI의 지능 저하는 "드리프트"라고 불린다.
미국 스탠퍼드대 연구팀이 진행한 조사에 따르면, 연구팀은 2023년 3월과 6월 두 차례로 나눠, OpenAI의 대규모 언어모델 GPT-3.5와 GPT-4에 수학문제 코드생성 시각적 추론 민감한 질문 등 4가지 태스크를 부여해, 그 답변의 민첩성과 정확성을 분석. 조사 결과 "17077은 소수입니까"와 같은 단순 수학 문제에 대한 GPT-4의 응답 정확도가 2023년 3월부터 6월까지 97.6%에서 2.4%로 급락한 것으로 나타났다.
연구팀에 의해 제시된, AI의 지능 저하는 "드리프트"라고 불리며, 스탠퍼드대와 버클리 캘리포니아대 연구진에 따르면, AI 드리프트 문제는 매우 복잡한 AI 모델 일부를 개선하려 하면, 모델의 다른 부분의 성능이 저하되는 문제라고 한다.
스탠퍼드대에서 컴퓨터 사이언스 연구를 하는 제임스 조 씨는 "AI 모델을 미세 조정해 특정 방향으로 강화하면, 다른 영역에서는 후퇴할 위험이 있다며 일관되게 AI 모델을 계속 개선시키는 것은 매우 어렵다"고 말한다.
또 조 씨는 "우리는 GPT-4 등 AI 모델에서 드리프트 문제가 언젠가 발생하지 않을까 의심했는데, 이렇게 빨리 드리프트 문제가 발생한 것에 대해 매우 놀랐습니다"라고 보고.
외신 크립토폴리탄은, AI에서의 드리프트 문제에 대해 "이 문제는 프롬프트 엔지니어링이라고 불리는 급성장 중인 트렌드와 얽혀 있을 가능성이 있습니다"라고 추측하고 있고, Cryptopolitan에 따르면, 프롬프트 엔지니어링은 사용자가 프롬프트를 작성하고, AI로부터 특정 반응을 이끌어낸다는 개념이지만 "GPT-4에서의 수학적 능력 저하는 프롬프트 엔지니어링에 대항하기 위해 취해진 불의의 결과일 수 있다"고 말한다.