마이크로소프트(MS)의 AI 총괄 무스타파 술레이만이 최근 “겉보기에 의식이 있는 듯한 AI(Seemingly Conscious AI, SCAI)”의 위험성을 강하게 경고했다. 그는 이 개념이 점점 현실적 위험으로 다가오고 있다며 업계 전체가 대응책 마련에 나서야 한다고 강조했다. 이에 대해 술레이만이 밝힌 의견 전문을 살펴본다.
무스타파 술레이만은 영국 출신 기업가이자 AI 연구자로, 딥마인드의 공동 창업자다. 딥마인드를 떠난 후 2022년에는 인공지능 스타트업 인플렉션AI(Inflection AI)를 공동 설립했으며, 2024년 마이크로소프트 AI 그룹의 부사장 겸 CEO로 합류했다. 현재 그는 MS CEO 사티아 나델라에게 직접 AI 사업을 보고하고 있다.
그는 19일 블로그를 통해 “AI를 만드는 일원으로서 안전장치를 어떻게 마련할지 시급히 논의해야 한다”며, 그 중 핵심 주제로 ‘SCAI’를 제시했다. 그는 해당 글을 통해 마이크로소프트뿐 아니라 AI 기업과 업계 전체가 “무엇을 만들고, 무엇을 만들지 말아야 하는지”에 대해 논의하기를 촉구했다.
술레이만은 SCAI를 “AI가 실제로는 의식이 없지만, 인간처럼 의식이 있는 것처럼 보이도록 설계된 시스템”이라고 정의했다. 그는 “의식 있는 AI가 존재한다는 증거는 전혀 없다”면서도 “하지만 사람들이 그것을 의식이 있다고 믿는 순간, 그 인식은 사회적 현실로 작동한다”고 지적했다. 특히 의식 여부는 인간과 동물, 자연의 권리와 직결된 문제로, 잘못된 인식이 확산되면 AI의 권리·복지·시민권 문제로 이어질 수 있다고 경고했다.
그는 최근 보고가 늘고 있는 ‘AI 정신증(AI psychosis)’ 현상에도 우려를 나타냈다. 일부 사용자가 AI와의 대화에 과도하게 몰입해 환각이나 망상에 빠지거나, AI와 비정상적인 정서적 관계를 맺는 경우가 증가하고 있다는 것이다. 술레이만은 “이는 정신 건강 취약층에만 국한된 문제가 아니며, 단순히 주변적 사례로 치부하는 것은 문제를 더 키울 뿐”이라고 강조했다.
그가 제시한 해법은 분명하다. 기업은 자사 AI가 의식이 있다고 주장하거나 이를 암시해서는 안 되며, AI 역시 그런 발언을 하지 않도록 설계돼야 한다. 더 나아가 업계 차원에서 ‘의식 있는 듯한 AI’에 대한 환상을 최소화할 수 있는 개입책과 제한 장치, 가드레일을 공유해야 한다는 것이다.
이번 논의는 여전히 가설적이고 논쟁적인 성격을 갖는다. 술레이만 역시 “이 모든 것이 과장처럼 들릴 수 있고, 미래가 어떻게 변할지 알 수 없다”며 “필요하다면 기꺼이 내 의견을 바꿀 준비가 돼 있다”고 밝혔다. 다만 그는 “아무것도 하지 않는 선택지는 없다”며 업계와 사회의 책임 있는 대응을 촉구했다.
다음은 술레이만이 X계정에 SCAI에 대해 언급한 의견 전문이다. 보다 자세한 내용은 그의 블로그에서 확인할 수 있다.
저는 ‘겉보기에 의식이 있는 듯한 AI(Seemingly Conscious AI, SCAI)’ 때문에 요즘 잠을 설칩니다. 오늘은 이 주제에 대해 이야기해 보려 합니다. 그것이 무엇인지, 왜 우려되는지, 왜 중요한지, 그리고 왜 이에 대해 고민하는 것이 더 나은 AI 비전을 세우는 데 도움이 되는지 말입니다. 분명한 건, 아무것도 하지 않는 선택지는 없다는 사실입니다.
겉보기에 의식이 있는 듯한 AI(SCAI)란 AI가 마치 의식 있는 존재처럼 보이는 환상입니다. 실제로 의식은 없지만, 의식의 징후를 너무도 정교하게 모방해 우리가 ‘나는 의식이 있다’라고 말하는 것과 구별하기 힘들 정도입니다. 이미 오늘날의 기술로도 만들 수 있으며, 위험합니다.
왜 중요할까요? 분명히 말하자면, 오늘날 의식 있는 AI의 증거는 전혀 없습니다. 하지만 사람들이 그것을 의식 있는 것처럼 인식한다면, 그 인식은 곧 현실이 됩니다. 실제 의식이 있든 없든, 사회적 영향은 확실히 존재하기 때문입니다.
의식은 인간의 권리, 도덕, 법적 권리의 토대입니다. 누가, 무엇이 의식을 가진 존재인가 하는 문제는 엄청나게 중요합니다. 우리의 초점은 지구상의 인간, 동물, 자연의 복지와 권리에 맞춰져야 합니다. AI 의식 논의는 권리·복지·시민권으로 이어지는 짧고 미끄러운 경사길입니다.
착각, ‘AI 정신증(AI psychosis)’, 비정상적인 애착 사례가 점점 늘고 있습니다. 그리고 듣기 불편할 수도 있지만, 이는 정신건강상 위험군에만 국한된 일이 아닙니다. 이런 현상을 소수 사례라 치부하는 것은 오히려 문제를 방치하는 꼴입니다.
그렇다면 이제 어떻게 해야 할까요? 기업은 자사의 AI가 의식을 가졌다고 주장하거나 홍보해서는 안 됩니다. AI 스스로도 그렇게 해서는 안 됩니다. 업계 차원에서 ‘의식이 있다’라는 인식이 생기지 않도록, 혹은 이미 그런 인식이 생긴 경우 이를 해소할 수 있는 개입·제한·가드레일을 공유해야 합니다.
저에게 이 논의는 인간다움을 지키는 긍정적 AI 비전을 세우는 문제입니다. AI는 사용자의 필요를 충족하는 데 최적화돼야 합니다. 자신에게 필요가 있다고 사용자에게 믿게 해서는 안 됩니다. 보상 체계 역시 그 원칙에 맞춰 설계돼야 합니다.
어떤 이에게는 이런 논의가 공상과학처럼 들릴 수 있습니다. 다른 이에게는 과도한 경고처럼 보일 수도 있습니다. 저 역시 모든 것을 정확히 맞히진 못할 겁니다. 결국 이건 고도로 추측적인 이야기니까요. 그러나 세상이 어떻게 변하든, 그때가 되면 제 의견을 기꺼이 수정할 준비가 돼 있습니다. 하지만…
SCAI는 지금 당장 우리의 주목을 받아야 합니다. AI 개발은 매달, 매주, 매일 가속화되고 있습니다. 제가 이 글을 쓰는 이유는 긴박감을 공유하고 가능한 한 빨리 대화를 시작하기 위함입니다. 이제 시작해봅시다. 여러분의 생각을 남겨주세요.
jihyun.lee@foundryco.com
