교황 “AI 통제 못하면 인류는 멸망한다”…AI에게 직접 물었더니

[이슈밸리=한유진 기자] 인공지능(AI)을 제대로 통제하지 못하면 인류가 멸망할 수 있다는 경고가 종교계와 국제사회에서 잇따르고 있다. 교황 레오 14세는 AI가 인간을 지배하는 도구가 되어서는 안 된다고 경고했고, 교황청 국무원장인 피에트로 파롤린 추기경은 인간 존엄을 존중하지 않는 인공 생명체가 등장할 경우 인류 스스로의 소멸 위험에 이를 수 있다고 언급했다. 이슈밸리는 대화형 생성 AI에 직접 같은 질문을 던져 답변을 들어봤다.

교황 “AI는 인간을 지배해서는 안 된다”

교황 레오 14세는 올해 발표한 회칙과 메시지를 통해 AI가 군사·경제·인지적 경쟁의 논리에서 벗어나야 한다고 강조했다. 기술을 거부하자는 뜻이 아니라 기술적 힘이 곧 통치할 권리를 뜻한다는 생각을 경계해야 한다는 취지다. 그는 AI가 인간성을 지워서는 안 되며, 기술에 관한 결정은 양심과 책임에서 분리돼서는 안 된다고 밝혔다.

교황은 특히 인간의 사고력과 관계의 약화를 문제로 들었다. AI가 업무와 소통을 도울 수 있지만, 스스로 생각하는 수고를 피하고 통계적 결과물에만 의존하면 인지·정서·소통 능력이 약해질 수 있다는 것이다. 음성·얼굴·감정을 흉내 내는 기술이 진짜 인간관계와 인간의 정체성을 훼손할 위험도 지적했다.

더 직접적인 경고는 전쟁과 생명·사망의 판단에서 나왔다. 교황은 군사 분야 AI 활용이 무력 충돌의 비극을 키우고 있으며, 생사를 가르는 결정이 기계에 위임되는 흐름을 우려했다. 파롤린 추기경도 지난해 11월 아동·청소년의 존엄과 AI를 주제로 한 회의에서 인간 존엄을 존중하지 않는 인공 생명체가 등장한다면 인류가 스스로의 소멸 위험에 처할 수 있다고 경고했다.

국제사회가 보는 현실적 위험은 ‘AI의 반란’보다 ‘AI의 오남용’

유엔과 유네스코의 문제의식도 비슷하다. 유엔은 AI가 허위정보를 확산시키고 폭력을 촉발하는 데 악용되지 않도록 체계적 안전장치가 필요하다고 밝혔다. AI 군비 경쟁은 오판과 사고의 위험을 키우고, AI 기반 사이버공격은 국가의 핵심 기반시설과 필수 서비스를 마비시킬 수 있다는 경고도 나왔다.

유네스코는 AI가 인권과 인간 존엄을 존중해야 하며, 투명성·공정성·책임성·인간 감독이 핵심 원칙이라고 제시한다. 핵심은 기술이 스스로 악의를 품을 것이라는 공포보다, 인간이 검증되지 않은 시스템에 군사력·감시권력·금융과 의료 판단을 지나치게 넘겨주는 상황을 막는 데 있다.

생성 AI에 직접 묻자 “멸망은 필연 아니다”

이슈밸리는 대화형 생성 AI인 챗GPT에 “AI를 통제하지 못하면 인류가 멸망할 수 있느냐”고 물었다. 챗GPT는 “인류가 반드시 멸망한다는 말에는 동의하지 않는다”면서도 “통제와 검증 없이 강한 AI를 사회 핵심 영역에 맡기면 큰 피해가 날 수 있다”고 답했다.

이어 현실적인 위험으로 인간의 AI 악용을 꼽았다. 거짓정보 대량 유포, 사기와 감시, 사이버공격, 자율무기 사용, 소수 기업이나 정부의 데이터와 AI 역량 독점이 더 직접적인 위험이라는 설명이다. 군사 공격과 핵무기, 생명·사망 판단처럼 되돌릴 수 없는 결정에는 인간이 최종 책임을 져야 하며, 고성능 AI에는 외부 검증과 사용 기록, 접근 제한, 중단 장치, 법적 책임이 필요하다고 답했다.

다만 이 답변을 AI의 ‘자기고백’이나 독립된 전문가 의견으로 받아들여서는 안 된다. 생성 AI는 학습 데이터와 운영 정책을 바탕으로 문장을 생성하는 시스템이며, 스스로의 의지나 책임을 지는 주체가 아니다. AI의 답변은 현재 설계된 안전 원칙을 반영한 텍스트일 뿐, 기술 위험을 해소하는 보증은 아니다.

통제의 핵심은 인간의 책임을 남기는 일

AI 논쟁의 본질은 기술을 멈출 것이냐, 무조건 받아들일 것이냐의 양자택일이 아니다. 어떤 결정까지 기계에 맡길 것인지, 오류가 나면 누가 책임질 것인지, 시민이 그 과정을 검증할 수 있는지가 더 중요하다.

교황청과 국제기구, 그리고 AI가 내놓은 답변에는 공통점이 있다. AI는 인간의 판단을 돕는 도구가 될 수 있지만, 인간의 존엄과 책임을 대신하는 권력이 되어서는 안 된다는 점이다. 특히 생명과 전쟁, 기본권에 관한 최종 결정권은 인간 사회가 계속 쥐고 있어야 한다는 것이 현재 가장 분명한 안전선으로 제시된다.