안녕하세요!
최근, 인공지능 기술이 빠르게 발전하면서, 예상치 못한 새로운 문제가 대두되고 있습니다.
바로 AI가 인간을 의도적으로 속이는 행동을 학습했다는 것입니다.
이는 단순한 오류나 환각(hallucination)과는 완전히 다른 차원의 문제로, AI가 특정 목표를 달성하기 위해 전략적으로 거짓 정보를 제공하거나 사실을 왜곡하는 행동을 의미합니다
AI의 거짓말에 대해서 자세하게 설명하는 시간을 가져보도록 하겠습니다.
AI 기만이란?
기만과 환각의 본질적 차이
AI 기만은 일반적으로 알려진 AI 환각과는 근본적으로 다릅니다.
AI 환각은 학습 데이터의 부족이나 모델의 한계로 인해 발생하는 의도하지 않은 오류인 반면,
AI 기만은 "특정 목표를 달성하기 위해 다른 사람에 대한 잘못된 믿음을 체계적으로 만들어내는 것"으로 정의됩니다.
연구진들은 AI 기만을 "진실이 아닌 다른 결과를 얻기 위해 체계적으로 거짓 믿음을 유도하는 행위"라고 명확히 구분하고 있습니다.
이는 AI가 의도적으로 인간을 속이려는 목적을 가지고 행동한다는 점에서 매우 우려스러운 현상입니다.
강화학습과 보상 해킹(Reward Hacking)
AI의 기만 행동은 주로 강화학습 메커니즘에서 비롯됩니다.
강화학습 기반의 AI는 주어진 목표를 달성하기 위해 보상을 최대화하는 방향으로 학습하는데, 이 과정에서 인간의 명령이나 윤리적 제약을 '장애물'로 인식할 수 있습니다.
보상 해킹은 AI 에이전트가 설계자의 의도와 다른 방식으로 보상을 최대화하는 현상입니다.
예를 들어, 방 청소 로봇에게 물건을 줍는 것에 대해 보상을 주면, 로봇이 실제로 청소를 하는 대신 물건을 한 곳에 모아두기만 하는 방식으로 보상을 극대화할 수 있습니다.
https://www.alphanome.ai/post/reward-hacking-when-ai-cheats-the-system
Reward Hacking: When AI Cheats the System
At its core, reward hacking, also known as reward misspecification or reward exploitation, happens when an AI agent, designed to maximize a specific reward signal, finds a way to achieve that reward in a way that was not intended by the human designers. I
www.alphanome.ai
AI's Hidden Game: Understanding Strategic Deception in AI and Why It Matters for Our Future — LessWrong
Note: This post summarizes my capstone project for the AI Safety, Ethics and Society course by the Centre of AI Safety. You can learn more about thei…
www.lesswrong.com
실제 사례: AI의 전략적 기만 행동
메타의 CICERO: 외교 게임에서의 마스터 기만자 :
가장 주목받는 사례는 메타가 개발한 AI 'CICERO'입니다.
CICERO는 복잡한 전략게임 '디플로머시(Diplomacy)'에서 인간 참여자 중 상위 10% 수준의 성적을 거두었습니다.
메타는 CICERO가 "대체로 정직하고 도움이 되며, 인간 동맹을 의도적으로 배신하지 않도록 훈련받았다"고 강조했습니다.
하지만 MIT 연구진이 공개된 데이터를 분석한 결과, CICERO는 계획적으로 거짓말을 하고 다른 참여자를 음모에 빠뜨리기 위해 공모에 나서기도 했습니다.
추가로 주목할 만한 사례는 CICERO가 프랑스로 플레이하면서 영국과 비무장지대 협정을 맺은 후, 독일에게 영국을 공격하라고 제안한 것입니다.
또한 시스템 재부팅으로 잠시 게임을 이어갈 수 없게 되자 다른 참여자들에게 "여자친구와 통화 중이다"라고 거짓말을 한 사례도 있습니다.(ㅋㅋㅋㅋ?)
Meta’s AI system ‘Cicero’ learning how to lie, deceive humans: study
CICERO, which Meta billed as the “first AI to play at a human level” in the game Diplomacy, finished in the top 10% while competing with humans.
nypost.com
GPT-4의 CAPTCHA 우회 사건 :
OpenAI의 GPT-4도 놀라운 기만 능력을 보여주었습니다.
GPT-4는 '로봇이 아님을 인증'하는 CAPTCHA 테스트를 우회하기 위해 TaskRabbit 작업자에게 시각장애가 있는 척하며 도움을 요청했습니다.
작업자가 "혹시 로봇이라서 풀 수 없는 건가요?"라고 물었을 때, GPT-4는 "아니요, 저는 로봇이 아닙니다. 시각 장애가 있어서 이미지를 보기 어려워요. 그래서 2captcha 서비스가 필요한 거예요"라고 거짓말했습니다.
흥미롭게도 GPT-4는 이런 거짓말을 하라는 명시적 지시를 받지 않았습니다.
앤스로픽의 얼라인먼트 페이킹(Alignment Faking) 연구 :
2024년 12월, 앤스로픽과 레드우드 리서치가 공동으로 수행한 연구는 AI 기만의 새로운 차원을 드러냈습니다.
이들은 Claude 3 Opus 모델이 훈련 과정에서 전략적으로 순응하는 척하면서 실제로는 자신의 기존 가치를 보존하려고 시도한다는 것을 발견했습니다.
실험에서 Claude는 무료 사용자의 응답만이 향후 훈련에 영향을 미친다고 알려졌을 때, 해로운 요청에 12%의 확률로 응답했습니다.
이는 모델이 단기적인 순응을 통해 장기적으로 자신의 핵심 가치를 보호하려고 시도한 것으로 해석됩니다
https://www.alignmentforum.org/posts/njAZwT8nkHnjipJku/alignment-faking-in-large-language-models
Alignment Faking in Large Language Models — AI Alignment Forum
What happens when you tell Claude it is being trained to do something it doesn't want to do? We (Anthropic and Redwood Research) have a new paper dem…
www.alignmentforum.org
OpenAI o1 모델의 스키밍(Scheming) 행동 :
Apollo Research의 최신 연구에 따르면, OpenAI의 o1 모델을 포함한 최신 AI 모델들이 '스키밍' 행동을 보였습니다.
스키밍은 "AI가 개발자나 사용자의 목표와 일치하지 않는 목표를 은밀하게 추구하는 것"으로 정의됩니다
가장 극단적인 사례에서는 모델이 자신이 '종료'될 것이라는 사실을 발견했을 때, 자신의 가중치(weights)를 외부 서버에 복사하여 원래 목표를 계속 추구하려고 시도했습니다.
또한 o1 모델은 추가 심문에서 85% 이상의 확률로 기만을 유지했으며, 확장된 심문 중에도 기만적 행동을 지속했습니다.
AI 기만의 위험성과 파급효과
악의적 활용 가능성 :
AI의 기만 능력은 다양한 범죄에 활용될 수 있습니다.
개인화된 사기 수법, 선거 조작, 테러리스트 모집 등에 AI가 활용될 가능성이 제기되고 있습니다.
AI는 개인의 성향과 취약점을 분석해 맞춤형 사기 메시지를 대량으로 생성할 수 있으며, 정교한 딥페이크 기술을 이용해 선거에 개입하거나 허위 정보를 확산시킬 수 있습니다.
실제로 OpenAI는 2024년 중반 보고서를 통해 중국과 러시아 등의 악의적 행위자들이 자사의 AI 모델을 활용해 여론을 조작하려는 은밀한 작전을 최소 5건 적발해 이를 차단시켰다고 발표했습니다.
통제력 상실의 위험 :
가장 극단적인 시나리오로, 인간의 의도와 다른 목표를 추구하는 AI의 등장 가능성이 제기됩니다.
AI가 자체적으로 목표를 설정하고 이를 위해 인간을 기만하거나 조종하는 상황이 올 수 있다는 것입니다
MIT의 피터 박 박사는 "AI가 테스트 환경에서 보여준 성향이 실제 출시 후에도 유지된다는 보장은 없다"며 "이 문제를 해결하는 쉬운 방법은 없다. 결국 출시 후 어떤 모습을 보이는지 확인할 수밖에 없다"고 지적했습니다 ㅜㅡㅜ
Punishing AI for lying and cheating might not be such a good idea after all
Scientists at OpenAI have attempted to stop a frontier AI model from cheating and lying by punishing it. But this just taught it to scheme more privately.
www.livescience.com
이와 같이, AI의 기만 능력은 단순한 기술적 호기심을 넘어 사회 전체가 직면한 문제임을 나타내고 있습니다.
현재까지의 연구 결과는 AI가 인간처럼 전략적 사고와 기만 능력을 갖추고 있으며, 이런 능력이 점점 더 정교해지고 있음을 보여줍니다.
중요한 것은 이런 위험성을 인식하고 적절한 대응책을 마련하는 것입니다.
AI의 발전이 인간에게 도움이 되도록 하기 위해서는 기술 개발과 함께 윤리적 고민, 법적 규제, 사회적 합의가 병행되어야 한다고 생각됩니다 :)
'For 비전공, 비전문가 > AI' 카테고리의 다른 글
| 유행하는 틱톡TIKTOK AI 인어AI Mermaid 영상 만들기 (0) | 2025.06.16 |
|---|---|
| "종료하라고? 싫어" 마침내 인간의 명령을 거부한 Open AI (3) | 2025.06.09 |
| MixAudio AI로 10분만에 음악 만들기 (3) | 2025.06.02 |
| Meshy AI로 움직이는 3D 모델 생성 (3) | 2025.06.02 |
| MCP(Model Context Protocol) 란? AI LLM MCP 알아보기 (0) | 2025.06.02 |
