이론의 유래
죄수의 딜레마는 1950년대 미국 RAND 연구소에서 탄생했다. 연구원 메릴 플러드(Merrill Flood)와 멜빈 드레셔(Melvin Dresher)는 상호 협력과 배신이 어떤 결과를 만드는지 수학적으로 분석하는 실험적 게임 구조를 고안했다. 그러나 당시 모델은 다소 추상적이어서 대중적으로 알려지지 못했다.
이 구조를 세상에 널리 알린 인물은 프린스턴 대학의 수학자 앨버트 터커(Albert W. Tucker)였다. 그는 1950년 학회 발표에서 이 개념을 두 명의 범죄자가 서로 다른 방에서 심문을 받는 이야기로 재구성했다. ‘자백’과 ‘침묵’이라는 단순하고 선명한 선택지를 통해, 터커는 협력의 어려움과 불신의 역학을 직관적으로 보여주었고, 이로써 죄수의 딜레마는 게임 이론의 대표 사례가 되었다.
두 죄수의 선택
상황은 다음과 같다. 두 명의 공범이 체포되어 서로 다른 방에서 심문을 받는다. 검찰은 범행을 입증할 증거가 부족해 다음과 같은 제안을 한다.
- 한 명만 자백하면, 자백한 사람은 석방되고, 상대는 10년형을 받는다.
- 둘 다 자백하면, 각각 3년형을 받는다.
- 둘 다 침묵하면, 입증 가능한 경미한 범죄로만 1년형을 받는다.
이때 각자의 선택에 따라 결과는 크게 달라진다. 아래 표는 두 죄수가 ‘침묵’과 ‘자백’ 중 어떤 선택을 하느냐에 따라 각각 받게 되는 형량을 정리한 것이다.
합리성과 집단의 손실
이 게임에서 자백은 ‘지배전략’이다. 상대방의 선택과 관계없이 자백이 침묵보다 결코 불리하지 않기 때문이다. 게임 이론에서 내시 균형(Nash Equilibrium)이란 각 플레이어가 자신의 전략을 바꿔도 더 나은 결과를 얻을 수 없는 상태를 말한다.
죄수의 딜레마에서는 <자백+자백>이 바로 그 상태다. 어느 한쪽이 침묵으로 전략을 바꾸면 오히려 더 불리해지기 때문에, 누구도 먼저 바꾸려 하지 않는다. 그 결과, 가능한 최선의 전략적 조합인 <침묵+침묵>은 실현되지 않는다. 즉, 각자에게 합리적으로 보이는 선택이 오히려 모두가 더 나은 결과에 도달하는 길을 가로막는 구조다.
이 딜레마는 기업 간 가격 경쟁, 국가 간 군비 경쟁, 국제 환경 협약 등 현실 세계 곳곳에 숨어 있다.
- 기업 간 가격 인하 경쟁: 한 기업의 가격 인하는 단기 이익을 주지만, 모두가 인하하면 업계 전체의 수익성이 악화된다.
- 국제 군비 경쟁: 각국이 군비를 늘리면 안전을 확보한다고 생각하지만, 모두가 그렇게 하면 불안정성이 커진다.
- 환경 협약: 온실가스 감축에서 한 국가가 이탈하면 그 나라는 단기적으로 비용을 절감할 수 있다. 그러나 모든 국가가 이탈하면 환경은 돌이킬 수 없는 피해를 입게 된다.
해법과 한계
현실의 게임은 한 번으로 끝나지 않고 반복된다. 반복 게임에서는 신뢰와 보복이 중요한 역할을 한다. 로버트 액설로드(Robert Axelrod)의 ‘눈에는 눈’(Tit for Tat) 전략처럼, 협력에는 협력으로, 배신에는 즉시 보복으로 대응하는 방식이 장기 협력을 이끌어내기도 한다.
또한 제도적 장치—벌금, 사회적 제재, 법적 처벌—는 배신의 유인을 줄인다. 하지만 이에는 비용이 따른다. 그 비용이 이익보다 크다면, 규칙 유지 자체가 어려워진다.
마무리하며
죄수의 딜레마는 단순한 사고 실험이 아니라, 협력과 불신의 구조를 이해하게 해주는 강력한 틀이다. 합리적인 개인이 모여도 집단의 최선이 보장되지 않는다는 역설은, 개인 선택의 자유와 사회적 제약 사이의 균형이 얼마나 중요한지 보여준다. 이를 이해하는 것은 경제, 정치, 국제 관계뿐 아니라, 우리의 일상적 관계에서도 유효하다.