재미있는 수학 이야기: 페르마의 마지막 정리, 350년의 미스터리

 

페르마, 그는 누구인가?

페르마의 마지막 정리를 이해하기 위해서는 먼저 이 정리를 제시한 인물, 피에르 드 페르마(Pierre de Fermat, 1607~1665)에 대해 알아야 합니다. 놀랍게도 페르마는 전문 수학자가 아니었습니다. 그는 프랑스의 법률가이자 지방 의회 의원으로 활동했으며, 수학은 그의 '취미'였습니다. 하지만 그의 수학적 재능은 당대 최고의 수학자들과 어깨를 나란히 할 정도였습니다.

페르마는 자신의 연구 결과를 정식 논문으로 발표하기보다는, 동료 수학자들과 주고받은 편지나 고대 그리스 수학자 디오판토스의 저서 《아리스메티카(Arithmetica)》의 여백에 메모 형태로 남기곤 했습니다. 바로 이 여백에 적힌 짧은 메모 하나가 수학사상 가장 유명한 문제를 탄생시킨 것입니다.

---

운명의 메모: 페르마의 마지막 정리

페르마가 디오판토스의 《아리스메티카》 제2권 8번 문제, "제곱수를 두 개의 제곱수로 나누는 문제" 옆 여백에 남긴 메모는 다음과 같은 내용이었습니다.

"세제곱수를 두 개의 세제곱수로 나누거나, 네제곱수를 두개의 네제곱수로 나누거나, 또는 일반적으로 제곱보다 큰 거듭제곱수를 같은 지수의 두 거듭제곱수로 나누는 것은 불가능하다. 나는 이 정리의 진정으로 경이로운 증명을 발견했지만, 이 여백이 너무 좁아 여기에 옮겨 적을 수 없다.

이를 현대적인 수학 용어로 표현하면 다음과 같습니다.

페르마의 마지막 정리:

n이 3 이상의 정수일 때, 방정식 xⁿ + yⁿ = zⁿ 을 만족하는 양의 정수 x, y, z는 존재하지 않는다.

이 정리는 우리가 잘 아는 **피타고라스의 정리(x² + y² = z²)**와 매우 유사해 보입니다. 실제로 n=2일 경우(피타고라스의 정리)에는 3² + 4² = 5² (9 + 16 = 25)와 같이 무수히 많은 정수 해가 존재합니다. 하지만 페르마는 지수가 3 이상으로 커지면 이러한 정수 해가 단 하나도 존재하지 않는다고 주장한 것입니다.

페르마의 이 "경이로운 증명"은 끝내 발견되지 않았고, 이 짧은 메모는 이후 350년이 넘는 시간 동안 수학자들에게 풀리지 않는 수수께끼이자 거대한 도전 과제가 되었습니다.

---

350년간의 도전: 증명을 향한 험난한 여정

페르마 사후, 그의 아들 클레망사뮈엘은 페르마가 남긴 메모들을 정리하여 1670년에 《디오판토스의 아리스메티카, 페르마의 주석을 포함하여》라는 책을 출판했습니다. 이 책을 통해 페르마의 마지막 정리는 세상에 널리 알려졌고, 수많은 수학자들이 이 문제에 도전하기 시작했습니다.

초기 수학자들의 부분적인 성공

• 페르마 자신: 페르마는 n=4일 경우에 대한 증명을 남겼습니다. 그의 증명은 '무한 강하법'이라는 독창적인 방법을 사용했습니다.
• 레온하르트 오일러(Leonhard Euler): 18세기 최고의 수학자 오일러는 1770년에 n=3일 경우를 증명하는 데 성공했습니다. 그의 증명은 복소수를 사용하는 등 페르마의 방법보다 한 단계 발전된 형태였습니다.
• 르장드르와 디리클레: 19세기 초, 아드리앵마리 르장드르와 요한 페터 구스타프 르죈 디리클레는 각각 독립적으로 n=5일 경우를 증명했습니다.
• 가브리엘 라메(Gabriel Lamé): 1839년, 라메는 n=7일 경우를 증명했습니다.

이렇게 특정 n 값에 대한 증명은 꾸준히 이루어졌지만, 모든 n ≥ 3에 대해 일반적으로 성립함을 보이는 증명은 요원했습니다. 수학자들은 새로운 아이디어와 접근법이 필요하다는 것을 깨닫기 시작했습니다.

여성 수학자 소피 제르맹의 기여

19세기 초, 프랑스의 여성 수학자 소피 제르맹(Sophie Germain)은 페르마의 마지막 정리에 중요한 기여를 했습니다. 당시 여성은 학문 활동에 제약이 많았기에, 그녀는 남성 이름으로 가우스와 같은 대수학자들과 교류하며 연구를 이어갔습니다. 그녀는 '소피 제르맹 소수'(p와 2p+1이 모두 소수인 경우)라는 개념을 도입하여, 특정 조건을 만족하는 소수 p에 대해 페르마의 마지막 정리가 성립함을 보이는 일반적인 접근법의 토대를 마련했습니다.

쿠머의 실패와 '아이디얼 수'의 탄생

19세기 중반, 독일의 수학자 에른스트 쿠머(Ernst Kummer)는 페르마의 마지막 정리를 증명하는 데 거의 성공할 뻔했습니다. 그는 복소수의 일종인 '원분 정수'를 이용하여 증명을 시도했지만, 일반적인 수 체계에서 성립하는 '소인수분해의 유일성'이 원분 정수에서는 성립하지 않는다는 치명적인 문제점을 발견했습니다. 이 문제를 해결하기 위해 쿠머는 '아이디얼 수(ideal number)'라는 새로운 개념을 도입했고, 이는 현대 대수학의 중요한 분야인 '아이디얼 이론'과 '환론' 발전의 기초가 되었습니다. 비록 페르마의 마지막 정리 증명에는 실패했지만, 그의 연구는 수학의 새로운 지평을 열었습니다.

볼프스켈 상: 아마추어들의 도전과 혼란

1908년, 독일의 사업가이자 아마추어 수학자였던 파울 볼프스켈(Paul Wolfskehl)은 페르마의 마지막 정리를 증명하는 사람에게 10만 마르크라는 거액의 상금을 내걸었습니다. 그는 실연의 아픔을 수학 문제에 몰두하며 극복했고, 페르마의 정리에 매료되어 자신의 유산을 상금으로 기부한 것입니다.

볼프스켈 상은 전 세계적으로 큰 화제를 모았고, 수많은 수학자들뿐만 아니라 아마추어들까지 페르마의 마지막 정리 증명에 뛰어들게 만들었습니다. 괴팅겐 대학교에는 수천 통의 '증명' 편지가 쇄도했지만, 대부분은 기본적인 수학적 오류를 포함하고 있었습니다. 이 상금은 1997년 앤드루 와일스에게 수여될 때까지 약 90년간 유효했습니다.

---

세기의 증명: 앤드루 와일스의 7년간의 비밀 연구

시간이 흘러 20세기 후반, 페르마의 마지막 정리는 여전히 난공불락의 문제로 남아 있었습니다. 많은 수학자들이 이 문제를 '풀 수 없는 문제'로 여기기 시작할 무렵, 영국의 수학자 앤드루 와일스(Andrew Wiles)가 운명처럼 등장했습니다.

와일스는 10살 때 동네 도서관에서 에릭 템플 벨의 저서 《최후의 문제》를 읽고 페르마의 마지막 정리에 매료되었습니다. 어린 소년은 이 문제를 언젠가 자신이 풀어내겠다고 다짐했고, 그 꿈은 그의 평생의 목표가 되었습니다.

 

1986년, 와일스는 페르마의 마지막 정리와 현대 수학의 중요한 분야인 타니야마-시무라 추측(Taniyama-Shimura Conjecture) 사이에 깊은 연관성이 있다는 것을 알게 됩니다. 타니야마-시무라 추측은 모든 타원곡선이 모듈러 형식과 연결될 수 있다는 내용으로, 당시로서는 매우 대담하고 증명하기 어려운 추측이었습니다. 독일의 수학자 게르하르트 프라이는 만약 페르마의 마지막 정리가 틀렸다면 (즉, 해가 존재한다면), 그 해로부터 특정 형태의 타원곡선을 만들 수 있는데, 이 타원곡선은 타니야마-시무라 추측에 위배된다는 것을 보였습니다. 이후 켄 리벳이 프라이의 아이디어를 증명함으로써, "타니야마-시무라 추측을 (부분적으로라도) 증명하면 페르마의 마지막 정리가 증명된다"는 놀라운 연결고리가 확립되었습니다.

 

이 사실을 알게 된 앤드루 와일스는 프린스턴 대학교 자신의 다락방에서 7년 동안 외부와의 접촉을 최소화하며 오직 페르마의 마지막 정리 증명에만 몰두했습니다. 그의 연구는 극비리에 진행되었으며, 아내 외에는 아무도 그의 연구 내용을 알지 못했습니다.

운명의 발표와 시련

1993년 6월, 와일스는 영국 케임브리지 대학교에서 열린 학회에서 세 차례에 걸쳐 자신의 연구 결과를 발표했습니다. 마지막 강연이 끝날 무렵, 그는 자신이 증명한 내용이 페르마의 마지막 정리를 해결한다는 것을 발표했고, 강연장은 수학자들의 엄청난 환호와 박수갈채로 가득 찼습니다. 수백 년간의 미스터리가 드디어 풀리는 역사적인 순간처럼 보였습니다.

하지만 기쁨도 잠시, 동료 수학자들의 검토 과정에서 와일스의 증명에 치명적인 오류가 발견되었습니다. 그는 다시 깊은 절망에 빠졌지만 포기하지 않았습니다. 그는 자신의 옛 제자인 리처드 테일러(Richard Taylor)의 도움을 받아 오류를 수정하기 위한 1년여의 처절한 사투를 벌였습니다.

마침내 찾아온 광명

1994년 9월 19일 아침, 와일스는 문제의 핵심을 꿰뚫는 결정적인 아이디어를 떠올렸고, 마침내 증명의 마지막 빈틈을 메울 수 있었습니다. 오류를 수정하여 완성된 그의 논문은 1995년 저명한 수학 저널 《Annals of Mathematics》에 게재되었고, 350년 넘게 이어져 온 페르마의 마지막 정리는 드디어 완벽하게 증명되었습니다.

앤드루 와일스의 증명은 현대 수학의 방대한 이론과 도구들을 총동원한 기념비적인 업적이었습니다. 타원곡선, 모듈러 형식, 갈루아 표현 등 페르마 시대에는 상상조차 할 수 없었던 고도로 추상적인 수학 이론들이 이 증명의 핵심을 이루었습니다.

---

페르마는 정말 증명을 알고 있었을까?

그렇다면 페르마가 여백에 남긴 "경이로운 증명"은 과연 무엇이었을까요? 대부분의 현대 수학자들은 페르마가 실제로 일반적인 경우에 대한 완벽한 증명을 가지고 있지는 않았을 것이라고 생각합니다. 앤드루 와일스의 증명은 20세기에 발전된 수많은 수학 이론을 기반으로 하고 있기 때문에, 17세기의 페르마가 그러한 증명을 발견했을 가능성은 매우 낮습니다.

아마도 페르마는 자신이 발견한 n=4 경우의 증명(무한 강하법)을 일반적인 경우로 확장할 수 있다고 착각했거나, 그의 증명에는 미처 발견하지 못한 오류가 있었을 가능성이 큽니다. 그럼에도 불구하고 그의 짧은 메모는 수 세기 동안 수학 발전에 엄청난 자극제가 되었습니다.

---

페르마의 마지막 정리의 유산

페르마의 마지막 정리는 그 자체로도 흥미로운 문제이지만, 그보다 더 중요한 것은 이 문제를 해결하려는 과정에서 수많은 새로운 수학적 아이디어와 분야가 탄생하고 발전했다는 점입니다.

• 대수적 정수론의 발전: 쿠머의 아이디얼 수 연구는 대수적 정수론이라는 중요한 분야를 탄생시켰습니다.
• 타원곡선과 모듈러 형식 연구 촉진: 페르마의 마지막 정리와 타니야마-시무라 추측의 연결고리는 타원곡선과 모듈러 형식 연구에 혁명적인 발전을 가져왔습니다. 이 분야들은 현대 암호학 등 다양한 응용 분야에서도 중요한 역할을 합니다.
• 인간 지성의 승리: 수백 년 동안 풀리지 않던 문제를 해결해낸 앤드루 와일스의 이야기는 인간의 끈기와 지적 탐구의 위대함을 보여주는 감동적인 사례로 남아있습니다.