직업적인 수학자는 수학 문제를 해결하는 사람이다. 수학 자체에서 발생하였건, 또는 물리, 화학, 생의학, 공학, 경제학과 같이 외부세계에서 유입되었건 상관없이 잘 정의된 대상과 명확한 가정이 있는 질문이 던져지면 수학자들은 먹잇감을 노리는 사자처럼 달려든다. 힐버트David Hilbert, 1862-1943는 이를 다음과 같이 묘사한 바 있다.
“우리는 마음속에서 영원한 속삭임을 듣는다: 여기 문제가 있다. 그 풀이를 찾아라. 너는 순수한 이성으로 그것을 찾을 수 있다. 왜냐면 수학에는 해결할 수 없는 문제ignorabimus란 없기 때문이다.”1
여기서 해결한다 함은 답을 찾거나 답이 존재하지 않음을 증명하는 것을 말한다. 물론 괴델Kurt Gödel, 1906-1978의 불완전성 정리로 인해 해결할 수 없는 문제를 인위적으로 만들 수는 있지만, 대부분의 수학자가 접하는 자연스럽게 얻어지는 문제들에 대해서는 힐버트의 주장에 여전히 공감할 수밖에 없다. 적어도 필자는 진리에 대한 확고한 의지를 이처럼 웅대하게 외친 사자후를 본 적이 없다. 수학자에게 문제란, 그들이 호흡하는 공기이자 끝없이 에너지를 공급해주는 존재의 근원이다.
그러나 직업적인 수학자들이 아무 문제에나 달려드는 것은 아니다. 사실 수학자들은 매우 까다롭게 문제를 선정하는 편인데, 힐버트가 제시한 기준은 난이도와 유용함이다. 좋은 문제는 “우리를 유혹할 만큼 충분히 어려워야 하지만 접근 자체도 불가능하여 우리의 노력이 헛될 만큼은 아니어야” 한다. 또한 유용해야 한다. 반드시 외부세계나 실생활에 응용된다는 의미가 아니고 인간의 지성을 고양시키거나 해결 과정에서 수학의 발달을 이끌 수 있다는 것까지 포괄하는 의미이다. 이는 영국의 수학자 하디Godfrey Harold Hardy, 1877-1947가 제시한 기준, 아름다울 것, 어려울 것, 진지할 것과도 일맥상통한다. 왜 유용하거나 진지해야 하는지는 자명하여 설명이 필요 없다.
왜 어려워야 하는가? 수학자들은 문제해결 과정 자체를 즐기기 때문이다. 어려운 문제를 처음 생각하기 시작할 때는 아무것도 보이지 않는 칠흑 같은 어둠 속을 걷는 기분이다. 또는 절대 이길 수 없는 무공의 고수와 겨루어야 하는 백면서생의 심정이 된다. 하지만 암흑 속에서 조금씩 더듬어 살피기를 계속한다. 또는 무공의 고수에게 자신이 알고 있거나 생각할 수 있는 모든 절기를 하나씩 시도해보고 이들의 모든 창의적인 결합으로도 공격해본다. 그러길 몇 날, 몇 달, 몇 년 계속되는 실패에도 좌절하지 않고 계속 탐색하고 덤벼들다 보면, 갑자기 짙은 안개가 싹 사라지고 바로 눈앞에 가고자 하는 길이 떡하고 보이는 순간이 온다. 절대 고수가 나의 일격에 픽 쓰러지는 순간이 오는 것이다. 현대 문명사회에 존재하는 어떤 오락이나 유희도 이를 넘어서는 감동을 주지는 못한다. 당연히 어려운 문제만이 이런 드라마를 제공할 수 있다.
어려움이나 유용함이 좋은 문제의 기준이라고 했지만 그건 사후 해석일 뿐이고, 그것을 고민하여 문제를 찾는 수학자는 없고 사실 본능적으로 알아보는 것이다. 논문을 읽거나 세미나 시간에 접한 문제를 생각하다 보면 벨크로가 짝을 만나는 것처럼 문제가 마음에 착 달라붙는 순간이 있다. 일단 마음에 붙고 나면 앉으나 서나 걸으나 누우나 그 문제가 마음을 떠나지 않는다. 붙어볼 만한 상대를 만난 것이며 자신도 모르는 사이 승부가 시작된 것이다. 마음에 착 붙었다는 것은 무의식이 작동하기 시작했다는 뜻이다. 의식은 딴 일을 하고 잠에 빠져들더라도, 무의식은 쉬는 법이 없이 의식의 빈틈을 메운다. 이것이 위대한 수학자 아다마르Jacques Salomon Hadamard, 1865-1963가 “수학 분야에서 발명의 심리학”에서 설명하고자 한 위대한 발명과 발견의 원리이다. 화두선에서 화두를 잡는 것이나 카시나 명상2에서 니미타nimitta3가 떠오르는 과정과 무관하지 않다. 무의식을 활용하지 않고 좋은 수학자의 위치에 오르는 것은 불가능하다.
1696년 베르누이Daniel Bernoulli, 1700-1782가 당대 최고 수학자들에게 편지로 보낸 최단강하곡선 문제는 변분법의 발전을 이끌었고 이는 다시 현대 물리학의 근간이 되었다. 1637년 페르마Pierre de Fermat, 1607-1665가 제시한 마지막 정리를 해결하기 위한 400년 동안의 노력의 결과로 정수론과 대수학이 획기적으로 발전한 역사도 있다. 이처럼 문제들은 수학의 발전을 이끄는 견인차이며 수학자들은 문제를 통해 방향을 찾고 신대륙을 탐험해 나간다.
HORIZON 편집진으로부터 수학에 관한 글을 써달라는 요청을 받고 무엇을 쓸까 생각했다. 가장 쉬운 길은 수학자의 사생활에 대한 뒷담화를 적절히 섞어 과장된 언어로 어떤 수학자의 업적에 대해 얘기하거나, 인공지능이나 양자 컴퓨터, 암호화폐 같은 기술적인 응용에 수학이 쓰인다든지, 음악과 예술에 수학이 녹아 있다는 식의 글을 쓰는 것이다. 훨씬 더 많은 사람들이 읽을 수 있고 좋아하겠지만 그런 글들은 이미 충분히 많고 대중 작가의 영역이다. HORIZON 독자층의 수준이 국내 최고이며 한국의 과학 독자층이 그런 대중적인 글들로 만족할 시기는 이미 지났다. 결국 어려운 길을 가기로 했다. 수학의 원천이자 에너지원인 문제들, 그중에서도 현대 수학에서 중요도가 높은 문제들을 정확한 지식과 경험을 바탕으로 소개해보려고 한다. 그 과정에서 수학자의 사생활이나 문제 자체를 이해하는데 관련 없는 얘기들은 철저히 배제하려고 한다. 맛있는 음식을 보면 어떤 재료를 썼고 어떻게 조리했고 어떻게 먹고 즐기면 되는지를 아는 것이 중요하지 쉐프의 사생활을 알 필요는 없다. 마이클 조던의 시합이 열리면 농구만 즐기면 충분하지, 더 이상 무엇이 필요하단 말인가?
그럼 어떤 문제를 소개할 것인가? 클레이 재단에서 문제당 백만 불의 상금을 걸고 제시한 밀레니엄 문제들도 있고 필즈상 수상자인 스메일Stephen Smale, 1930~현재이 21세기를 위해 제시한 문제 목록도 있다. 하지만 필자는 1900년 힐버트가 제2회 세계수학자대회에서 제시한 문제들을 선택했다. 힐버트는 인류 역사상 마지막으로 완전한 수학자였다. 이후 수학자들은 대수학자, 해석학자, 기하학자 등으로 거기서 다시 정수론, 대수기하학, 미분방정식론 전문가 등등으로 분화되었고 현재는 거기서 더 세분화된 영역에 매립되어 평생 자신만의 우물을 벗어나지 못하는 경우가 대부분이다.
힐버트는 1890년 19세기 수학의 정점에 놓여있던 불변량 이론에 대한 전설적인 논문을 써서 고전적 불변량 이론의 간판을 떼고 추상 대수학의 새 시대를 열었다. 1897년에는 민코프스키Hermann Minkowski, 1864-1909와 함께 정수론의 성과와 방법을 집대성하며 업그레이드시킨 대작을 발표했다. 이후에도 기하학, 변분법, 상대성 이론, 양자 역학 등 수학 및 물리학에 걸쳐 기념비적인 업적을 남겼다. 이후 어떤 수학자도 이토록 광범위한 분야에서 업적을 남기지 못했다. 우주의 크기가 작았을 때는 우주 전체를 관측할 수 있었겠지만 본격적인 팽창시대에 접어들고 나서 우리는 전체 우주의 극히 일부만 관측할 수 있을 뿐이다. 마찬가지로 20세기 들어 수학이 눈부시게 팽창했고 이제 어떤 1인도 생애를 통해 수학 전체를 조망하는 것이 불가능하다. 평생을 공부하고도 자신의 연구영역 근처만 바라볼 수 있을 뿐이다.
힐버트가 제시한 23개 문제는 수학 전반을 아우르며 지난 120년 동안 수학의 발전을 견인해왔다. 힐버트 문제의 역사로 현대 수학의 역사의 전부는 아니더라도 넓은 부분을 덮을 수 있다는 말이다. 밀레니엄 문제들에서 박물관의 전시물처럼 정제된 아름다움이 느껴진다면 힐버트의 문제들은 날것 그대로의 생생함이 살아있다. 또한 힐버트의 문제들은 전체를 아우르며 수학의 통일성을 보여준다. 바일Hermann Weyl, 1885-1955의 표현대로 “수학의 모든 분야를 꽉 붙들어 매었다”. 힐버트의 문제들 중에서 1번부터 4번은 수학기초론에 관한 문제들이고 5번은 리군론, 6번은 물리학의 수학적 공리화에 관한 문제이다. 7번부터 12번은 정수론에 관한 문제들이고, 13번과 14번은 대수학 또는 대수기하학, 15번과 16번은 대수기하학 문제들이다. 17번과 18번은 기하학, 19번부터 23번까지는 해석학의 문제들이다. 마지막으로 힐버트의 문제들은 좋은 문제들이다. 그런데 어떤 문제가 좋은 문제인지 어떻게 알 수 있는가?
좋은 문제는 한 번 풀리지 않는다. 좋은 문제의 첫 번째 유형은 페르마의 마지막 정리(힐버트의 10번째 문제)나 리만 가설(힐버트의 8번째 문제)처럼 오랜 세월 풀리지 않으나 점근적인 접근을 통해 수학의 발전을 이끄는 경우다. 페르마의 마지막 정리에 답하려는 노력을 통해 환과 모듈 이론, 보형형식, 타원 곡선의 이론이 발전했고 정수론, 대수학, 대수기하학을 환골탈태시켰다. 리만 가설을 해결하려는 시도들은 소수 정리의 증명, 스킴 이론과 같은 획기적인 성과들을 낳았다.
좋은 문제의 두 번째 유형은 불변량 이론의 근본 문제(힐버트의 14번째 문제)나 슈베르트 계산법(힐버트의 15번째 문제)처럼 한 번 풀리고 나서도 업그레이드되어 더 일반적이거나 유사한 상황에서 또 풀리는 식으로 계속 풀리는 경우다. 슈베르트 계산법을 수학적으로 정당화하려는 시도에서 대수적 위상수학이 획기적으로 발달했고 이를 통해 15번째 문제를 해결했지만 다시 대수기하학적인 방법으로 업그레이드 되었다. 이러한 대수기하학 이론은 초끈 이론에 수학적 기반을 제공했고 그 과정에서 얻은 통찰은 역으로 대수기하학의 오랜 난제들을 해결할 수 있게 해주었다. 산업적으로 13번째 문제는 인공지능의 신경망 모델이 왜 그토록 풍부한지 설명해주며 14번째 문제는 양자통신의 안전성에 대해 통찰을 제공한다. 이처럼 좋은 문제는 성장하는 생명체처럼 살아 움직이고 진화한다. 한 번 풀리고 말 문제는 좋은 문제라고 부르기 어렵다.
그렇다면 왜 “불멸의 힐버트”인가? 하디의 말을 들어보자. “아이스킬로스(그리스 시인)는 잊힐 지라도 아르키메데스는 영원히 기억될 것이다. 언어는 소멸하지만 수학적 아이디어는 불멸하기 때문이다. 어쩌면 불멸이라는 말이 가당찮게 들릴지도 모르겠다. 그렇더라도 수학자만큼 불멸할 가능성이 높은 사람은 없을 것이다.”4 인간 힐버트의 육신은 소멸했지만, 그가 남긴 문제들과 수학적 유산은 펄펄 뛰며 살아남아 성장하고 진화하고 있다.
수학자들이 연구하는 문제들을 수학자의 눈높이에서 소개하는 것은 국내에서는 한 번도 시도된 일이 없었고 해외에서도 찾아보기 어려운 도전이다. 비유하자면 고산지 적응 훈련이 안 된 HORIZON 독자들을 헬리콥터에 태워 에베레스트 정상으로 끌어올리는 일이기 때문이다. 많은 독자들에게는 여태까지 읽은 어떤 수학적인 글들보다 어려운 내용이 될 수도 있겠다. 하지만 그 노력의 보상은 물질세계의 무엇과도 비교할 수 없을 정도로 달콤할 것이다.
溫故知新 可以爲師 (옛것을 익혀 새것을 알면 능히 스승이 될 만하다.)5
필자가 학문의 길을 걸으며 늘 잊지 않고자 하는 명언 중의 하나이다. 이 시리즈의 목표 중의 하나는 힐버트의 문제를 하나씩 살펴보며 역사성과 현재성을 확인하는 것이다. 좋은 문제들이 팔팔하게 살아 날뛰는 모습을 – 이게 필자가 문제들을 볼 때 받는 느낌이다 – 보여줄 수 있으면 좋겠다.
도전적인 시도에도 불구하고 게재에 동의해주신 편집진에게 감사한다.
