심오한 질문으로 시작해 보자. 같다는 것은 무슨 말인가? 이 질문이 심오하게 느껴졌다면 철학과 과학에 대한 조예가 상당한 독자라고 할 수 있다. 과학의 몇몇 근본적인 발전은 이 질문에 답하는 과정에서 얻어진 것이기 때문이다.
17세기 라이프니츠는 “그 자체를 봐서 분별할 수 없으면indiscernable when each is considered by itself” 같은 것이라고 말했다. 이것의 인간화된 해석이 튜링 테스트라고 할 수 있다. 기계(컴퓨터)의 정체를 가리고 대화해서 인간과 구분할 수 없다면 지능을 가진 것으로 봐야한다는 것이 튜링 테스트이기 때문이다. 17세기 초 갈릴레오는 등속으로 운동하는 물리계는 내부자 관점에서 정지해 있는 계와 구분할 수 없으므로 모든 물리법칙이 동등해야 함을 주장했고, 20세기 초 아인슈타인은 이를 통해 상대성이론을 이끌어내었다. 결국 라이프니츠가 표현한 대로 과학에서 같다는 말은(인간 능력의 한계 때문이든, 실험장비의 오차범위 때문이든, 주어진 문제의 목적 때문이든), 구분할 수 없다면 같은 것으로 보라는 말이다. 하지만 구분하는 능력이 향상된다면 이야기가 달라진다. 열역학 제2법칙이 미묘한 이유는 무엇을 같은 것으로 보느냐에 따라 엔트로피가 달라지기 때문이다. 모든 기체분자들을 이름 붙이고 구분할 수 있는 지능이 있다면 열역학 제2법칙은 아무 의미도 없다. 라이프니츠의 관점에서 볼 때, 같다는 말은 인식의 한계를 설정하는 것과 동등하다.
이전 글 “불멸의 힐버트 [2]: 방정식의 근을 찾아라”에서 다항식에 의해 주어진 방정식의 해법에 관한 힐버트의 13번째 문제를 생각해 보았다. 힐버트의 14번째 문제도 다항식과 관련된 것이지만 훨씬 심오하다. 문제를 설명하기 위해 유리함수의 정의를 알아야 하는데
\(\frac{x ^{3} +3xy ^{2} +z ^{5}}{y ^{6} z+xyz+6}\)
과 같이 다항식을 다항식으로 나눠서 얻어지는 함수를 유리함수라고 한다. 물론 함수로서 분모가 0이 안 되는 점들에 대해서만 정의된다.
문제1. [힐버트의 14번째 문제]1 (1900): 자연수 \(m,n\)에 대해, \(m\)개의 \(n\)변수 다항식
\(f _{1} (x _{1} ,x _{2} , \cdots ,x _{n} ),f _{2} (x _{1} ,x _{2} , \cdots ,x _{n} ), \cdots ,f _{m} (x _{1} ,x _{2} , \cdots ,x _{n} )\)
이 주어졌다고 하자. 계수는 모두 유리수라고 하자. \(m\)변수 다항식 \(g(y _{1} ,y _{2} , \cdots ,y _{m} )\)에 다항식 \(y _{1} =f _{1} (x _{1} , \cdots ,x _{n} ), \cdots ,y _{m} =f _{m} (x _{1} , \cdots ,x _{n} )\)을 대입하면 당연히 \(x _{1} , \cdots ,x _{n}\)에 관한 다항식이 된다. 그런데 경우에 따라 \(g(y _{1} ,y _{2} , \cdots ,y _{m} )\)이 다항식이 아닌 유리함수일 때도
\(g(f _{1} (x _{1} , \cdots ,x _{n} ), \cdots ,f _{m} (x _{1} , \cdots ,x _{n} ))\)
이 \(x _{1} , \cdots ,x _{n}\)에 관한 다항식이 되기도 한다. 이것이 다항식이 되는 \(m\)변수 유리함수 \(g(y _{1} ,y _{2} , \cdots ,y _{m} )\)들의 집합
\(S= \{ g(y _{1} , \cdots ,y _{m} ):g(f _{1} (x _{1} , \cdots ,x _{n} ), \cdots ,f _{m} (x _{1} , \cdots ,x _{n} ))\) 은 다항식 \(\}\)
을 생각해 보자. 집합 \(S\)에 유한개의 원소가 존재하여 이들과 상수, 덧셈, 곱셈만을 써서 다른 모든 원소를 얻을 수 있겠는가?
예를 들어 \(f _{1} (x _{1} ,x _{2} )=x _{1}\)이고 \(f _{2} (x _{1} ,x _{2} )=x _{1} x _{2}\)이면 \(g(y _{1} ,y _{2} )=y _{2} /y _{1}\)는 다항식은 아니지만 \(y _{1} =x _{1}\), \(y _{2} =x _{1} x _{2}\)를 대입하면 \(g(f _{1} (x _{1} ,x _{2} ),f _{2} (x _{1} ,x _{2} ))=x _{2}\)여서 다항식이 된다. 이 경우 사실 집합 \(S\)는 두 개의 유리함수 \(y _{1}\), \(y _{2} /y _{1}\)로부터 상수, 덧셈, 곱셈만으로 모두 만들어 낼 수 있다. 왜냐면 \(S\)의 임의의 원소 \(g(y _{1} ,y _{2} )\)에 대해 \(g(y _{1} ,y _{2} )=g(x _{1} ,x _{1} x _{2} )\)가 \(x _{1} ,x _{2}\)의 다항식이므로 이를 \(h(x _{1} ,x _{2} )\)라고 두면 \(g(y _{1} ,y _{2} )=h(y _{1} ,y _{2} /y _{1} )\)이어서 유리함수 \(g\)를 \(y _{1}\), \(y _{2} /y _{1}\)로부터 상수, 덧셈, 곱셈만을 써서 얻을 수 있음을 알 수 있다. 즉 \(S\)의 원소는 무한히 많지만, 단 두 개의 유리함수로부터 다 얻을 수 있다.
관심 있는 독자라면 위키피디아에 소개된 힐버트의 14번째 문제와 위의 문제가 매우 달라 보일 것이다. 위에 적힌 힐버트의 14번째 문제가 정확한 것이며, 위키피디아나 힐버트 문제에 관한 책들에서는, 관련이 있지만 정확히 같지는 않은 문제를 얘기하고 있다. 여기서 밝혀지는 불편한 진실 – 아무도 원전을 읽지 않는다!
젊고 유망한 수학자였던 힐버트를 하루아침에 세계적인 스타로 변화시킨 것은 1890년 불과 28세의 나이에 출판한 불변량 이론에 관한 논문이었다. 19세기 수학의 정점에 놓여있던 분야가 바로 불변량 이론invariant theory이었다. 당대의 대표적인 수학자들, 케일리Arthur Cayley,1821-1895부터 클렙슈Alfred Clebsch, 1833-1782, 고르단Paul Gordan, 1837-1912, 클라인Felix Klein,1849-1925에서 힐버트, 바일Hermann Weyl,1885-1955까지 불변량 이론을 자기 수학의 홈그라운드로 삼았다. 불변량 이론의 관점과 기법은 20세기 이후 수학 및 이론물리학의 근간을 이루었는데, 추상대수학, 대수기하학, 표현론, 보형형식론, 미분기하학, 리군론 그리고 뇌터Emmy Noether, 1882-1935의 보존 정리부터 초끈 이론에 이르기까지 불변량 이론의 영향은 한계를 지을 수 없을 만큼 광범위하다. 불변량 이론은 19세기 중반, 중근 존재 여부와 같이 “방정식의 근들의 상대적 위치를 계수들로부터 알 수 있겠는가”라는 케일리Cayley의 순진한 질문에서 출발하였지만 곧 매섭게 불꽃처럼 타올랐고, 현재까지 (디외도네Jean Dieudonne, 1906-1992와 로타Gian-Carlo Rota, 1932-1999가 표현한 바대로 반복되는 사망선고에도 불구하고 아라비아 사막의 불사조와 같이) 살아서 타오르고 있다. 도대체 불변량 이론은 무엇인가?
“같다는 것은 무슨 말인가”라는 질문으로 이 글을 시작했는데, 수학이나 과학에서 같다는 말을 표현하는 단어는 대칭symmetry이다. 갈릴레오가 주장하는 상대성은 물리법칙들이 평행이동에 대해 대칭이라는 말이다. 정삼각형은 6개의 대칭을 갖는데 2개의 회전변환과 3개의 대칭변환, 그리고 항등변환이다. 이러한 대칭들은 합성하면 다시 대칭이 되고, 역변환도 대칭이고, 항등변환은 대칭이다. 어떤 집합에서 자신으로 가는 함수들의 모임이 이러한 3가지 성질을 만족하면 대칭군symmetry group이 주어졌다고 말한다. 대표적인 예로 벡터 공간 \(V\)에서 자신으로 가는 가역 선형사상invertible linear transformation들의 집합은 대칭군이고 이를 \(GL(V)\)로 표기한다. 행렬식의 값이 1인 두 행렬을 곱해도 행렬식의 값은 1이므로 행렬식의 값이 1인 선형사상들의 집합도 대칭군이고 이를 \(SL(V)\)라고 표기한다.
어떤 집합 \(V\)에 대칭군 \(G\)가 주어졌다고 하자. 집합 \(V\)의 두 원소 \(v,w\)가 동등하다는 것은 대칭군 \(G\)의 원소 \(g\)가 있어서, \(w=g(v)\)가 성립함을 의미한다. 종종 \(g(v)=g \cdot v\)로 나타내고 \(v\)와 동등한 점들의 집합을 \(v\)의 orbit이라고 부른다. \(V\)에서 정의된 함수 \(f\)가 불변invariant이라 함은 \(G\)의 임의의 원소 \(g\)와 \(V\)의 임의의 원소 \(v\)에 대해 \(f(g \cdot v)=f(v)\)라는 말이다. 즉 동등한 점들에 대해서 같은 값을 주는 함수라는 뜻이다. 모든 함수가 유용하기는 하나 가장 기본이 되는 함수들은 좌표공간 \(V\)의 좌표들에 관해 다항식으로 주어지는 함수들이다. 수학이나 과학에서 우리가 관심을 갖는 대부분의 함수들은 다항식이거나 다항식들로 근사시킬 수 있는 것들이기 때문이다. 이 정도 준비를 갖추면, 대부분의 책이나 위키피디아에서 설명하는 힐버트의 14번째 문제를 얘기할 수 있다.
문제2. 불변량 이론의 근본 문제 (1850~): \(GL(V)\)의 부분집합으로 주어지는 대칭군 \(G\)에 대해, \(V\)의 좌표들에 관한 다항식들 중 불변인 것들의 집합 \(S\)는 유한 생성인가? 즉 \(S\)에서 유한개의 다항식만 골라 이들로부터 상수, 덧셈, 곱셈만 사용해 다른 모든 불변인 다항식을 얻을 수 있는가?
왜 이런 질문을 던지는가? 불변인 함수가 주어지면 두 점이 동등한지 아닌지 판별할 수 있다. 불변이라는 정의에 의해 불변인 함수 \(f\)에 대해 \(f(v) \ne f(w)\)이면 두 점 \(v\)와 \(w\)는 동등할 수 없다. 이 판별법을 제대로 쓰려면 모든 불변인 함수에 대해 확인해 보아야 한다. 하지만 불변인 다항식들의 집합이 유한 생성이라면 그들을 생성하는 유한개의 다항식에 대해서만 판별해 보면 끝난다. (왜 그런가?) \(G\)가 유한개의 원소를 갖는 대칭군이거나 \(GL(V), SL(V)\)와 같이 소위 고전적 대칭군인 경우 이 질문에 대한 답이 ‘예’임이 알려져 있다. 물론 자명한 것은 결코 아니고 각각의 경우들이 사실 기념비적인 성과이다. 예를 들어 1890년 힐버트의 논문은 \(SL(V)\)의 경우를 해결한 것이다.
문제1과 문제2는 무슨 관계이기에 위키피디아에서는 문제2를 힐버트의 14번째 문제라고 하는 것일까? 결론만 말하자면 대칭군 \(G\)가 \(SL(V)\)처럼 semisimple이라면 문제1의 긍정적인 답은 자동으로 문제2의 긍정적인 답을 준다.2 Semisimple인 경우도 문제2가 문제1을 의미하지는 않으므로 문제2를 힐버트의 14번째 문제와 동일시하는 것은 옳지 않다.
1958년 나가타Masayoshi Nagata,1927-2008는 문제1과 문제2의 답이 모두 ‘아니오’임을 보여주는 유명한 반례3를 만들어 냈다. 16차원 벡터 공간에 작용하는 13차원 대칭군을 구체적으로 찾아 불변인 다항식들의 집합이 유한 생성일 수 없음을 보인 것이다. 이것으로 끝인가? 당연히 아니다. 좋은 문제는 한 번 풀리지 않는다. 모두에 대해서 참인 것은 아니라면, 대체 어떤 대칭군에 대해서 질문2의 답이 ‘예’인지 물어야 한다. 1950년대부터 1970년대까지 이어진 연구에서 기하학적으로 중요한 대부분의 대칭군에 대해서는 (보다 정확히는 reductive group들에 대해서는) 질문2의 답이 ‘예’임이 증명되었다. 1965년 멈퍼드David Mumford, 1937-는 불변량 이론을 기하학적으로 해석하여 기하학적 불변량 이론을 확립했고 이를 통해 곡선, 벡터 번들 같은 기하학적 대상들의 모듈라이 공간을 건설하였다. 이는 다시 1990년대 이래 초끈 이론에서 다양한 기하학적 응용을 이끌어내는 발판이 되었다.
하지만 필자가 아는 바로는 문제1에 대해서는 문제2와 같은 후속연구가 없었다. 다항식 \(f _{1} , \cdots ,f _{m}\)에 어떤 조건을 주어야 \(S\)가 유한 생성인가? 대수기하학적으로 해석해보면 다음과 같은 흥미로운 질문이 된다: 대수적 다양체 사이에 주어진 대수적 함수 \(f:Y \to X\)를 \(Y \to Z \to X\)와 같이 분해하되 \(Z\)가 \(X\)와 쌍유리적birational이면서 최대maximal인 것은 존재하는가? 힐버트의 14번째 문제는 120년이 지난 지금도 제대로 이해되지 못하고 있다.
후기 제한된 지면 때문에 하고 싶은 얘기를 10분의 1도 못 하고 끝맺게 되는 것이 아쉽다. 원래는 자리스키Oscar Zariski, 1899-1986의 해석과 다양한 반례, orbit 분류와 모듈라이 공간, 양자 컴퓨팅에서의 응용도 (양자 얽힘과 국소작용/고전연락LOCC 문제를 불변량 이론을 통해 분석하는 법 등) 다루려 하였으나 욕심을 비우고 다음을 기약하기로 하였다. 수학적으로 정말 이야깃거리가 넘치는 풍성한 주제이지만, 전문적인 내용을 간략하게나마 소개하며 전개해야하므로 지면의 여유가 절실히 아쉬웠다. 추후에 한 걸음 더 들어갈 기회가 있길 바라며 글을 맺는다.
