본격적인 가을이 시작되어 맑고 시원한 10월의 어느 아침, 동경대에서 열리는 학회에 참석하기 위해 공항으로 향했다. 필자가 이용한 것은 최근에 생긴 어떤 작은 항공사의 비행기였는데 착륙을 위해 하강을 시작하자 기내에 익숙한 노래들이 흘러나왔다. 마녀배달부 키키, 벼랑위의 포뇨와 같은 지브리 애니메이션들의 주제곡들이었다. 일하러 가는 것이기에 건조하게만 생각했던 여행인데 몽글몽글한 노래를 들으며 도착하니 왠지 모르게 마음이 설레었다. 그러다가 자연스럽게 최근에 생각해오던 연구에 대해서 즐거운 상상을 펼쳐보기 시작했다.
내가 하는 많은 연구의 성격을 한 단어로 표현하자면 ‘군의 작용’이다. 군group은 집합처럼 어떤 원소들이 모여있는 모임인데 원소들을 가지고 할 수 있는 연산이 존재하고 이 연산이 몇 가지 대수적인 규칙을 만족해야 군이라고 불릴 수 있다. 이렇게만 말하면 군은 정적인 존재인 것 같지만 나한테 군은 더할 나위 없이 동적인 존재이다. 어떤 공간 속의 움직임들이 군이 만족해야 할 규칙을 만족하면, 이 군이 공간 위에 작용한다고 한다. 군의 작용은 공간 위의 움직임들이 모여 질서를 이루는 것을 표현하는 언어이다. 때문에 그 질서가 가지는 대수적 성질, 움직임이 만들어내는 동역학적인 성질, 그리고 그 움직임이 벌어지는 공간의 기하적 성질을 한 군데 모여 조화를 이룬다. 생각만해도 지브리 애니메이션 주제곡들을 듣는 것처럼 아름답고 마음이 몽글몽글해지는 주제이다.
군으로서 만족해야 하는 규칙은 크게 세 가지가 있다. 먼저 하나의 이항연산이 있어야 한다. 편의상 곱하기라고 하자. 이 말은 두 원소를 곱하여 얻어지는 것 또한 이 군의 원소여야 한다는 것이다. 두 번째는 이 연산에 항등원이 있어야 한다. 실제 수의 곱하기에서 1에 해당하는 녀석이다. 어떤 수를 1에 곱해도 원래 수 자기 자신이 결과로 얻어지듯, 항등원은 다른 원소와 연산을 하였을 때 아무 것도 하지 않는, 말 그대로 있는 듯 없는 듯 유일하게 존재하는 특별한 원소다. 세 번째는 모든 원소는 역원을 가져야 한다. 어떤 원소 ㄱ을 다른 원소 ㄴ에 어떤 순서로 곱하여도 항등원이 나온다면 ㄴ이 ㄱ의 역원이라는 것이다. 많은 경우 곱하기의 순서가 중요하다. 다시 말해 일반적으로 ㄱㄴ과 ㄴㄱ은 같은 원소가 아니다. 곱하기의 순서가 상관없는 군을 우리는 가환군abelian group이라고 부른다.
가환군을 굳이 언급한 것은 ”두 원소를 곱하는 순서에 상관없이 같은 결과를 준다“라는 것이 군이 만족해야할 최소한 세 가지 규칙 외에 새로 추가된 규칙임을 강조하기 위해서다. 대부분의 군은 이렇게 세 가지 필수 규칙 외에 자기들만의 규칙을 더 가지고 있고, 이는 언뜻 다른 것처럼 보이는 원소들 사이에 어떤 관계가 있는지를 보여준다. 그런데 필수 규칙 외에는 아무런 규칙도 가지고 있지 않는, 말 그대로 군은 군이되 어떤 추가 제한 조건도 없이 자유로운 군들이 있다. 이것이 바로 자유군free group이다.
주어진 공간상에 특정한 몇 개의 움직임을 관찰하다고 생각해보자. 이들 움직임들이 가능한 모든 순서로 다양하게 반복해서 적용해서 얻어지는 모든 움직임들을 모아놓으면 하나의 군을 이룬다. (이 군을 처음에 주어진 움직임들로 생성된 군이라고 표현한다. 군의 정의와 생성자의 의미에 대해서는 필자의 예전 글 ”거친기하학“을 참조하시길 바란다.) 이때 생겨난 군이 어떤 군인지 알고자하는 것은 자연스러운 질문이다. 사실 우리가 대수적으로 잘 알고 있던 군일지도 모른다. 그렇다면 이 움직임들이 갖는 구조는 우리의 지식과 결합하여 공간의 비밀을 푸는 실마리를 제공할지도 모른다. 그 아름다운 조화의 비밀을 들여다볼 생각에 또 마음이 설레어온다.
어쩌면 이 군은 그 어떤 제한도 없는 자유군일지도 모른다. 더할 것도 덜 것도 없이 딱 필요한만큼만 가진 간결한 아름다움이 이 공간의 움직임 속에 숨어있을 수 있다. 그런데 이렇게 주어진 움직임들 간에 필요 이상의 그 어떠한 관계도 없다는 것을 어떻게 증명할 수 있을까? 이런 상황에서 수학자들이 자주 사용하는 것 중에 탁구보조정리ping-pong lemma라는 것이 있다. 이 글에서는 이 탁구보조정리의 가장 일반적인 형태를 설명하기 보다는 많이 사용되고 이해/적용하기 쉬운 형태로 이야기하려고 한다.
공간상에 두 가지 움직임 ’가‘와 ’나‘가 있다고 하자. 그리고 공간에 네 개의 서로 다른 점 ㄱ, ㄴ, ㄷ, ㄹ을 생각해보자. 우리가 상상하고자 하는 상황은 ’가‘가 ㄱ의 어떤 근방을 제외한 모든 점을 ㄴ의 근방으로 보내고, ’나‘는 ㄷ의 어떤 근방을 제외한 모든 점을 ㄹ의 근방으로 보내는 상황이다. 그리고 이 근방들끼리는 공유하는 점이 없도록 한다. 여기서 어떤 점, 예를 들어 ㄱ의 근방이라는 것은 이 공간상에서 ㄱ과 가까운 점들을 모아놓은 공간의 한 부분이다. 거리개념이 있다면 더욱 설명하기가 간편하다. 예를 들어 네 점 ㄱ, ㄴ, ㄷ, ㄹ은 서로로부터 최소한 거리 10씩 떨어져있다고 가정해보자. 그리고 각 점 ㄱ, ㄴ, ㄷ, ㄹ에 대해서 거리가 3보다 적게 떨어진 점들을 모아놓은 근방들을 생각해보자. ㄱ의 근방과 ㄴ의 근방이 공유하는 어떤 점 ㅁ이 있다고 하면, ㅁ은 ㄱ으로부터의 거리가 3이하, ㄴ으로부터의 거리가 3이하여서 ㄱ과 ㄴ사이의 거리가 6이하가 되어 거리가 10이상 떨어져있다는 처음 가정에 모순이 된다. 따라서 우리는 네 점 ㄱ, ㄴ, ㄷ, ㄹ에 대해서 서로 공유하는 점이 없는 근방들을 잡게 되었다 (좀더 일반적으로 거리개념이 없는 공간에서의 근방이라는 개념을 고려하기 위해서는 필자의 예전 글 “거리 개념이 없는 세상에서 가깝고 멂을 정의하기”을 참고하시길 바란다).
‘가’는 이렇게 잡은 ㄱ의 근방의 바깥쪽에 있는 모든 점을 한번에 ㄴ의 근방 안으로 보낸다. 그리고 ‘나’는 ㄷ의 근방의 바깥쪽에 있는 모든 점을 한번에 ㄹ의 근방으로 보낸다. ㄱ에서 바라봤을 때 모든 것이 ㄴ쪽으로 날아가고, ㄷ에서 바라봤을 때 모든 것이 ㄹ쪽으로 날아가는 것을 수학자들은 탁구공을 이리 튀기고 저리 튀기는 것처럼 상상했다. 이러한 상황의 묘사는 19세기 수학자 펠릭스 클라인Felix Klein이 3차원 쌍곡공간을 이해하기 위해 처음 사용했으며, 후에 자크 티츠Jacques Tits가 1972년 저술한 <선형군 안의 자유 부분군들Free subgroups in linear groups>라는 논문에서 구체화되고 적극적으로 사용되었다. 결론은 이렇게 탁구공을 이리 저리 튀기는 듯한 두 개의 움직임 ‘가’와 ‘나’를 다양한 순서로 반복 적용해서 얻어지는 모든 움직임을 모아놓은 군은 자유군이 된다는 것이다! 이것이 바로 탁구보조정리이다. 군의 작용을 고려하는 상황에서 자유군을 찾고자하는 거의 모든 수학자가 이를 즐겨 사용한다.
그런데 왜 자유군이 되는 것일까. ‘가’와 ‘나’가 만족해야하는 다른 규칙이 전혀 없다는 것을 증명하는 것은 지루하니 예를 들어 살펴보면서 어떤 느낌인지 알아보자. ‘나’라는 움직임 후에 ‘가’라는 움직임을 곧이어 하는 것을 움직임 ‘가나’라고 하자. 반대로 ‘가’라는 움직임을 먼저 한 후 다음에 움직임 ‘나’를 하는 경우 ‘나가’라고 부르자 (왜 먼저 일어나는 움직임을 나중에 적는가가 궁금한 독자들도 있을 것 같다. 이것은 단순히 수학자들이 이러한 움직임들을 수학적으로 기술할 때 그것이 실제로는 더 편리하기 때문이고 반드시 그래야하는 엄청난 이유가 있는 것은 아니다). 이 움직임들이 자유군이 아니라 가환군을 만든다면, ‘가나’와 ‘나가’는 사실 같은 움직임일 것이다. 가환군은 군의 원소를 곱하는 순서가 전혀 상관없는 군이기 때문이다. 즉, 가환군에서는 이처럼 순서를 바꿔도 된다는 새로운 규칙이 추가된다. 이 규칙이 지켜지는 확인하기 위해서 네 점 ㄱ, ㄴ, ㄷ, ㄹ의 근방들 중 어디에도 들어가지 않는 한 점 ㅁ을 고려해보자. ‘가나’와 ‘나가’가 같은 움직임이라면 이것에 의해 ㅁ이 옮겨진 위치도 같아야 한다.
먼저 ‘나가’를 고려해보자. 우선 ㅁ이 ㄱ의 근방 바깥에 있으므로, ‘가’는 ㅁ을 ㄴ의 근방 안으로 보낸다. 다시 ‘나’에 의해 이것은 ㄹ의 근방 안으로 옮겨진다. 반대로 ‘가나’를 고려하면, ‘나’는 ㅁ을 ㄹ의 근방 안으로 보내고, 이것은 ‘가’에 의해 ㄴ의 근방 안으로 옮겨진다. ㄹ의 근방과 ㄴ의 근방은 서로 공유하는 점이 없으므로 ‘나가’에 의해서 옮겨진 ㅁ의 위치와 ‘가나’에 의해서 옮겨진 ㅁ의 위치가 같을 수 없다. 다시 말해서 두 움직임은 서로 다른 움직임이다! 이와 같이 ‘가’와 ‘나’가 만족해야할 새로운 규칙을 어떤 것을 제안하더라도, 실제로 공간상의 점들이 어떻게 이동하는지를 면밀히 관찰하면 이러한 규칙이 성립하지 않음을 보일 수 있다. 우리가 탁구보조정리를 완전히 증명한 것은 아니지만 이러한 움직임들로 만들어진 군이 가환군이 아님은 벌써 엄밀하게 증명한 것이다, 그것도 아주 간단하면서도 깔끔한 방법으로!
지금까지 우리는 두 개의 움직임으로 만들어지는 군에 관한 탁구보조정리를 이야기했다. 하지만 사실 움직임을 두 개로 제한할 필요는 전혀 없다. 탁구보조정리는 움직임의 개수에 관계없이 유사한 방법으로 자유군 여부를 판별할 수 있게 해준다. 예를 들어 점 ㄱ, ㄴ, ㄷ, ㄹ, ㅁ, ㅂ이 있어 ㄱ의 근방 바깥쪽을 ㄴ의 근방 안쪽으로, ㄷ의 근방 바깥쪽을 ㄹ의 근방 안쪽으로, 또 ㅁ의 근방 바깥쪽을 ㅂ의 근방 안쪽으로 옮기는 세 개의 움직임을 반복적으로 이용해서 만들어지는 모든 움직임들로 구성된 군은 자유군이 된다. 움직임의 개수가 늘어나면 그에 맞게 점의 개수를 늘려가며 판별해볼 수 있다. 또 여기서는 다루지 않겠지만 직교아틴군이라고 하는 군의 종류가 있는데 이는 유한 개의 생성자를 가지며 임의의 한 쌍의 생성자들을 택해서 이 두 원소가 만드는 군을 보면 자유군이거나 가환군이 되는 특별한 군들이다. 당연히 자유군도 직교아틴군의 한 가지 종류가 된다. 자유군인지 여부만 판별하는 것이 아니라 직교아틴군인지 여부를 판별할 수 있는 좀더 일반화된 형태의 탁구보조정리도 있다. 직교아틴군은 저차원 공간에 대한 인류의 이해에 사실 굉장히 중요한 역할을 했는데 이에 관해서도 나중에 다룰 기회가 있으면 좋겠다.
서로를 신경 쓰지 않고 각자 독립된 방향으로 공, 아니 공간의 점들을 날려버려는 두 탁구 선수 사이에는 그 어떤 상호작용도 없다. 그들은 경기를 하며 공을 주고받는 것이 아니라 그저 각자의 자유를 즐기고 있는 것이다. 이러한 움직임은 자유군이라는 대수적 형상으로 나타난다. 그런데 수학자들이 그렇게 자유군을 찾으려는 이유는 무엇일까. 물론 여러 가지 이유가 있고, 많은 경우 깊은 수학적 이해를 요구하지만 여기서 재밌는 두 가지 이야기를 해볼 수 있을 것 같다. 자크 티츠의 1972년 논문에서 나오는 유명한 결과를 흔히 ‘티츠의 대안Tits alternative’라고 부른다. 어떤 군이 티츠의 대안을 만족한다는 것은, 이 군이 자유군을 부분군으로 포함하거나 아니면 가해군solvable group이라는 특정한 종류의 군이 된다는 것이다. 군 안에서 자유로운 구조를 찾을 수 있거나 아니면 특정한 종류의 군으로 분류된다는 것은 군의 구조, 나아가 그 군과 관련된 공간을 이해하는데 큰 도움이 된다.
어쩌면 우리에게 가장 익숙한 3차원 공간들에서 그 예를 찾을 수 있다. 3차원 공간의 경우 윌리암 서스턴William Thurston의 기하화 추측(훗날 페렐만이 증명했다)에 따라 더 작은 조각들로 나누고, 각 조각이 8가지 기하적인 구조 중 하나를 가진다는 것이 알려져 있다. 어떤 공간이든 그 공간의 연결성을 대수적으로 표현한 기본군fundamental group이라는 군을 가지는데 이러한 8가지 기하적인 구조 중 하나는 기본군이 가해군이 되는 구조이다. 기본군 안에 자유군이 존재함을 보인다면 기본군이 가해군이 아님을 알게되므로, 8가지 기하적인 구조 중 어떤 구조인지를 알게되는데 한발짝 다가서게 된다. 이처럼 복잡한 공간의 기하적인 구조에 대한 이해에 있어 비교적 단순한 탁구보조정리가 그 시작점이 될 수 있다는 점이 흥미롭게 다가온다. 3차원 공간의 기본군들 뿐만 아니라 공간을 이해하기 위한 연구에서 자연스럽게 나오는 많은 군들이 티츠의 대안을 만족한다. 군이 원소들이 공간의 움직임들로 구성될 때, 어떤 두 움직임이 제한 없이 자유로운 구조를 가지는지를 판별하는 것만으로도 이 군이 어떤 특정한 종류의 군인지 아닌지 알게 되는 것이니 이런 상황에서는 위에서 설명한 수학적 탁구를 한번 열심히 쳐볼만하다.
두 번째 이야기는 어쩌면 조금 철학적인 이야기이다. 공간의 움직임들로 만들어낸 군이 자유군이 되는 것은 매우 자연스럽다는 것이다. 공간 위의 수많은 움직임 중에 두 개를 무작위적으로 골라냈을 때, 이 두 움직임들을 반복 적용하여 얻어지는 움직임들로 구성된 군은 자유군이다. 무작위적이라는 것이 무엇인지 여기서 장황하게 설명하지는 않겠다 (Horizon에 이미 확률론이나 무작위성에 관하여 좋은 글들이 많이 있다). 다만 자유군이 아닌 군을 만드는 것이 어쩌면 오히려 인위적인 것이고 자연에는 정말 최소의 규칙만으로 구성된 자유가 모든 곳에 흩어져있다고 표현할 수 있겠다.
살짝 살펴보았지만 탁구보조정리의 핵심 아이디어는 정말 간단하다. 어쩌면 그래서 더많은 상황에서 적용가능하고, 클라인이 처음 아이디어를 떠올린 이후 100년
가까이 굉장히 광범위하게 사용되어온 것이 아닐까 싶다. 프랑스 수학자 엠마누엘 브뤼야르Emmanuel Breuillard는 기하학, 수론, 조합론 등을 군론의 시각에서 공부해온 학자인데 탁구보조정리를 여러 상황에서 많이 활용했다(가히 탁구전문가라고 할 만하다).
2012년 브뤼야르는 대부분의 선형군이 사실 자유군으로 거의 채워질 수 있다는 재밌는 결과를 발표했고, 올해 그 후속연구를 발표했다. 여기서도 탁구보조정리가 핵심 아이디어 중의 하나였던 것을 보면 탁구보조정리는 아직도 수학연구에서 아주 활발히 사용되고 있음을 알 수 있다. 참고로 탁구보조정리를 논문에서 정립했던 자크 티츠는 군론 분야에서의 탁월한 업적을 인정받아 2008년 수학분야의 노벨상이라고 불리는 아벨상을 수상했다.
이처럼 많은 수학 연구 속에서 자유군을 찾기 위한 여정은 현재 진행형이다. 공간의 비밀을 풀기 위한 수학자들은 오늘도 자유를 꿈꾼다.
