군은 모든 곳에 있다

수학적 대상 X가 주어져 있다고 하자. 여기서 X는 기하학적 공간이나 미분방정식일 수도 있고 복잡한 대수적 구조일 수도 있다. 이러한 대상 X를 이해하기 위하여 우리는 무엇을 할 수 있을까? 어떤 경우에는 X를 잘게 쪼개어 각각을 바라볼 수도 있겠지만, 그러한 과정을 통하여 X 전체에 대한 우리의 이해가 반드시 깊어지는 것은 아니다.

이때 수학자들이 하는 일은 X의 대칭성을 바라보는 것이다. 여기서 대칭성이란 X의 구조를 보존하면서 X를 움직여서 그 자신과 겹치게 해 주는 방법이다. 간단한 경우로, X가 아래와 같은 눈송이라고 하자.

이때 그 전체 모양을 보존하면서 눈송이를  그 자신 위에 겹치게 하는 방법들은 어떤 것이 있을까. 눈송이를 60도씩 회전시켜 볼 수도 있고, 또한 거울 상처럼 뒤집어 볼 수도 있을 것이다. 실제로 이는 정육각형의 대칭성과 같다.

 

이러한 대칭성을 쉽고 빠짐없이 세는 방법이 있다. 정육각형을 [그림1]처럼 12개의 작은 삼각형으로 나누어 놓고, 빨간 작은 삼각형이 어디로 가는지를 보는 것이다. 예를 들자면, 빨간 작은 삼각형이 노란 작은 삼각형으로 가도록 하는 대칭성은 정확하게 한 개가 있다. 따라서 눈송이의 경우 그 대칭성의 개수는 작은 삼각형의 개수와 같은 12개가 된다.

이렇게 수학적 대상 X의 대칭성을 모두 모아 얻어지는 집합을 우리는 자가동형사상군automorphism group이라 부르고 Aut(X)로 표기한다. 한편 대칭성 둘을 적용하면 또 다른 대칭성을 얻고, 또한 모든 대칭성은 그 반대 과정 즉 역원inverse을 가진다. 합성과 역원의 개념을 통하여 Aut(X)는 아름다운 수학적인 구조를 가지게 되는데, 이러한 구조를 수학에서는 군group이라 부른다. 즉 모든 수학적인 구조 X는 어떤 군 Aut(X) 에 대응된다!

 

시각적으로 바라본 군

20세기의 위대한 기하학자인 윌리엄 서스턴William P. Thurston, 1946-2012은 <Proof and progress>라는 에세이에서 수학적 사고의 가장 중요한 방법론으로 기하학적인 방법, 즉 시각visual 및 공간spatial, 운동kinesthetic감각을 제시하였다. 그러한 감각을 담당하는 인간의 대뇌 피질은 방대한 정보를 빠르고 엄밀하게 처리할 수 있기 때문이다.

 

위에서 언급한 것처럼 군은 비단 기하학이 아닌 어떠한 수학적인 구조를 다루더라도 마주칠 수 있다. 이러한 군 역시 기하학적, 즉 시각적인 방법으로 바라볼 수 있는데, 이는 20세기 막스 덴Max Dehn, 1878–1952을 필두로 한 3차원 공간론의 발전과 깊은 연관이 있다. 특히 1980년대에 들어 이러한 발전이 미카일 그로모프Mikhail L.  Gromov, 1943–에 의하여 기하군론이라는 독립된 분야로 자리 잡게 된다.

군은 추상적인 수학적 대상이기에 여기에 (미적분에 기반한) 미분기하학을 적용할 수는 없다. 하지만 그로모프를 포함한 기하군론 연구자들은 3차원 공간론과 미분기하학의 핵심 아이디어를 군의 이해에 엄청나게 성공적으로 적용하였다. 비유하자면, 무기가 허용되지 않는 성안에서 용과 싸워야 했는데, 검이 없이도 검술의 최고수가 결국 승리하였다는 이야기이다.

 

 

다가갈 수 없는 곳에 경계라는 이름을 붙이다

그로모프가 기하군론에 적용한 미분기하학의 아이디어 중 하나는 그로모프 경계라는 개념이다. 빛의 경로, 즉 측지선geodesic이 존재하는 공간 M에 대하여 그 그로모프 경계 ∂M는 고정된 점에서 출발하는 모든 측지 반직선geodesic ray들의 집합으로 정의된다. (단 평행선의 예처럼 두 측지 반직선이 유한한 거리를 두고 진행하는 경우 그 두 측지 반직선은 ∂M 에서 같은 것으로 간주한다.) 이때, M U ∂M은 옹골찬compact집합이 되어 고정점 이론 등 함수해석의 방법론을 적용하기에 유리하여 진다.

 

예를 들어 M이 수직선 ℝ이라고 하자[그림2]. 이때 원점 O에서 출발하는 측지 반직선은 왼쪽으로 진행하거나(a) 왼쪽으로 진행하게 되어(b) 우리는 ∂ℝ이 두 개의 원소를 가지게 됨을 알 수 있다.

 

이는 음의 무한대를 a로, 양의 무한대를 b로 간주하는 것이고, 자연스럽게  

ℝ U ∂ℝ = (-∞,∞) U {-∞,∞}

는 [0,1] 과 수학적으로 (정확하게는 위상수학적으로) 동일하게 된다. 비슷한 논리를 적용하면 n차원 유클리드 공간 ℝn의 경계는 n-1차원 구면임을 알 수 있다.

논의를 요약하면, 군이란 임의로 주어진 수학적 대상의 대칭성이다. 한편 이러한 군을 연구하는 데에는 미분기하학의 아이디어, 특히 그로모프 경계가 효과적으로 이용될 수 있다. 그렇다면 자연스럽게 다음의 질문을 얻게 된다.

 

군의 경계는 어떻게 생겼을까?

이 질문을 들여다 보기 위하여서는 먼저 칸토르 집합Cantor set에 대한 이해가 필요하다. 이 집합 C는 다음 작업을 단계적으로 적용하여 얻어진다:

(i) X0는 단위 구간 [0,1] 한 개로 구성된 집합이다.

(ii) n단계에서 유한한 닫힌 구간들의 집합 Xn= {I1, I2, …}을 얻었다면 각 구간 IJ에서 가운데 1/3을 지워 닫힌 구간들의 집합 Xn+1을 얻는다.

 

이때 칸토르 집합은 모든 Xn들의 교집합으로 정의된다. 즉, 아래 그림에서 붉게 칠한 부분을 모두 제외한 영역이 칸토르 집합 C = \({ \cap }_{ n=1 }^{ \infty }\)Xn인 것이다.

이를 2차원으로 확장한 것이 시어핀스키 카펫Sierpinski carpet이다. 즉 아래 그림에서, 정사각형을 동일한 9개의 작은 정사각형으로 나누고 (a), 각 면과 닿아있거나 중심이 있는 작은 정사각형을 지운 후에 (b) 동일한 작업을 남아 있는 정사각형에 무한히 반복하는 것이다 (c).

같은 작업을 3차원으로 확장한 것이 멩거 스펀지Menger sponge이고, 또한 이는 고차원에서 멩거 컴팩텀Menger compactum이라 하는 대상에 해당한다. 칸토르 집합, 시어핀스키 카펫, 멩거 스펀지 등은 위상차원topological dimension이 1인 대표적인 공간이다.

 

다시 칸토르 집합 C로 돌아와서, n단계에서 지워지는 수를 알아보자. 먼저 1단계에서 지워지는 수는 열린구간 (1/3,2/3)의 원소이며, 이는 3진수 전개에서 소수점 밑 첫째 자리에 1이 등장한다. 마찬가지로 n단계에서 처음 지워지는 수는 반드시 3진수 전개의 소수점 밑 n째 자리에 처음 1이 등장한다. 따라서 칸토르 집합 C는 0과 2만을 이용하여 3진수 전개가 가능한 실수들로 이루어져 있음을 알 수 있다.

아래 그림과 같은 이진 뿌리 수형도rooted binary tree로 주어진 공간 T를 생각해보자. 이때 임의의 0과 1로 이루어진 무한 수열은 최상단의 꼭짓점에서 출발하는 측지반직선을 하나 결정한다. 즉, 예를 들어

0101101…

은 그림의 굵은 측지반직선을 결정하고 있다. 이러한 수열의 각 자리에 2를 곱하면 칸토르 집합C 에 있는 수의 3진 전개

0.0202202…

를 얻게 된다. 다시 말하여, 이진 뿌리 수형도 T의 경계 ∂T 은 칸토르 집합이다! [그림5]

또한 옹골집합 T U ∂T 은 수상돌기dendrite라 불리는 공간으로 이해할 수 있다.

 

쌍곡군hyperbolic group은 그로모프의 기하군론적 아이디어가 잘 적용되는 대표적인 예이다 (HORIZON 2018년 12월호 참조). 이 글에서 쌍곡군의 구체적인 정의는 중요하지 않으며, 다만 군을 확률변수로 간주하면 확률 1로 쌍곡군이 된다는 사실만을 서술하려 한다. 이렇게 일반적으로 자주 등장하는 쌍곡군 G을 기하적인 대상으로 간주하면 그 경계 ∂G은 G에 대한 많은 대수적, 기하적 정보를 담게 된다.

많은 정보를 담고 있는 만큼 군의 경계를 기술하는 문제는 기하군론 분야에서 큰 도전이 된다. 수리 언어학에서 자주 등장하는 자유군 F는 이진 수형도와 기하학적 성질이 거의 갖고 따라서 ∂F는 칸토르 집합이 된다. 자유군 F와 정수 집합 ℤ의 반직접곱semidirect product인 F \(\rtimes \) ℤ로 쓰이는 쌍곡군의 경계는 멩거 곡선이 됨이 알려져 있다. 또한 음의 곡률을 가지면서 경계가 없는 n차원 옹골 다양체의 대칭성(정확하게는 기본군fundamental group을 의미한다)은 n-1차원 구면을 경계로 가진다. 한편, 음의 곡률을 가지면서 경계가 있는 3차원 옹골 다양체의 기본군의 경계는 시어핀스키 카펫이 된다.

 

역으로 경계로부터 얼마만큼 군의 구조를 복원할 수 있는지는 기하군론의 최대 난제 중 하나이다. 1차원의 경우, 데이비드 가바이David Gabai와 앤드류 캐슨Andrew Casson—더글라스 융라이스Douglas Jungreis는 먼저 ∂G가 원이라면 G가 실질적으로 곡면surface의 기본군이라는 오래된 추측을 해결하였다. 또한 카포비치와 클라이너는 ∂G가 연결된 1차원 공간이 되는 경우는 원, 시어핀스키 카펫, 멩거 곡선뿐이라는 발견을 하였다.

군이 가질 수 있는 2차원 이상의 경계에 대하여서 아직 인류의 이해는 턱없이 부족하다. 예를 들어, 2차원 이상의 멩거 컴팩텀을 경계로 가지는 군이 존재하는가? 만일 쌍곡군 G의 경계가 평면에 포함되는 경우는, G가 실질적으로 3차원 다양체의 기본군일 때 뿐인가? (평면화 추측)  특히 이 평면화 추측은 ∂G가 2차원 구면(캐논의 추측)이나 시어핀스키 카펫(카포비치—클라이너 추측)일 때조차 미제로 남아 있는데, 많은 수학자들은 3차원 공간의 대칭성에 대한 매우 깊이 있는 이해를 통해서만 이러한 문제들을 해결할 수 있을 것으로 예상한다.

김상현
고등과학원 수학부 교수