경계에서 바라본 군

군은 모든 곳에 있다

수학적 대상 X가 주어져 있다고 하자. 여기서 X는 기하학적 공간이나 미분방정식일 수도 있고 복잡한 대수적 구조일 수도 있다. 이러한 대상 X를 이해하기 위하여 우리는 무엇을 할 수 있을까? 어떤 경우에는 X를 잘게 쪼개어 각각을 바라볼 수도 있겠지만, 그러한 과정을 통하여 X 전체에 대한 우리의 이해가 반드시 깊어지는 것은 아니다.

이때 수학자들이 하는 일은 X의 대칭성을 바라보는 것이다. 여기서 대칭성이란 X의 구조를 보존하면서 X를 움직여서 그 자신과 겹치게 해 주는 방법이다. 간단한 경우로, X가 아래와 같은 눈송이라고 하자.

이때 그 전체 모양을 보존하면서 눈송이를  그 자신 위에 겹치게 하는 방법들은 어떤 것이 있을까. 눈송이를 60도씩 회전시켜 볼 수도 있고, 또한 거울 상처럼 뒤집어 볼 수도 있을 것이다. 실제로 이는 정육각형의 대칭성과 같다.

이러한 대칭성을 쉽고 빠짐없이 세는 방법이 있다. 정육각형을 [그림1]처럼 12개의 작은 삼각형으로 나누어 놓고, 빨간 작은 삼각형이 어디로 가는지를 보는 것이다. 예를 들자면, 빨간 작은 삼각형이 노란 작은 삼각형으로 가도록 하는 대칭성은 정확하게 한 개가 있다. 따라서 눈송이의 경우 그 대칭성의 개수는 작은 삼각형의 개수와 같은 12개가 된다.

이렇게 수학적 대상 X의 대칭성을 모두 모아 얻어지는 집합을 우리는 자가동형사상군^{automorphism group}이라 부르고 Aut(X)로 표기한다. 한편 대칭성 둘을 적용하면 또 다른 대칭성을 얻고, 또한 모든 대칭성은 그 반대 과정 즉 역원^inverse을 가진다. 합성과 역원의 개념을 통하여 Aut(X)는 아름다운 수학적인 구조를 가지게 되는데, 이러한 구조를 수학에서는 군^group이라 부른다. 즉 모든 수학적인 구조 X는 어떤 군 Aut(X) 에 대응된다!

시각적으로 바라본 군

20세기의 위대한 기하학자인 윌리엄 서스턴^{William P. Thurston, 1946-2012}은 <Proof and progress>라는 에세이에서 수학적 사고의 가장 중요한 방법론으로 기하학적인 방법, 즉 시각^visual 및 공간^spatial, 운동^kinesthetic감각을 제시하였다. 그러한 감각을 담당하는 인간의 대뇌 피질은 방대한 정보를 빠르고 엄밀하게 처리할 수 있기 때문이다.

다가갈 수 없는 곳에 경계라는 이름을 붙이다

그로모프가 기하군론에 적용한 미분기하학의 아이디어 중 하나는 그로모프 경계라는 개념이다. 빛의 경로, 즉 측지선^geodesic이 존재하는 공간 M에 대하여 그 그로모프 경계 ∂M는 고정된 점에서 출발하는 모든 측지 반직선^{geodesic ray}들의 집합으로 정의된다. (단 평행선의 예처럼 두 측지 반직선이 유한한 거리를 두고 진행하는 경우 그 두 측지 반직선은 ∂M 에서 같은 것으로 간주한다.) 이때, M U ∂M은 옹골찬^compact집합이 되어 고정점 이론 등 함수해석의 방법론을 적용하기에 유리하여 진다.

예를 들어 M이 수직선 ℝ이라고 하자[그림2]. 이때 원점 O에서 출발하는 측지 반직선은 왼쪽으로 진행하거나(a) 왼쪽으로 진행하게 되어(b) 우리는 ∂ℝ이 두 개의 원소를 가지게 됨을 알 수 있다.

이는 음의 무한대를 a로, 양의 무한대를 b로 간주하는 것이고, 자연스럽게  

ℝ U ∂ℝ = (-∞,∞) U {-∞,∞}

는 [0,1] 과 수학적으로 (정확하게는 위상수학적으로) 동일하게 된다. 비슷한 논리를 적용하면 n차원 유클리드 공간 ℝⁿ의 경계는 n-1차원 구면임을 알 수 있다.

논의를 요약하면, 군이란 임의로 주어진 수학적 대상의 대칭성이다. 한편 이러한 군을 연구하는 데에는 미분기하학의 아이디어, 특히 그로모프 경계가 효과적으로 이용될 수 있다. 그렇다면 자연스럽게 다음의 질문을 얻게 된다.

군의 경계는 어떻게 생겼을까?

이 질문을 들여다 보기 위하여서는 먼저 칸토르 집합^{Cantor set}에 대한 이해가 필요하다. 이 집합 C는 다음 작업을 단계적으로 적용하여 얻어진다:

(i) X₀는 단위 구간 [0,1] 한 개로 구성된 집합이다.

(ii) n단계에서 유한한 닫힌 구간들의 집합 X_n= {I₁, I₂, …}을 얻었다면 각 구간 I_J에서 가운데 1/3을 지워 닫힌 구간들의 집합 X_n+1을 얻는다.

이때 칸토르 집합은 모든 X_n들의 교집합으로 정의된다. 즉, 아래 그림에서 붉게 칠한 부분을 모두 제외한 영역이 칸토르 집합 C = \({ \cap }_{ n=1 }^{ \infty }\)X_n인 것이다.

이를 2차원으로 확장한 것이 시어핀스키 카펫^{Sierpinski carpet}이다. 즉 아래 그림에서, 정사각형을 동일한 9개의 작은 정사각형으로 나누고 (a), 각 면과 닿아있거나 중심이 있는 작은 정사각형을 지운 후에 (b) 동일한 작업을 남아 있는 정사각형에 무한히 반복하는 것이다 (c).

같은 작업을 3차원으로 확장한 것이 멩거 스펀지^{Menger sponge}이고, 또한 이는 고차원에서 멩거 컴팩텀^{Menger compactum}이라 하는 대상에 해당한다. 칸토르 집합, 시어핀스키 카펫, 멩거 스펀지 등은 위상차원^{topological dimension}이 1인 대표적인 공간이다.

다시 칸토르 집합 C로 돌아와서, n단계에서 지워지는 수를 알아보자. 먼저 1단계에서 지워지는 수는 열린구간 (1/3,2/3)의 원소이며, 이는 3진수 전개에서 소수점 밑 첫째 자리에 1이 등장한다. 마찬가지로 n단계에서 처음 지워지는 수는 반드시 3진수 전개의 소수점 밑 n째 자리에 처음 1이 등장한다. 따라서 칸토르 집합 C는 0과 2만을 이용하여 3진수 전개가 가능한 실수들로 이루어져 있음을 알 수 있다.

아래 그림과 같은 이진 뿌리 수형도^{rooted binary tree}로 주어진 공간 T를 생각해보자. 이때 임의의 0과 1로 이루어진 무한 수열은 최상단의 꼭짓점에서 출발하는 측지반직선을 하나 결정한다. 즉, 예를 들어

0101101…

은 그림의 굵은 측지반직선을 결정하고 있다. 이러한 수열의 각 자리에 2를 곱하면 칸토르 집합C 에 있는 수의 3진 전개

0.0202202…

를 얻게 된다. 다시 말하여, 이진 뿌리 수형도 T의 경계 ∂T 은 칸토르 집합이다! [그림5]

또한 옹골집합 T U ∂T 은 수상돌기^dendrite라 불리는 공간으로 이해할 수 있다.

쌍곡군^{hyperbolic group}은 그로모프의 기하군론적 아이디어가 잘 적용되는 대표적인 예이다 (HORIZON 2018년 12월호 참조). 이 글에서 쌍곡군의 구체적인 정의는 중요하지 않으며, 다만 군을 확률변수로 간주하면 확률 1로 쌍곡군이 된다는 사실만을 서술하려 한다. 이렇게 일반적으로 자주 등장하는 쌍곡군 G을 기하적인 대상으로 간주하면 그 경계 ∂G은 G에 대한 많은 대수적, 기하적 정보를 담게 된다.

많은 정보를 담고 있는 만큼 군의 경계를 기술하는 문제는 기하군론 분야에서 큰 도전이 된다. 수리 언어학에서 자주 등장하는 자유군 F는 이진 수형도와 기하학적 성질이 거의 갖고 따라서 ∂F는 칸토르 집합이 된다. 자유군 F와 정수 집합 ℤ의 반직접곱^{semidirect product}인 F \(\rtimes \) ℤ로 쓰이는 쌍곡군의 경계는 멩거 곡선이 됨이 알려져 있다. 또한 음의 곡률을 가지면서 경계가 없는 n차원 옹골 다양체의 대칭성(정확하게는 기본군^{fundamental group}을 의미한다)은 n-1차원 구면을 경계로 가진다. 한편, 음의 곡률을 가지면서 경계가 있는 3차원 옹골 다양체의 기본군의 경계는 시어핀스키 카펫이 된다.

역으로 경계로부터 얼마만큼 군의 구조를 복원할 수 있는지는 기하군론의 최대 난제 중 하나이다. 1차원의 경우, 데이비드 가바이^{David Gabai}와 앤드류 캐슨^{Andrew Casson}—더글라스 융라이스^{Douglas Jungreis}는 먼저 ∂G가 원이라면 G가 실질적으로 곡면^surface의 기본군이라는 오래된 추측을 해결하였다. 또한 카포비치와 클라이너는 ∂G가 연결된 1차원 공간이 되는 경우는 원, 시어핀스키 카펫, 멩거 곡선뿐이라는 발견을 하였다.

군이 가질 수 있는 2차원 이상의 경계에 대하여서 아직 인류의 이해는 턱없이 부족하다. 예를 들어, 2차원 이상의 멩거 컴팩텀을 경계로 가지는 군이 존재하는가? 만일 쌍곡군 G의 경계가 평면에 포함되는 경우는, G가 실질적으로 3차원 다양체의 기본군일 때 뿐인가? (평면화 추측)  특히 이 평면화 추측은 ∂G가 2차원 구면(캐논의 추측)이나 시어핀스키 카펫(카포비치—클라이너 추측)일 때조차 미제로 남아 있는데, 많은 수학자들은 3차원 공간의 대칭성에 대한 매우 깊이 있는 이해를 통해서만 이러한 문제들을 해결할 수 있을 것으로 예상한다.