지난 연재에서 우리는 3차원 쌍곡공간을 어떻게 상상할 수 있는지와 더불어 변형과 강직성에 대한 기본적인 논의를 다루었습니다. 잠시 이를 상기해보자면, 3차원 쌍곡대칭공간 \(\mathbb{H}\)위에서의 움직임 \(\{a_1, \cdots a_n\}\)을 생각하고, 이에 대한 기본영역을 얻은 후 이를 움직임 \(a_1, \cdots, a_n\) 으로 이어붙이는 작업을 통해 3차원 쌍곡공간을 얻을 수 있었습니다.
  본 편에서는 `클라인 군’이라는 개념을 소개함으로써, 움직임을 통해 3차원 쌍곡공간을 얻는 과정을 수학적으로 조금 더 깊이 살펴보고, 모스토우 강직성 정리의 증명을 개략적으로 소개하고자 합니다. 이 과정에서 강직성을 얻는다는 것이 어떤 의의를 가지는지, 그리고 왜 3차원 쌍곡공간에서 일어날 수 있는 현상인지 이해해보고자 합니다.

클라인 군 . 대칭공간 \(\mathbb{H}\) 위의 모든 움직임들을 한데 모아놓아 보면, 어떠한 구조가 나타나는데요, 바로 최근 백형렬 교수님께서 기고하신 Horizon “자유를 원한다면 탁구를 쳐라“에서도 다루어진 ‘군’이라는 대수적 구조입니다. 대칭공간 \(\mathbb{H}\) 위의 모든 움직임을 모아놓은 집합을 \(G\)라고 표기합시다. \(G\)의 두 원소, 즉 \(\mathbb{H}\) 위의 두 움직임 \(a, b \in G\)가 주어져있을 때, \(b\)와 \(a\)를 차례로 적용하는 새로운 움직임 \(a \circ b\)를 생각할 수 있습니다. 이처럼 주어진 움직임을 차례로 적용하는 것을 움직임의 집합 \(G\)에서의 `연산’으로 생각할 수 있는데요, 이 연산은 `군’ 이라고 불리는 대수적 구조를 줍니다. \(G\)가 연산 \(\circ\)에 대해 군 구조를 갖는 다는 것은 아래의 사실을 뜻합니다.

  1. (1) 아무것도 움직이지 않는 움직임 \(e \in G\)을 생각할 수 있습니다.
  2. (2) 움직임 \(a \in G\)에 대해, \(a\)를 거꾸로 수행하는 움직임, 즉 역 움직임 \(a^{-1} \in G\)를 생각할 수 있습니다. 이는 \(a \circ a^{-1} = a^{-1} \circ a = e\), 즉 \(a\)와 \(a^{-1}\)를 차례로 수행하고 나면 아무것도 움직여있지 않는다는 것을 뜻합니다. 예를 들어, 오른쪽으로 1만큼 움직이는 것의 역 움직임은 왼쪽으로 1만큼 움직이는 것입니다.

 앞서 우리는 주어진 움직임 \(a_1, \cdots, a_n \in G\)에 대해, \(\mathbb{H}\)위의 점들 중 움직임 \(a_1, \cdots, a_n\) 그리고 역 움직임 \(a_1^{-1}, \cdots, a_n^{-1}\)을 반복 적용하여 얻어지는 점을 같은 점으로 취급함으로써 3차원 쌍곡공간 \(M\)을 얻었습니다. 어딘가 군의 구조와 비슷한 느낌이 들지 않나요? 주어진 움직임과 역 움직임을 반복 적용하는 것은, \(a_1, \cdots, a_n\)과 역 움직임 \(a_1^{-1}, \cdots, a_n^{-1}\)들에 연산을 반복하여 얻을 수 있는 모든 움직임들을 생각하는 것과 같습니다. 이렇게 얻어지는 움직임들을 모아보면 \(G\)의 어떠한 부분군, 즉 군의 구조를 갖는 \(G\)의 부분집합이 되는데요. 이를 \(a_1, \cdots a_n\)으로 생성되는 부분군이라고 합니다. 수학적으로 표기한다면, \(a_1, \cdots, a_n\)에 의해 생성되는 부분군 \(\Gamma\)는 아래와 같습니다.

             \(\Gamma = \{ g_1 \circ \cdots \circ g_k : g_i \in \{a_1, \cdots, a_n, a_1^{-1}, \cdots, a_n^{-1}\}, k \ge 0\}\)

대칭공간 위의 각 점 \(x \in \mathbb{H}\)에 대해, \(x\)의 \(\Gamma\)-궤적 \(\Gamma (x)= \{ \gamma(x) : \gamma \in \Gamma\}\)는 \(\mathbb{H}\)의 부분집합입니다. 이를 이용하면, 움직임 \(\{a_1, \cdots a_n\}\)으로부터 쌍곡공간 \(M\)을 얻어낸 과정을 각 점 \(x \in \mathbb{H}\)에 대해 \(\mathbb{H}\)의 부분집합 \(\Gamma (x)\)를 `하나의 점’으로 취급하는 것으로 간단히 기술할 수 있습니다. 수학적으로는 아래와 같이 표기합니다.

                                          \(M=\Gamma \backslash \mathbb{H}= \left\{\Gamma \left ( x \right ):x\in \mathbb{H} \right\}.\)

  위에서와 같이, 움직임으로부터 쌍곡공간을 얻어내는 과정은 움직임을 모아놓은 군 \(G\)의 부분군을 생각함으로써 명료히 기술될 수 있습니다. 그러나 \(G\)의 모든 부분군이 3차원 쌍곡 공간을 생성해낼 수 있는 것은 아닙니다.

Definition 1. 군 \(G\)의 부분군 \(\Gamma\)가 3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)를 만들어낼 때, \(\Gamma\)를 클라인 군 이라고 합니다.

  그렇다면 어떤 부분군이 쌍곡공간을 만들어내어 클라인 군이 되고, 어떤 부분군이 그렇지 않을까요? 부분군 \(\Gamma\)가 클라인 군이라는 것이 어떠한 상황인지 조금 더 자세히 살펴보도록 하겠습니다. 지난 연재에서 살펴보았듯이, 대칭공간으로부터 쌍곡공간을 얻을 때, 혹은 더 간단히 평면으로부터 도넛면을 얻을 때, `기본 영역’이라고 하는 것을 상상하였습니다. 이는 주어진 움직임들에 의해 결졍되는 일종의 `조각’ 같은 것으로, 움직임들을 반복 적용하여 얻어지는 점들을 같은 점으로 취급하는 과정이 곧 기본영역의 각 경계를 잘 이어붙여 공간을 만들어내는 과정이 되었었는데요. 즉 주어진 움직임들에 대해 `기본 영역’이라는 것이 잘 존재하기만 한다면, 그 이후엔 기본영역의 경계를 잘 붙여 공간을 만들어낼 수 있습니다. 즉 주어진 부분군이 클라인 군인지 아닌지는, 기본영역이 있는지 없는지에 의해 결정됩니다.
  기본영역을 조금 더 자세히 상기해보면, 이는 일종의 `타일링’ 같은 것입니다. 기본 영역을 주어진 움직임들로 이리저리 움직이다보면 공간을 가득 채우게 되고, 또 타일들은 서로 겹치지 않고, 정확히 경계에서만 만나게 되지요. 따라서 주어진 부분군 \(\Gamma\)에 대해 이러한 기본영역 \(S\)가 있다는 것은 곧 대칭공간에서 어떤 조각 \(S\)를 잘 골라, 이를 \(\Gamma\)로 이리저리 움직이다보면 대칭공간 전체를 채우게 되고, 또 \(S\)와 이를 움직인 것 \(\gamma (S)\)이 만나지 않거나 혹은 정확히 경계에서만 만나게된다는 것을 의미합니다. 대칭공간 전체를 가득 채우는 것은 단지 조각 \(S\)를 크게 고르면 해결되는 부분이지만, 또 너무 크게 골라버리면 조각들이 겹쳐러비게 될 수 있습니다. 따라서 대칭공간을 채울 수 있을 정도로 크게 조각을 택하면서도, 조각들끼리 겹치지 않을 정도로만 크게 택할 수 있어야 합니다. 이는 곧 주어진 부분군 \(\Gamma\)에 대해, 궤적 \(\Gamma(x)\)가 대칭공간 상에 잘 퍼져있음을 의미합니다.

  즉, 대칭공간 상의 한 점 \(x \in \mathbb{H}\)을 고정하고, 이 점의 궤적 \(\{\gamma(x) : \gamma \in \Gamma\}\)을 보았을 때, 점들 사이의 거리가 어느정도 이상의 간격을 두고 떨어져 있다면, 우리는 \(x\)를 중심으로 타일조각 \(S\)를 잘 골라 타일링을 완성할 수 있어 기본영역을 얻을 수 있습니다. 반대로, 만일 궤적 위에 임의로 가까워지는 두 점이 있다고 해봅시다. 예를 들어, 임의의 자연수 \(n\)에 대해 \(\gamma_n \in \Gamma\)가 있어서 \(x\)와 \(\gamma_n(x)\) 사이의 거리가 \(1/n\) 보다 작다고 해 봅시다. 그러면 \(x\) 근방에 아무리 작은 조각 \(S\)를 가져오더라도, 충분히 큰 \(n\)에 대해 궤적 상의 점 \(\gamma_n(x)\)가 \(S\)에 들어가게 되는데요. 이는 곧 두 조각 \(S\), \(\gamma_n(S)\)가 겹친다는 것을 의미합니다. 따라서 부분군 \(\Gamma\)가 클라인 군이라는 것은, 대칭공간 상의 점 \(x\)를 \(\Gamma\)로 옮겼을 때, 옮겨진 점들이 대칭공간 상에 아주 잘 퍼져있음을 의미합니다.

클라인 군의 변형 . 본 연재의 주된 관심은 3차원 쌍곡공간의 변형과 강직성입니다. 지난 연재에서는 3차원 쌍곡공간의 변형을 정의함에 있어 움직임 \(\{a_1, \cdots, a_n\}\)을 \(\{a_1′, \cdots, a_n’\}\)으로 대체하는 것이 움직임 간의 역할을 보존한다는, 다소 모호한 이야기를 하였습니다. 이를 클라인 군의 언어로 보다 명료하게 기술할 수 있습니다. 두 클라인 군 \(\Gamma, \Gamma’\)에 대해 군의 구조를 보존하는 전단사함수 \(\rho : \Gamma \to \Gamma’\)가 존재할 때 \(\Gamma’\)을 \(\Gamma\)의 변형이라고 합니다. 여기에서 군의 구조를 보존한다는 것은, 연간 \(\circ\)가 \(\rho\)에 의해서 보존된다는 것을 의미하며, 즉 임의의 \(\gamma _{1},\gamma_{2} \in \Gamma\) 에 대해 아래의 등식이 성립함을 의미합니다.
                                                   \(\rho(\gamma_1 \circ \gamma_2) = \rho(\gamma_1) \circ \rho(\gamma_2)\)

우리는 이러한 \(\rho\)를 간단히 `변형’이라고 합시다. 이제 모스토우 강직성 정리는 아래와 같이 다시 기술될 수 있습니다.

Theorem(모스토우 강직성 정리 [2]). 클라인 군 \(\Gamma\)에 대해 3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)가 유한한 부피를 갖는다고 하자. \(\Gamma\)를 변형하여 얻어낸 클라인 군 \(\Gamma’\)에 대해, 3차원 쌍곡공간 \(\Gamma’ \backslash \mathbb{H}\)는 \(\Gamma \backslash \mathbb{H}\)와 동일한 기하 구조를 갖는다.

모스토우 강직성 정리의 증명 . 모스토우 강직성 정리의 증명은 클라인 군의 변형과 강직성을 바라보는 색다른 관점을 제시해 주는데요, 이는 역사적으로도 중요한 시발점이 됩니다. 아주 대략적으로나마 모스토우 강직성 정리의 증명을 살펴봄으로써 클라인 군의 변형과 강직성을 어떻게 이해할 수 있는지, 그 의의를 다루어 보도록 하겠습니다.

  과정 1: 경계사상. 지난 연재에서 묘사되었듯이, 3차원 쌍곡대칭공간 \(\mathbb{H}\)는 속이 꽉 찬 3차원 공에 쌍곡기하구조가 주어진 공간입니다. 대칭공간 \(\mathbb{H}\)가 속이 꽉 찬 공의 형태를 갖기에, \(\mathbb{H}\)의 경계, 즉 \(\mathbb{H}\)의 껍질과도 같은 부분은 2차원 구면의 형태를 가지고 있습니다. 동그란 물풍선이 풍선을 경계로 갖거나, 혹은 계란의 껍질이 구면의 형태를 갖는 것 처럼 말입니다. 이처럼 2차원 구면의 형태를 갖는, 대칭공간 \(\mathbb{H}\)의 경계를 \(\mathbb{S}^2\)라고 표기합시다. 지난 연재에서 묘사되었듯이, 비록 \(\mathbb{H}\)는 속이 찬 3차원 공의 형태를 갖지만, 여기에 주어진 쌍곡기하구조는 공의 경계쪽으로 갈수록 무한대의 영역에 가까워지며, 따라서 \(\mathbb{S}^2\)는 대칭공간 \(\mathbb{H}\)의 무한대의 영역으로 간주될 수 있습니다.

  이제 \(\Gamma\)를 클라인 군이라고 하고, 3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)가 유한한 부피를 갖는다고 합시다. 그리고 어떤 변형 \(\rho : \Gamma \to \Gamma’\)를 통해 클라인 군 \(\Gamma’\)을 얻었다고 합시다. 모스토우는 이 상황에서, \(\mathbb{S}^2\)에 아주 특별한 일이 벌어진다는 것을 관찰하였는데요. 바로, 변형 \(\rho : \Gamma \to \Gamma’\)가 대칭공간의 경계 \(\mathbb{S}^2\)에서 특별한 성질을 갖는 사상 \(f: \mathbb{S}^2 \to \mathbb{S}^2\)를 유도한다는 것입니다. 이렇게 얻어진 사상 \(f\)를 경계사상이라고 합니다.
  어떤 특별한 일이 벌어지는지 살펴보기에 앞서서, 변형이 사상을 유도하는 것이 어떠한 의미를 갖는지 먼저 살펴보겠습니다. 보다 친숙한 상황을 비유로 들어 경계사상이 어떠한 직관으로 상상할 수 있는 개념인지 묘사해보도록 하겠습니다. 나무 두 그루가 있습니다. 이 나무들은 너무나도 착한 나무라, 사과, 배, 수박, 오렌지 등 온갖 종류의 과일이 열립니다. 배가 고픈 두 원숭이가 각자 각 나무를 오르려고 합니다. 이들의 이름을 김원숭이와 동원숭이라고 해봅시다. 나무를 오르다 보면, 여러 나뭇가지들 중 어느 가지를 타고 올라갈지 선택해야할 순간들이 찾아올 것입니다. 동원숭이는 김원숭이의 말을 잘 듣는 나머지, 매 선택의 기로에서 김원숭이가 지시하는 대로 선택을 하여 움직입니다 (물론 김원숭이가 한 선택과 다른 선택을 지시할 수 있습니다). 그렇게 두 원숭이가 나무를 오르다 보면, 언젠가는 어떠한 과일에 도달하게 될 것입니다. 예를 들어, 김원숭이가 사과에 도착하면 동원숭이는 오렌지에 도착했을 수 있고, 또 김원숭이가 배에 도착하면 동원숭이는 수박에 도착할 수 있습니다. 자, 여기에서 김원숭이가 도착한 과일과 동원숭이가 도착한 과일은 과연 서로 독립적일까요? 그렇지 않습니다. 김원숭이가 지시하는대로 동원숭이가 움직였기 때문인데요. 그렇기에 동원숭이가 도착한 과일은, 김원숭이가 도착한 과일에 대한 모종의 `함수’ 혹은 `사상’이라고 할 수 있습니다.

  비슷한 일이 대칭공간 \(\mathbb{H}\)와 그 경계 \(\mathbb{S}^2\)에서도 일어납니다. 대칭공간 위의 한 점 \(o \in \mathbb{H}\)를 고정합시다. 경계 위의 점 \(x \in \mathbb{S}^2\)에 대해서, 클라인 군 \(\Gamma\)의 원소로 이루어진 수열 \(\gamma_n\)이 존재하여 \(\mathbb{H}\) 위의 수열 \(\gamma_n(o)\)가 \(x\)로 수렴합니다. 자, 이제 변형 \(\rho : \Gamma \to \Gamma’\)를 사용하여 이 수열들을 옮겨보지요. 즉, 우리는 클라인 군 \(\Gamma’\)의 원소로 이루어진 수열 \(\rho(\gamma_n)\)을 얻습니다. 이에 더불어 대칭공간 위의 수열 \(\rho(\gamma_n)(o)\)도 함께 얻습니다. 수열 \(\rho(\gamma_n)(o)\) 역시 가만히 있지는 않습니다. 이 수열 \(\rho(\gamma_n)(o)\)도 경계 \(\mathbb{S}^2\)위의 한 점으로 수렴할 것입니다. \(\rho(\gamma_n)(o)\)가 수렴하는 경계 위의 점을 \(y \in \mathbb{H}\)라고 해봅시다. 우리는 경계 위의 점 \(x \in \mathbb{S}^2\)에서 시작하여, \(\rho\)를 통해 새로운 점 \(y \in \mathbb{S}^2\)를 얻었습니다. 따라서 이러한 과정은 \(x\)를 \(y\)로 보내는 `사상’을 주게 됩니다. 즉, 이 과정을 경계 \(\mathbb{S}^2\)의 각 점에 적용함으로써 우리는 사상 \(f : \mathbb{S}^2 \to \mathbb{S}^2\)를 얻어 \(y = f(x)\)라고 할 수 있습니다. 위의 원숭이들 예시와 비교해보면, 경계 위의 점 \(x \in \mathbb{S}^2\)가 나무에 달린 과일, 수열 \(\gamma_n(o)\)는 김원숭이가 과일 \(x\)를 향해 가는 것, \(\rho\)는 김원숭이가 동원숭이에게 어디로 움직이라고 이야기하는 것, 수열 \(\rho(\gamma_n) (o)\)은 동원숭이가 김원숭이의 말을 듣고 이동하는 것, 그리고 \(f(x) = y\)는 동원숭이가 도착하는 과일에 비유될 수 있습니다.

  요약하자면, 경계사상 \(f : \mathbb{S}^2 \to \mathbb{S}^2\)는 클라인 군 간의 변형 \(\rho : \Gamma \to \Gamma’\)을 대칭공간의 경계까지 밀어붙여놓아 얻어진 사상입니다. 클라인 군의 원소 \(\gamma \in \Gamma\)에 대하여, 대칭공간 \(\mathbb{H}\)의 움직임으로서 \(\gamma\)는 대칭공간의 경계 \(\mathbb{S}^2\)에도 작용하는데요. 경계사상 \(f\)는 \(\gamma\)와 그 변형 \(\rho(\gamma)\)가, 경계 \(\mathbb{S}^2\)에서 얼마나 변형되어졌는지를 알려주는 역할을 합니다. 이를 수학적으로 조금 더 자세히 적어보자면, \(\rho(\gamma)\)가 경계 \(\mathbb{S}^2\)에 작용하는 것은 먼저 경계사상을 역으로 적용하여 \(\gamma\)가 작용할 수 있게 만들어준 뒤, \(\gamma\)를 작용하고, 다시 경계사상으로 되돌리는 것과 같다는 것을 뜻합니다. 이 과정을 도식으로 표현하자면 아래와 같습니다.

즉, 아래의 식이 성립함을 의미합니다.

                                                          \(\rho(\gamma) = f \circ \gamma \circ f^{-1}\)

  일반적인 클라인 군 \(\Gamma\)와 변형 \(\rho : \Gamma \to \Gamma’\)에 대해 위와같은 경계사상이 항상 존재하는 것은 아닙니다. 예를 들어, 우리는 경계사상 \(f\)를 만들어낸 위의 과정에서 아래의 두 가지 사실을 암묵적으로 사용하였습니다.

  1.    (1) 모든 점 \(x \in \mathbb{S}^2\)에 대해, 어떤 수열 \(\gamma_{n} \in \Gamma\)가 존재하여 \(\gamma_{n}\left ( o \right )\)가 \(x\)로 수렴하고,
  2.    (2) 위 (1)을 만족하는 어떠한 수열 \(\gamma_{n}\)을 선택하든지 간에, 수열 \(\rho\left(\gamma_{n}\right)\left ( o \right )\)는 \(x\)에만 의존하는 하나의 점 \(y=f(x)\)로 수렴한다.

위 두 사실은 임의의 클라인 군에 대해 성립하는 명제는 아닙니다만, 클라인 군 \(\Gamma\)에 대해 3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)가 유한한 부피를 가진다면 위의 과정을 통해 경계사상 \(f : \mathbb{S}^2 \to \mathbb{S}^2\)를 얻을 수 있습니다. 이와 같이 클라인 군의 변형 \(\rho : \Gamma \to \Gamma’\)에서 경계사상 \(f : \mathbb{S}^2 \to \mathbb{S}^2\)를 얻어내는 것은 모스토우 강직성 정리를 증명하는 중요한 첫 번째 단계입니다.

  과정 2: 너무 특별해져버린 경계사상. 모스토우는 3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)가 유한한 부피를 가질 때, 클라인 군의 변형 \(\rho : \Gamma \to \Gamma’\)가 갖는 경계사상 \(f : \mathbb{S}^2 \to \mathbb{S}^2\)가 특별한 성질을 갖는다는 것을 증명하였습니다. 이 특별한 성질은 바로, 경계사상 \(f\)가 `둥글함’을 너무나도 잘 보존해버려서, \(f\)가 사실은 \(\mathbb{S}^2\) 위의 모든 원을 원으로 보내고 있음을 보이는 것입니다. 이처럼 \(\mathbb{S}^2\)위의 모든 원을 원으로 보내는 사상 \(f\)를 등각사상conformal homeomorphism이라고 합니다.
  \(f\)가 위와 같이 등각사상임을 보이는 것은 모스토우 강직성 정리를 증명하는 마지막 단계입니다. \(f\)가 등각사상임을 보이면 왜 모스토우 강직성 정리의 증명이 완성되는 것일까요? 이는 사실 대칭공간 \(\mathbb{H}\) 위의 움직임 \(g \in G\)가 대칭공간의 경계 \(\mathbb{S}^2\)에 등각사상으로 작용하고, 역으로 \(\mathbb{S}^2\) 위의 임의의 등각사상은 사실 \(\mathbb{H}\)의 움직임, 즉 \(G\)의 원소가 경계 \(\mathbb{S}^2\)까지 확장된 형태로 얻어진다는 사실에 기인합니다. 이를 조금 더 자세히 묘사해보도록 하겠습니다. 지난 연재에서, 대칭공간 \(\mathbb{H}\) 에서의 `면’을 경계 \(\mathbb{S}^2\)에 수직한 반구로서 묘사하였습니다. 따라서 \(\mathbb{H}\) 위의 움직임 \(g \in G\)가 있을 때, \(g\)는 `면’을 `면’으로 보내야 하므로, \(\mathbb{S}^2\)에 수직한 반구를 \(\mathbb{S}^2\)에 수직한 반구로 보냅니다. 경계 \(\mathbb{S}^2\) 위에 원을 아무렇게나 그려보면, 항상 이 원을 경계로 하고, \(\mathbb{S}^2\)에 수직한 \(\mathbb{H}\) 내의 `면’을 찾을 수 있으므로, 위의 관찰로부터 \(g\)가 \(\mathbb{S}^2\)에 작용할 때 임의의 원은 원으로 보내짐을 확인할 수 있습니다. 즉, \(g\)는 \(\mathbb{S}^2\)에 등각사상으로서 작용합니다.


  역으로, \(\mathbb{S}^2\) 위에 등각사상 \(f : \mathbb{S}^2 \to \mathbb{S}^2\)가 주어진다면, \(\mathbb{H}\) 위의 어떤 움직임 \(g \in G\)를 찾아 \(g\)의 경계 \(\mathbb{S}^2\)에의 작용이 정확히 주어진 등각사상 \(f\)와 일치하도록 할 수 있는데요. 이를 푸앵카레 확장 정리Poincar\(\acute{e}\) extension theorem이라고 합니다. 이를 확인하기에는 자세한 수학적 논증이 필요하기에 본 연재에서는 생략하도록 하겠습니다.
  자 이제 클라인 군 \(\Gamma\)의 변형 \(\rho : \Gamma \to \Gamma’\)가 경계사상 \(f\)를 가지는데, 마침 이 경계사상 \(f\)가 등각사상이라고 합시다. 앞서 우리는 \(f\)가 경계사상이라는 것에서부터 모든 \(\gamma \in \Gamma\)에 대해 \(\rho \left ( \gamma \right )\)의 \(\mathbb{S}^2\)에의 작용을 아래와 같이 기술할 수 있었습니다. $$\rho(\gamma) = f \circ \gamma \circ f^{-1}.$$ 반면, \(f\)가 등각사상이라는 것으로부터, \(f\)가 사실은 \(\mathbb{H}\) 위의 어떤 움직임 \(g \in G\)로부터 얻어짐을 앞서 확인하였습니다. 따라서 우리는 모든 \(\gamma \in \Gamma\)에 대해 
(0.1) $$\rho(\gamma) = g \circ \gamma \circ g^{-1}$$ 을 얻습니다. 자, 이제 클라인 군으로부터 3차원 쌍곡공간을 얻는 과정을 다시 상기해 봅시다: $$\Gamma \backslash \mathbb{H}=\left\{ \Gamma \left ( x \right ):x \in \mathbb{H}\right\}$$ $$\Gamma’ \backslash \mathbb{H}=\left\{ \Gamma’ \left ( x \right ):x \in \mathbb{H}\right\}$$ \(\Gamma’ = \rho\left ( \Gamma \right )\) 이므로, 관계식 (0.1)에 의해, 우리는 변형된 3차원 쌍곡공간 \(\Gamma’ \backslash \mathbb{H}\)를 아래와 같이 다시 기술할 수 있습니다. $$\Gamma’ \backslash \mathbb{H} = \{ (g \circ \Gamma \circ g^{-1})(x) : x \in \mathbb{H} \} = g (\{ \Gamma (x) : x \in \mathbb{H}\}).$$ 그런데 맨 마지막에 어디서 많이 본듯한 것이 있지 않나요? 바로 \(\Gamma \backslash \mathbb{H}\)입니다! 즉, 변형된 3차원 쌍곡공간 \(\Gamma’ \backslash \mathbb{H}\)는, 단지 원래의 3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)를 \(\mathbb{H}\)의 움직임 \(g \in G\)로 움직인 것이 되어버렸습니다. \(g \in G\)는 \(\mathbb{H}\) 위의 움직임으로서, 기하구조를 그대로 보존해 줍니다. 따라서, 두 3차원 쌍곡공간 \(\Gamma’ \backslash \mathbb{H}\)와 \(\Gamma \backslash \mathbb{H}\)는 동일한 기하구조를 갖습니다! 따라서 경계사상 \(f\)가 등각사상임을 보이면, 모스토우 강직성 정리의 증명이 완성되게 되는 것입니다.
  3차원 쌍곡공간 \(\Gamma \backslash \mathbb{H}\)가 유한 부피를 가질 때 경계사상 \(f\)가 등각사상임을 보이는 모스토우의 증명은 측지선 흐름geodesic flow가 에르고딕성을 갖는다는, 동역학적인 방법론에 기반하여 이루어지는데요. 측지선 흐름과 에르고딕성에 대한 자세한 이야기는 고계원 교수님께서 Horizon에 기고하신 “동역학계의 섞임 성질” 또는 임선희 교수님께서 Horizon에 기고하신 “2020년 아벨상 수상자 그레고리 마굴리스”를 참고하시면 좋을 것 같습니다. 3차원 쌍곡공간의 변형에서 시작하여 경계사상의 존재성과 그 성질을 규명해내고, 동역학적 방법론을 사용하여 원래의 변형이 동일한 기하구조를 주는 자명한 변형이라는 것을 증명하는 모스토우 강직성 정리의 증명은 참으로 아름답습니다. 본 연재에서 증명의 상당 수학적인 부분을 생략하였습니다만, 관심있는 독자분께서는 모스토우의 증명을 주욱 따라가보는 것도 즐거운 경험일 것이라 생각됩니다.

3차원 쌍곡공간과 강직성 . 앞서 살펴본 모스토우 강직성 정리의 증명은 두 단계로 나뉩니다. 우선 주어진 변형이 경계사상을 가짐을 보인 후, 그 경계사상이 아주 특별한 성질을 만족함을 보이는 것이지요. 한 가지 자연스러운 질문은, 이같은 강직성이 과연 3차원 쌍곡공간에 대해서만 나타나는 현상인지에 대한 것입니다. 사실 모스토우는 고차원 쌍곡공간을 비롯하여 더 많은 공간에 대해 강직성 정리를 증명하였습니다. 또, 마굴리스의 초강성 정리 (Margulis’ superrigidity theorem [1])는 고-랭크 균질공간higher rank homogeneous space에서의 강직성 정리로서, 마찬가지로 경계사상의 존재성을 보인 후 그 경계사상이 아주 특별한 성질을 가짐을 보이는 것으로 증명이 구성됩니다. 이처럼 비록 본 연재에서는 3차원 쌍곡공간에 대해서만 모스토우 강직성 정리를 논하였지만, 실제로는 더 많은 공간에서 강직성이 알려져 있습니다.
  그러나 강직성을 관찰할 수 없는 상황도 있습니다. 앞서 살펴본 증명으로부터, 1) 경계사상의 존재 2) 경계사상의 특별한 성질, 이 두 가지가 증명의 핵심임을 확인할 수 있었는데요. 자세한 설명이 필요한 이야기이긴 하지만, 쌍곡기하구조는 1) 경계사상이 존재한다는 것을, 그리고 3차원 이상의 고차원은 2) 경계사상이 특별한 성질을 가진다는 것을 보장해줍니다. 따라서 경계가 존재하지 않는 구면기하구조, 또는 낮은 차원인 2차원 쌍곡공간에서는 모스토우 강직성 정리와 유사한 현상을 기대하기 어렵습니다. 실제로, 2차원 쌍곡공간은 아주 많은 변형을 허용하는, 유연한 기하구조를 가지고 있습니다.

무한 부피로… 본 편에서 모스토우 강직성 정리의 증명을 개략적으로 살펴봄으로써, 3차원 쌍곡공간의 강직성에 대한 논의가 클라인 군의 변형과 경계사상에 대한 논의로 어떻게 바라봐질 수 있는지 살펴보았습니다. 이후 연재에서는, 3차원 쌍곡공간이 무한한 부피를 가질 경우 강직성에 대한 질문이 어떠한 형태로 기술될 수 있고, 또 어떠한 새로운 관점을 통해 강직성을 증명할 수 있을지 살펴보도록 하겠습니다.

연재
3차원 쌍곡 공간의 강직성: 유한 부피에서 무한 부피까지 [1] 
3차원 쌍곡 공간의 강직성: 유한 부피에서 무한 부피까지 [2]
3차원 쌍곡 공간의 강직성: 유한 부피에서 무한 부피까지 [3] (발행예정)

참고문헌

[1] Gregori A. Margulis. Discrete subgroups of semisimple L}ie groups, volume 17 of  Ergebnisse der Mathematik und ihrer Grenzgebiete (3). Springer-Verlag, Berlin, 1991.
[2] George Mostow. Strong rigidity of locally symmetric spaces}. Annals of Mathematics Studies, No. 78. Princeton University Press, Princeton, N.J.; University of Tokyo Press, Tokyo, 1973. 

김동률
Yale University 수학과 박사과정