19세기 후반 수학의 중심 주제 중 하나였으며, 추상 대수학의 발전에 지대한 영향을 준 고전 불변량 이론을 이변수 동차식 관련 내용을 중심으로 소개하고자 합니다.

 

1. 이차 동차식과 변수변환

1.1. 다음과 같이 변수가 두 개이고 각 항의 차수가 모두 \(2\)인 식을 생각해 봅시다. 계수는 편의상 실수에서 선택합시다.

\begin{equation}
\tag {1.1}
Q(x,y)= \alpha x^2 + \beta x y + \gamma y^2.
\end{equation}

이러한 대상에 관심을 갖는 데는 다양한 동기가 있을 수 있겠습니다. 예를 들면, 다음과 같은 식으로 표현 가능한 평면 위의 곡선을 분류하고 있었을 수도 있습니다.

\(A x^2 + B x y + C y^2 + D x + E y + F=0.\)

특정 \(x\)와 \(y\)에 대한 \(Q(x,y)\) 값들의 성질이 무엇인지 살펴보고 있었는지도 모릅니다. 이를테면, 피타고라스 정리는 \(Q(x,y)=x^2 + y^2\)에서 \(x\)와 \(y\)값이 직각 삼각형의 밑변과 높이로 주어지면 \(Q(x,y)\)가 빗변 길이의 제곱임을 알려줍니다. \(x\)와 \(y\)를 정수로 한정할 때, \(x^2 + y^2\) 꼴로 표현되는 정수가 무엇인지, 정수 \(n\)에 대해 \(x^2 + n y^2\) 꼴로 표현 가능한 소수가 무엇인지와 같은 질문도 여러 사람들의 마음을 사로잡은 문제입니다. 어쩌면 다음과 같은 이차 방정식을 잘 표현하기 위한 방법의 한 가지로 \(y\) 변수를 보충한 상황이었을 수도 있습니다. 

\begin{equation}
\tag {1.2}
\alpha x^2 + \beta x + \gamma =0.
\end{equation}

1.2. \(xy\)항 소거처럼 식 (1.1)을 간단하게 만들고자 하는 등의 의도로 아래와 같은 변수변환을 시도해볼 수 있겠습니다.

\begin{equation}
\tag {1.3}
\begin{bmatrix} x & y \end{bmatrix} \rightarrow
\begin{bmatrix} x & y \end{bmatrix} \begin{bmatrix} a & b \\ c & d \end{bmatrix}
=\begin{bmatrix} ax + cy & bx + dy \end{bmatrix}
\end{equation}

변환 후의 식을 다음과 같이 표기한 후

\(\overline{Q}(x,y)= \alpha’ x^2 + \beta’ x y + \gamma’ y^2\)

원래 식 \(Q(x,y)\)에 \(x\) 대신 \(ax + cy\), \(y\) 대신 \(bx + dy\)를 대입하고 식을 정리하여 \(\overline{Q}(x,y)\)와 비교하면 원하는 \( \alpha’, \beta’, \gamma’\)값을 제공하는 \(a,b,c,d\)값을 찾아낼 수 있습니다. 즉 목적에 부합하는 (1.3) 꼴의 변환이 무엇인지 찾을 수 있습니다.

\begin{align*}
\overline{Q}(x,y)
& = \alpha (ax + cy)^2 + \beta (ax + cy) (bx + dy) + \gamma (bx + dy)^2 \\
& = (a^2 \alpha + ab \beta + b^2 \gamma) x^2 +
(2ac \alpha + (ad+bc)\beta + 2bd \gamma) xy + (c^2 \alpha + cd \beta + d^2 \gamma) y^2 \\
& = \alpha’ x^2 + \beta’ x y + \gamma’ y^2.
\end{align*}

 

 

2. 특수 변환군과 다항식 불변량

2.1. 앞의 계산에서 변수변환 (1.3)이 만드는 \(Q(x,y)\) 계수의 변화에 중점을 두고 다음과 같이 기록해봅시다.

\begin{equation}
\tag {2.1}
\begin{bmatrix} \alpha \\ \beta \\ \gamma \end{bmatrix}
{\xrightarrow{\left[\begin{smallmatrix} a & b \\ c & d \end{smallmatrix}\right]}}
\begin{bmatrix} \alpha’ \\ \beta’ \\ \gamma’ \end{bmatrix},
\quad
\begin{bmatrix} \alpha’ \\ \beta’ \\ \gamma’ \end{bmatrix}
= \begin{bmatrix}
a^2 & ab & b^2 \\
2ac & ad+ bc & 2bd \\
c^2 & cd & d^2
\end{bmatrix}
\begin{bmatrix}
\alpha \\
\beta \\
\gamma
\end{bmatrix}.
\end{equation}

물론 (1.3) 꼴의 변수변환 중에는 \(a=b=c=d=0\)과 같은 극단적인 예도 있으니 적절한 제약 조건을 통한 선별작업이 필요합니다. 우리는 그중에서도 다음 행렬식 조건을 만족하는 변환들에 집중하겠습니다. 이러한 변수변환들의 모임을 특수 변환군이라 부릅시다.

\(\operatorname{det} \left(\begin{bmatrix} a & b \\ c & d \end{bmatrix}\right) = ad-bc =1.\)

식 (2.1)은 특수 변환군의 원소들을 \(3\)차원 위의 점들에 대해 적용 가능한 \(3\times 3\) 행렬로 표현하는 방법을 보여주고 있습니다. 이러한 관점은 현대 대수학에서 군표현론이라는 분야로 이어집니다.

\(\begin{bmatrix}a & b \\c & d\end{bmatrix}\mapsto \begin{bmatrix}
a^2 & ab & b^2 \\2ac & ad+ bc & 2bd \\ c^2 & cd & d^2 \end{bmatrix}.\)

2.2. 그때그때 목적에 맞는 변수변환을 찾아 \(Q(x,y)\)를 변형하는 작업을 여러 번 하다 보니 자연스레 다음과 같은 의문이 생깁니다. “이런 수많은 변환에도 불구하고 절대 변치 않는 \(Q(x,y)\) 고유의 성질 같은 것이 있지 않을까?” \(Q(x,y)\)의 성질은 \(Q(x,y)\)를 결정하는 계수 \(\alpha, \beta, \gamma\) 사이에 성립하는 관계식을 통해 드러날 것이라 생각하여 다음과 같이 문제를 구성해봅시다.


2.3. 
문제에서 찾고자 하는 다항식 \(f\)를 \(Q(x,y)\)의 불변량이라 부르겠습니다. 물론 \(\alpha, \beta, \gamma\)에 상관없이 같은 값을 주는 상수 다항식들도 \(Q(x,y)\)의 자명한 불변량이긴 하지만, 그보다는 더 흥미로운 대상을 구해봅시다. 이를 위해 \(Q(x,y)\)를 행렬을 이용하여 다시 쓰겠습니다.
\begin{align*}
Q(x,y) &= \alpha x^2 + \beta x y + \gamma y^2 \\
&= \begin{bmatrix} x & y \end{bmatrix}
\begin{bmatrix} \alpha & \beta/2 \\ \beta/2 & \gamma \end{bmatrix}
\begin{bmatrix} x\\ y \end{bmatrix}
\end{align*}

변수변환 (1.3)의 결과 역시 행렬을 이용해 다음과 같이 쓸 수 있습니다.
\begin{align*}
\overline{Q}(x,y) &=\begin{bmatrix} x & y \end{bmatrix}
\begin{bmatrix} \alpha’ & \beta’ / 2 \\ \beta’ / 2 & \gamma’ \end{bmatrix}
\begin{bmatrix} x\\ y \end{bmatrix} \\
& = \left( \begin{bmatrix} x & y \end{bmatrix}
\begin{bmatrix} a & b \\ c & d \end{bmatrix} \right)
\begin{bmatrix} \alpha & \beta/2 \\ \beta/2 & \gamma \end{bmatrix}
\left( \begin{bmatrix} a & c \\ b & d \end{bmatrix}
\begin{bmatrix} x\\ y \end{bmatrix} \right) \\
& = \begin{bmatrix} x & y \end{bmatrix}
\left( \begin{bmatrix} a & b \\ c & d \end{bmatrix}
\begin{bmatrix} \alpha & \beta/2 \\ \beta/2 & \gamma \end{bmatrix}
\begin{bmatrix} a & c \\ b & d \end{bmatrix} \right)
\begin{bmatrix} x\\ y \end{bmatrix}
\end{align*}

위 식으로부터 다음의 행렬 등식을 얻어
\[
\begin{bmatrix} \alpha’ & \beta’ / 2 \\ \beta’ / 2 & \gamma’ \end{bmatrix}
=
\begin{bmatrix} a & b \\ c & d \end{bmatrix}
\begin{bmatrix} \alpha & \beta/2 \\ \beta/2 & \gamma \end{bmatrix}
\begin{bmatrix} a & c \\ b & d \end{bmatrix}
\]
양변의 행렬식을 계산하니 \(ad-bc=1\) 조건으로부터 다음 등식을 찾습니다.
\[
\alpha \gamma – \frac{\beta^2}{4} = \alpha’ \gamma’ – \frac{\beta’^2}{4}.
\]
이 등식은 특수 변환군에 속한 모든 변환에 대해 언제나 성립하는 등식이니, 마침내 \(Q(x,y)= \alpha x^2 + \beta x y + \gamma y^2\)의 자명하지 않은 불변량을 하나 구했습니다.
\[
f(\alpha, \beta, \gamma) = \alpha \gamma – \frac{\beta^2}{4}
\]

2.4. 자세히 보니 이 불변량 \(f\)는 이차 방정식 (1.2)의 판별식과 관련있어 보입니다.

\(D= \beta^2 – 4 \alpha \gamma= (-4) f(\alpha, \beta, \gamma)\)

이를 \(0\)과 비교하여 이차 방정식 (1.2)가 실근을 갖는지 중근을 갖는지 등을 판정할 수 있습니다.

이제 자연스러운 질문은 그밖에 다른 불변량이 있는지, 있다면 어떻게 찾을 수 있는지입니다. 상수 함수가 아닌 다른 불변량은 이 불변량 \(f\)를 몇 번 곱하거나 상수배 하여 더하는 작업을 통해 모두 만들어 낼 수 있다는 사실이 알려졌습니다.

 

 

3. 고차 동차식의 다항식 불변량

3.1. 이제 변수는 고정한 채 차수를 올려서 삼차 동차식을 생각해 봅시다.

\(Q(x, y) = \alpha x^3 + \beta x^2 y + \gamma x y^2 + \delta y^2\)

변수변환 (1.3)의 결과를 다음과 같이 표기하면

\(\overline{Q}(x, y) = \alpha’ x^3 + \beta’ x^2 y + \gamma’ x y^2 + \delta’ y^2\)

두 식의 계수들은 다음 식에 의해 연결됩니다.

\(\begin{bmatrix}\alpha’ \\ \beta’ \\ \gamma’ \\ \delta’\end{bmatrix}=\begin{bmatrix} a^3 & a^2 b & a b^2 & b^3 \\ 3 a^2 c & a^2 d + 2 abc & 2 abd + b^2c & 3 b^2 d\\ 3 a c^2 & 2 acd + b c^2 & a d^2 + 2 bcd & 3 b d^2 \\ c^3 & c^2 d & c d^2 & d^3 \end{bmatrix}
\begin{bmatrix} \alpha \\ \beta \\ \gamma \\ \delta \end{bmatrix}\)

앞서 경우와 마찬가지로 이 행렬식은 특수 변환군의 원소들을 \(4\)차원 위의 점들에 대해 잘 적용할 수 있는 \(4 \times 4\) 행렬에 대응시키는 방법을 보여줍니다.
\[
\begin{bmatrix}
a & b \\
c & d
\end{bmatrix}
\mapsto
\begin{bmatrix}
a^3 & a^2 b & a b^2 & b^3 \\
3 a^2 c & a^2 d + 2 abc & 2 abd + b^2c & 3 b^2 d\\
3 a c^2 & 2 acd + b c^2 & a d^2 + 2 bcd & 3 b d^2 \\
c^3 & c^2 d & c d^2 & d^3
\end{bmatrix}
\]이제 \(Q(x,y)\)의 불변량, 즉 특수 변환군에 속한 모든 변환에도 변하지 않는 \(Q(x,y)\)의 계수 사이에 성립하는 다항식를 찾고자 합니다. \(Q(x,y)\)의 계수가 네 개이므로 찾고자 하는 불변량은 변수가 네 개인 다항식입니다.
\[
f(\alpha, \beta, \gamma, \delta) = f(\alpha’, \beta’, \gamma’, \delta’)
\]다음 다항식이 불변량임을 확인할 수 있는데
\[
f(\alpha, \beta, \gamma, \delta)=\beta^{2} \gamma^{2} –
4 \alpha \gamma^{3} – 4\beta^{3} \delta
– 27 \alpha^{2} \delta^{2} + 18 \alpha \beta \gamma \delta
\]이는 삼차 방정식 \(\alpha x^3 + \beta x^2 + \gamma x + \delta =0\)의 판별식이 됩니다. 이를 \(0\)과 비교해보면 이 삼차 방정식이 서로 다른 실근을 갖는지 중근을 갖는지 등을 판정할 수 있습니다. 이차 동차식에서와 마찬가지로, 자명하지 않은 불변량은 이 불변량을 몇 번 곱하거나 상수배 하여 더하는 작업을 통해 모두 만들어 낼 수 있다는 사실이 알려졌습니다.

3.2. 변수가 두 개이고 차수가 \(4\)인 동차식의 경우 기본이 되는 불변량 두 개를 찾을 수 있고, 앞서와 유사하게 모든 자명하지 않은 불변량은 이 두 개의 불변량을 몇 번 곱하고 상수배 하여 합한 꼴로 표현 가능합니다. 관련된 사차 방정식의 판별식도 불변량인데, 이 역시 이 두 개의 기본 불변량의 조합으로 잘 표현됩니다.

차수가 커질수록 불변량을 찾는 것이 어려워질 텐데, 힐베르트는 위에서 설명한 사례보다 훨씬 더 일반적인 상황에서도 언제나 유한개의 불변량이 존재하며 다른 모든 불변량은 이들의 곱과 상수배하여 합한 꼴로 표현 가능하다는 것을 증명하였습니다. 구체적인 계산법 없이 이러한 존재성에 대한 결과를 얻은 것에 대해 당시 불변량 이론의 왕이라 불린 고르단이 `이것은 수학이 아니라 신학’이라 평한 얘기는 유명합니다.

한편, 계산적인 불변량 이론 연구를 종결시키고 현대적인 추상수학의 문을 열어젖힌 힐베르트의 이 놀라운 결과와 별개로 실제 불변량을 찾아 구체적으로 잘 기술하는 일은 요즘처럼 계산 기술이 발달한 시절에도 결코 쉬운 일이 아닌 듯합니다. 흥미롭게도 현대 대수학자들은 힐베르트의 상대적으로 덜 알려진 후속 논문의 결과를 이용하여 불변량의 알고리즘적인 계산법을 완성할 수 있을 것으로 기대하고 있습니다. 또한, 힐베르트의 결과들을 기하학적 관점에서 해석하여, 불변량들이 함수로서 잘 정의되는 기하적 대상을 정밀하게 기술하려는 기하학적 불변량 이론이 탄생하였고, 이에 대한 활발한 연구가 계속 이어지고 있습니다. 이처럼 고전 불변량 이론은 지금도 다양한 모습으로 추상 대수학의 발전에 기여하며 수학의 지평을 넓히고 있습니다.

김상집
고려대학교 수학과 교수