방정식의 해법은 수학뿐만 아니라 인간 생활에서 매우 중요한 자리를 차지하고 있어서, 우리는 중학교 시절 1차 방정식과 2차 방정식의 풀이에 관하여 수학 시간에 많은 시간을 할애하여 배웠다. 그런데 방정식 해법의 역사는 수많은 수학자들의 고뇌, 회한, 노력, 좌절로 점철되어 있다.
방정식 해법에 얽힌 인물들
2차 방정식의 해법은 4천년 전 고대 바빌로니아 시대에 이미 알려져 있었지만, 3차 방정식의 해법은 16세기 초에 이르러서야 이탈리아 볼로냐의 수학자 델 페로Scipione del Ferro가 발견하였다고 전해진다.
1535년 이탈리아 브레샤의 말 더듬이 타르탈리아Niccolò Fontana Tartaglia라는 사람도 독립적으로 3차 방정식의 해법을 찾았고, 델 페로의 제자 피오르Antonio Maria Del Fióre와 타르탈리아는 공개 문제 풀기 대결을 하였다. 여기서 타르탈리아는 피오르가 낸 3차 방정식 문제 30개를 모두 풀었으나 피오르는 타르탈리아가 낸 문제를 하나도 못 풀었다고 전해진다.
이 소문이 퍼지자 밀라노의 유명한 의사인 카르다노가 타르탈리아를 설득하여 3차 방정식의 해법을 전수받았다. 카르다노는 이 해법을 발표하지 않기로 타르탈리아와 약속을 했었으나 그 약속을 깨고 해법을 발표하였다. 타르탈리아는 매우 화가 났지만 이미 엎질러진 물이라 이 해법은 카르다노의 풀이로 알려지게 되었다. 카르다노의 제자였던 페라리는 곧 이어서 4차 방정식의 해법도 찾아내었다.
타르탈리아는 가난한 집안에서 태어났다. 어렸을 때 브레샤를 침입한 프랑스 군의 칼에 맞아 머리 다섯 군데에 부상을 입어 겨우 회복하였으나 혀가 짧아져 말더듬이가 되었다. 타르탈리아는 카르다노의 제자 페라리와 논쟁을 벌이며 공개 경시대회를 갖는 등 명예를 되찾으려고 노력했으나 뜻을 이루지 못하였고 결국 가난 속에 외롭게 죽었다.
환자를 잘 치료하는 것으로 유명했던 카르다노는 의사라는 직업 외에도 여러 가지 분야에 아마추어로서 흥미가 있었는데 수학은 그중 하나였다. 그러나 르네상스 시대 이탈리아의 사회적 혼란과 주변 인물의 음모는 그의 삶을 타르탈리아의 삶 못지않게 힘들게 하였다. 삼촌은 독살되었고 그와 그의 아버지 역시 독살될 뻔하였다.
장남은 자기 아내를 독살하였다는 죄목으로 참수당하였는데 카르다노는 평생 이 충격에서 헤어나오지 못하였다. 더구나 그가 가장 아끼던 제자 페라리를 여동생이 독살하였다. 카르다노 자신은 종교재판에서 이단으로 몰려 투옥까지 되었으나 몇 달 후 자기 주장을 철회하여 간신이 풀려났다.
3차, 4차 방정식이 풀린 뒤 사람들은 5차 방정식을 풀기 위해 300년 동안 수없이 노력하였다. 그러나 5차 방정식은 \({+,-,\times,\div,\sqrt\quad}\)만 쓰는 대수적 방법으로는 풀 수 없다는 것을 1823년 21살의 노르웨이 수학자 아벨이 증명하였다. 5차 이상의 일반적인 방정식도 대수적 방법으로는 풀 수 없다는 것은 1830년 프랑스 수학자 갈로아가 19살에 증명하였다. 아벨과 갈로아 역시 타르탈리아와 카르다노 못지않게 파란만장한 삶을 살았다.
아벨은 1802년 노르웨이의 작은 도시에서 태어나 1829년 오슬로에서 죽었다. 27년이라는 짧은 생애에 유럽 최고의 수학자들의 존경을 받았지만, 정부가 관심을 가져주지 않아 힘들게 가족 부양을 하다가 결국은 결핵으로 죽고 말았다. 아벨의 아버지는 교회 목사였는데 술을 많이 마시는 나쁜 습관이 있었고, 아벨의 어머니는 재능있는 피아니스트이며 가수였지만 자식들에게는 매우 무책임하였다. 이러한 부모 때문에 아벨과 그 형제 자매들은 기숙학교에 맡겨졌다. 아벨의 수학교사 홀롬뵈는 한 눈에 아벨의 재능을 알아보았고, 당시의 수학교재를 잘 익히게 한 뒤 유명 수학자의 논문을 읽게 하였다. 18살 때 아벨은 5차 방정식을 푼 것으로 알고 논문까지 썼으나 곧 오류를 발견하였다.
그 해 아벨의 아버지는 과음으로 사망하여 가족 부양은 장남인 아벨이 하게 되었다. 여동생을 다른 집에 맡긴 뒤 남동생을 데리고 아벨은 오슬로 대학에 입학하였다. 이 대학 도서관에서 당시 첨단 수학 논문을 접한 후 2년간 노력한 끝에 아벨은 두 가지 유명한 적분 이론을 발견하였을 뿐만 아니라 5차 방정식의 대수적 해법이 없다는 것도 증명하였다. 이 결과를 덴마크 수학자에게 설명하기 위해 코펜하겐으로 가는 기차에서 만난 켐프라는 여자를 만나 사랑에 빠지게 된다.
켐프와 약혼한 22살 때 아벨은 정부의 장학금을 받고 독일과 프랑스의 유명 수학자들을 만나기 위해 여행을 떠났다. 독일 베를린에서 새로운 수학저널을 창간하는 크렐을 운 좋게 만나 아벨은 크렐의 저널에 그의 논문을 싣기로 하였다. 그러나 당시 최고의 수학자였던 가우스는 만날 엄두도 못 냈고, 파리에서는 코시를 만나 그 자신의 새로운 이론을 설명하였으나 별다른 관심을 이끌어내지 못하였다. 2년 후 돈이 떨어져 하루에 한 끼만 먹던 아벨은 하는 수 없이 노르웨이로 돌아왔다. 하지만 노르웨이에서 할 수 있는 일이라고는 오슬로 대학 시간강사 자리뿐이었다. 이 월급으로 아벨은 간신히 빚만 갚을 수 있었다. 26살에 몇몇 프랑스 수학자들이 노르웨이 왕에게 아벨의 직장을 구해달라고 탄원서를 보냈으나 오슬로 대학은 꿈쩍하지 않았다. 27살이 되면서 아벨의 건강이 나빠져 각혈하기 시작하였고, 아벨의 주옥같은 논문들을 자신 소유의 저널에 게재한 크렐 덕분에 베를린 대학 정교수 자리를 받게 되었다. 하지만 베를린 대학 정교수 임명장이 도착하기 이틀 전 아벨은 안타깝게도 약혼녀 켐프의 품 안에서 결핵으로 숨을 거두었다. 아벨의 마지막 논문들은 향후 2백년 간 수학자들을 연구에 몰두하게 만들었다.
갈로아는 1811년 파리 근교에서 태어나 21살에 파리에서 죽었다. 갈로아의 아버지는 작은 도시의 학교 교장이자 시장이었고 어머니는 갈로아를 12살 때까지 집에서 교육시켰다. 유명한 중학교에 들어가서 4년간 다닌 후 갈로아는 갑자기 수학에 흥미를 느껴 집중적으로 당대의 수학 교재를 탐독하기 시작하였다. 17살에 프랑스 최고의 대학 에꼴 폴리테크닉에 지원하였지만 수학 이외의 과목 성적이 나빠 낙방하였다. 갈로아도 아벨처럼 고등학교에서 유능한 수학 교사를 만나서 좋은 지도를 받았고, 또 아벨처럼 갈로아도 한때 5차 방정식을 푼 것으로 착각하기도 했었다. 갈로아는 방정식론에 관해 논문을 써서 파리 아카데미의 저널에 제출하였는데 심사인이 아벨을 실망시켰던 코시였다. 코시는 갈로아의 논문에 호의적이기는 하였으나 결국 그 논문은 분실되었다.
18살 때 갈로아의 아버지가 한 신부의 비난을 견디지 못하고 그만 자살하고 말았다. 그 며칠 후 갈로아는 또 에꼴 폴리테크닉 입시에서 실패하였다. 이와 같은 사건에 큰 충격을 받은 갈로아는 당시 프랑스 정치와 교육제도에 대해 깊은 반감을 갖기 시작하였다. 그래도 약간 수준이 낮은 에꼴 노르말 대학에 합격하여 대학을 다녔지만, 첫해이던 1830년 부르봉 왕정에 반하는 7월 혁명을 목격하고는 공화정 선동자가 되어 아버지의 죽음과 자신의 입시 실패에 대한 분노를 발산하였다. 에꼴 노르말에서 정치 선동을 하던 갈로아는 결국 1학년 때 총장 모욕 기사를 쓴 것 때문에 퇴학 처분을 받았다.
퇴학 이후 군에 입대하여 공화정 혁명 운동에 참여하였던 20살의 갈로아는 루이 필립왕에 대한 불경죄로 투옥되었다. 법정에서 갈로아는 과격하게 진술했으나 너무 젊어서 어리석게 행동한 거라고 생각하여 판사가 그를 풀어주었다. 몇 달 후 갈로아는 불법 무기 소지죄로 체포되었고 이번에는 6개월 형이 내려졌다. 갈로아는 낙담하여 아버지처럼 자살을 시도했었다. 그리고 투옥 전에 5차 이상의 방정식을 대수적으로 푸는 해법이 없다는 논문을 파리 아카데미에 제출하였다. 그러나 재소기간 중 파리 아카데미가 보낸 답변은 증명을 좀 더 엄밀하게 하여 다시 제출하라는 것이었다.
21살에 출옥한 갈로아는 삶에 회의를 느낀다고 친구에게 편지를 쓰기도 하였다. 여기에는 한 여자와의 연애 사건도 관련된 것으로 보이는데, 불행하게도 그 여자의 명예를 지키기 위하여 갈로아는 결투를 하게 되었다. 오래전부터 기성 체제에 대한 피해 의식에 시달리던 갈로아는 자살을 자주 염두에 두고 있었던 것이다. 결투 전날 밤 갈로아는 자기의 죽음을 예상하고 밤을 새우다시피 하여 그때까지 발표되지 않았던 그의 수학 이론을 간략히 설명하는 편지를 썼다. 편지 곳곳에는 ‘시간이 없다’라는 말을 자주 적었다. 이 편지에는 5차 이상의 방정식을 왜 대수적으로 풀 수 없는가에 대하여 그 당시 알려지지 않았던 전혀 새로운 이론을 도입하여 설명하였다. 갈로아가 결투에서 사망한 후 그의 친구와 남동생은 이 편지를 당시 유명한 수학자인 가우스 등에게 보냈으나 답장이 없었다. 그러다가 11년 후 이 편지를 보게 된 수학자 리우빌Liouville이 그 내용의 중요성을 파악하고 수학계에 발표하였다. 이리하여 갈로아의 방정식론은 비로소 햇빛을 보게 된 것이다.
2차 방정식의 해법
2차 방정식의 역사는 기원전 2000년 전 바빌로니아 시대까지 거슬러 올라간다. 당시에 적힌 점토판에는 다음과 같은 문제가 있었다.
넓이와 한 변의 길이의 차이가 주어진 정사각형의 한 변의 길이를 구하라. 즉, \({x^2-x=b}\)를 풀어라.
2차 방정식은 바그다드의 학자였던 알콰리즈미Al-Kwarizmi, 780-850가 쓴 여러 책에 체계적으로 정리되었고, 이 책은 나중에 라틴어로 번역되어 몇 세기동안 유럽의 수학 발전에 큰 영향을 주었다. 알콰리즈미의 이름이 현재 쓰는 알고리듬이라는 단어의 기원이며, 대수학을 나타내는 단어인 algebra 역시 알콰리즈미가 쓴 책의 제목인 <Al-Jabr>에서 나왔다고 한다.
3차 방정식의 해법
의사였던 카르다노는 타르탈리아을 설득하여 3차 방정식의 해법을 비밀을 지킨다는 조건으로 얻어냈지만, 1545년 <Ars Magna>라는 책에 그 해법을 출판한다.
3차 방정식 \({y^3+ay^2+by+c=0}\)을 풀기 위해서 먼저 \({y=x-\frac a3}\)으로 치환을 하면 2차항의 계수가 \(0\)이 되어 \({x^3+px+q=0}\)꼴로 바뀌게 된다. 그런데 \({(u+v)^3=3uv(u+v)+(u^3+v^3)}\)임에서 착안하여, \({x^3+px+q=0}\)을 풀기 위해 다음 두 식을 동시에 만족하는 \(u\), \(v\)를 찾으면 \({x=u+v}\)라고 할 수 있다는 것을 알 수 있다.
\({3uv=-p}\)
\({ u^{ 3 }+v^{ 3 }=-q }\)
즉, \({u^3v^3=-(\frac p3)^3}\)이며 \({u^3+v^3=-q}\)이므로 \(u^3\) , \(v^3\)을 해로 갖는 2차 방정식 \({w^2+qw-(\frac p3)^3=0}\) 을 풀면 \(u\), \(v\) 값을 구할 수 있다. 2차 방정식의 해의 공식을 사용하면 아래처럼 \(u\), \(v\)값이 얻어진다.
\({u,v=\sqrt[3]{-\frac q2\pm\sqrt{\left(\frac q2\right)^2+\left(\frac p3\right)^3}}}\)
따라서 아래 식을 얻는다.
\({x=u+v=\sqrt[3]{-\frac q2+\sqrt{\left(\frac q2\right)^2+\left(\frac p3\right)^3}}+\sqrt[3]{-\frac q2-\sqrt{\left(\frac q2\right)^2+\left(\frac p3\right)^3}}}\)
해를 하나 찾고 나면 나머지 해는 2차 방정식을 만들어서 풀 수 있다.
4차 방정식의 해법
카르다노의 책인 <Ars Magna>에는 카르다노의 제자였던 페라리Ludovico Ferrari의 4차 방정식의 해법 역시 적혀 있지만, 당시에는 어떤 값의 4승을 한다는 것이 넓이도 부피도 아닌 것이라 하여 말도 안 되는 것이라 여겨져 별로 중요하게 여겨지지 않았다.
먼저 3차 방정식에서 하듯 대입을 하여 3차항의 계수를 0으로 만들어서 아래처럼 일반식을 변형할 수 있다.
\({x^4+px^2+qx+r=0}\)
이 식에서 \({x^4}\)항 이외의 항은 우변으로 옮긴 후, 양변에 \({2x^2z+z^2}\)을 더하면 아래처럼 좌변이 완전제곱식이 된다.
\({(x^2+z)^2=(2z-p)x^2-qx+(z^2-r)}\)
좌변이 \(x\)에 관한 완전제곱식이므로 우변 역시 완전제곱식이 되어야 하므로 판별식 \({q^2-4(2z-p)(z^2-r)}\)의 값이 \(0\)이 되어야 한다. 이것을 전개하면 아래와 같은 \(z\)에 관한 3차 방정식을 얻을 수 있다.
\({z^3-\frac p2z^2-rz+\frac{pr}2-\frac{q^2}8=0}\)
이것을 3차 방정식 해법을 이용하여 풀고 나면 그 z에 대해서는 위의 좌변이 완전제곱식인 수식의 우변 역시 완전제곱식이 되어 양변에 루트를 씌워서 아래와 같은 2차 방정식을 얻는다.
\({x^2+z=\pm\left(\sqrt{2z-p}x+\sqrt{z^2-r}\right)}\)
이제 2차방정식의 근의 공식을 사용하여 풀면 원래 4차 방정식의 해를 얻게 된다.
\({x_1,x_2=\frac12\sqrt{2z-p}\pm\sqrt{-\frac z2-\frac p4+\sqrt{z^2-r}}}\)
\({x_3,x_4=\frac12\sqrt{2z-p}\pm\sqrt{-\frac z2-\frac p4-\sqrt{z^2-r}}}\)
고등과학원 최재경 교수의 2014년 5월 16일 “정오의 수학 산책” 강연 내용을 발췌하였습니다.
