한국 근대수학 인물사 [4]: 20세기 수학연구의 시작

일제의 식민지 교육정책의 영향으로 1945년 광복을 맞이할 때까지 한반도는 현대수학 연구가 가능한 여건이 아니었다. 심지어 현대수학을 연구한 경험이 있는 수학자가 단 한 명도 없었다. 따라서 이때까지 한반도에서는 현대수학 논문이 발간되지도 못했다. 이번 글에서는 광복 후 한국에서 현대적인 수학연구를 시작한 개척자 이임학^1922~2005과 임덕상^1928~1983에 대하여 소개하고자 한다.

1. 이임학 : 현대수학 연구의 시작

이임학은 함흥 태생으로 어려서부터 수재로 이름을 날렸으며, 1939년 3월 함남중학(함흥고등보통학교) 5학년을 1등으로 졸업하고, 같은 해에 경성제국대학 예과 이갑(이공계)에 입학하였다. 1938년 “경성제대 관제”를 개정하여 설립된 본과 이공학부에는 수학과가 없었으나, 1941년 본과 1회 신입생부터 공통 과목으로 개설된 고등 수학 과목을 들어야 했다. 당시 교원으로 도쿄제국대 출신 청년 우노 토시오^宇野利雄 박사가 미분방정식론과 함수론을 강의하였고, 히구치 쥰시로오^{樋口順四郞} 조교수가 행렬론, 적분방정식론 등을 강의하였다. 물리학과의 수기하라 교수의 영향도 컸다고 한다. 몇 년 후 조교로 일본에서 수학을 전공하고 귀국한 여성 홍임식이 보강되었다. 따라서 이임학은 히구치 등의 지도 아래서 미적분학을 시작으로 행렬론, 미분방정식 함수론 등을 공부할 수 있었다.

이임학은 1941년 물리학 전공을 택했으나 일본인 동창생 다케나카 기요시 교수의 회고에 의하면, 입학하자마자 예과시절부터 수학에 두각을 나타냈으며, 수학과 물리학 강의에서 동급생들은 이해하지 못하는 어려운 질문을 하여 교수들을 난처하게 만들기도 하였다고 한다. 1학년 때 배운 대수, 기하를 수학의 전부라고 생각하고 있었던 많은 동급생들에게, 이임학은 사영기하학을 설명하면서 수학의 범위가 얼마나 넓은지 가르쳐 주었다고 한다. 또한 그 무렵에 나온 다까기 데이지^高木貞治의 『해석개론』을 꼭 읽어 보라고 추천해 주었는데 자신은 이미 이 책을 어렵지 않게 이해하고 있었던 것 같다고 한다. 이임학은 1944년 9월 물리학과를 졸업한 후 만주 봉천시(현재 중국 동북부 심양시)에 있는 종로 화신백화점 박흥식의 화신산업계열 조선비행기공업주식회사에 취직했다가 1945년 일본이 제2차 세계대전에 패망하기 직전 함흥으로 귀향하여 8.15 광복을 맞이하였다.[1]

1945년 광복 후 일본인 수학 전공 교수들이 모두 떠나자 경성대학에서는 수학을 가르칠 사람이 필요하게 되었다. 투표를 통하여 경성대 이공학부에서 수학을 가르칠 도쿄제국대 수학과 졸업생인 김지정과 유충호, 그리고 경성제국대 출신 24살 이임학이 뽑혔다. 1946년 8월 22일 미군정 법령 102호로 ‘국립 서울대학교 설립안’이 확정된 후, 많은 경성대 교수들이 월북하였는데, 이임학 역시 경성대를 사임한 후 고향에 있는 부모와 누이를 만나러 북한을 방문하였다. 그러나 그는 공산화된 북한에서 공포를 느꼈으며, 마치 영화처럼 아슬아슬하게 북한을 탈출했다고 한다.

이임학은 서울에 돌아와서 휘문고와 이화여고에서 강의를 하다, 서울대 초대 학과장인 최윤식^1899-1960의 초청으로 1947년 초 서울대학교 수학과 교수(전임강사-조교수)로 다시 정식 발령을 받는다. 최윤식보다 스무 살 정도 어린 20대의 이임학 교수는 1940년대 후반 남대문 근처를 지나가다 미군이 버린 고서 더미에서 미국수학회보 <Bulletin of the American Mathematical Society>를 발견하였다. 이임학은 이 수학저널에서 유명한 수학자 막스 초른^{Max A. Zorn}이 제시한 미해결 문제를 연구한 후 답을 발견해 초른 교수에게 편지를 보냈다. 그러자 초른은 그 편지를 근거로 논문을 작성하여 저자를 이임학^{Ree, Rimhak}이라는 이름으로 1949년 미국수학회보에 논문을 발표하였다. 그 논문은 대한수학회 역사에서 한국인 최초로 국제저명학술지에 실린 논문이 되었다.

이임학은 서울대 수학과에서 대수학을 가르쳤는데 일본 교재를 사용하지 않고 네덜란드 수학자 판 데르 바르던^{Van der Waerden}의 『Modern Algebra』를 교재로 사용하였다. 이임학은 해방 후에도 미국 공보원^USIS에서 수학 잡지를 꾸준히 열람하고 전쟁 기간 동안 접할 수 없었던 영미의 수학계에 많은 관심을 보였다. 이임학은 해방된 조국에 한국어로 된 고등 수학 교재의 필요성을 인식하고, 홍임식의 추천으로 1948년 미국의 수학 교재인 윌리엄 앤서니 그랜빌^{William Anthony Granville}의 『Elements of the Differential and Integral Calculus』를 번역해서 『미분학』(청구문화사)을 출간했다. 이듬해인 1949년에는 후속편인 『적분학』(청구문화사)이 나왔다. 이임학의 『미분학과』 『적분학』은 최윤식의 1948년 『고등미분학』(정음사)과 함께 우리나라 최초의 한국어로 된 고등수학서였다.

1950년 6‧25전쟁이 발발하자 이임학은그해 말에 부산으로 피난하여 부산 전시대학에서 강의를 하였다. 1952년 이임학은 미국수학회의 Math Review에 실린 브리티시컬럼비아대학^UBC의 제닝^Jennings교수가 쓴 재미있는 논문을 발견하여 제닝 교수에게 논문에 대한 편지를 썼고, 제닝 교수는 이임학 교수가 UBC 대학원 과정에서 공부할 수 있도록 그를 초청 하였다. 1953년 8월 5일 이임학은 부산항에서 미국 증기 화물선을 타고 9월에 시작하는 신학기에 맞추어 후배들의 배웅을 받으며 출국하였다. 당시 배로 캐나다까지 가려면 한 달 정도 걸렸다.[2] 

1955년 한국인으로는 두 번째로 수학박사학위를 취득한¹ 이임학은 미국 동부 예일대학교에서 박사 후 연수를 마쳤으나, 그 과정에서 대한민국 여권 연장이 거부되어 어려움을 겪다 캐나다 밴쿠버에 정착하여 캐나다 시민권을 얻은 후 UBC 수학과 교수로 연구에 몰두하였다. 이임학은 1957년 이전에 알려진 바 없던 새로운 종류의 단순군^單純群을 발견하여 수학계에 보고하고 16편의 논문을 쓰면서 세계적으로 이름을 알렸다. 단순군이란 군 중 자신보다 더 작은 군의 적당한 대수적 결합으로 만들 수 없는 군을 의미한다. 즉, 화학에서 원자와 마찬가지로 대수학의 가장 기본적인 요소를 규명하는 연구라 할 수 있는데, 1970년에는 존 그리그스 톰프슨^{J. Thompson}과 1998년 리처드 보처스^{R.E. Borcherds}가 유한단순군과 관련된 업적으로 필즈상을 수상하였다.

“20세기 초부터 군이론은 수학의 중요한 분야로 확고히 자리를 잡았다. 군^{群, group}이란 어떤 조건을 만족시키는 연산과 숫자들의 집합이다. 군의 기초가 되는 단순군이 새로 발견될 때마다 수학계는 큰 파문이 일어난다. 유한 단순군은 갈로아^{Evariste Galois}가 처음 정의한 이래, 1870년 죠르당^{Camille Jordan}이 『치환론』에서 유한체 위에서의 행렬군을 발견하면서 최초로 군 이론을 체계화했다. 1901년 딕슨^Dickson이 죠르당의 연구에 기초해서 단순군의 수열을 발견한 이후 군론 분야 학자들이 발견을 열망하며 활발히 연구했지만 단 한 개의 단순군도 발견되지 않았다.

1955년 슈발레^{Claude Chevalley}는 단순 리 대수의 자기 동형사상군으로 고전적인 유한 단순군의 정의를 통일하는 논문을 발표했다. 1957년 이임학은 이 논문의 중요성을 깨닫고 슈발레 군과 죠르당-딕슨의 고정 군이 어떻게 연관되는지를 밝히는 논문을 발표했다. 이임학의 논문은 군의 구조를 명확히 밝혀서 향후 유한 단순군을 발견하는 이론적 토대를 제공했다. 1960년 이임학은 새로운 종류의 단순군들의 무한한 두 모임을 찾아내 ‘리 군^{Ree group}’이라 명명했다. 모든 것이 그것으로 종결되었다. 즉 더 이상의 리^Lie 유형의 단순군도 그리고 단순군의 무한 수열도 없었다. ‘리 군’은 1984년부터 1994년까지 90편의 연구 논문이 나올 만큼 국제 수학계에 큰 반향을 일으켰다.”

특히 이임학은 ‘리군^{Ree Group}’이론에 관한 업적으로 1963년 캐나다 왕립학술원^{Royal Society of Canada} 회원으로 선정되었으며, 국내에서는 2006년에 과학기술인 명예의 전당에 올랐다.

1970년대 확률론 분야 최고의 학자였던 스탠포드대의 청 카이 라이^{Chung Kai Lai} 교수는 밴쿠버에서 있었던 수학회에 참석했을 때 모든 일정을 단축하고 이임학 박사를 만나기 위해 노력했다고 한다. 대한수학회 50주년을 기념하여 1996년 이임학 교수가 한국을 방문해서 포항공대, 서울대, 대한수학회 등에서 강연했으며 많은 인터뷰를 하였다. 이임학은 연구의 성공 비결에 대해 묻는 질문을 자주 받곤 하였는데 “나는 결코 성공적인 연구를 한 적이 없다, 어느 정도 남부끄럽지 않은 연구를 하려고 노력을 했으나, 실패와 실패를 반복하였다”라고 대답하였다. 모두가 어리둥절하여, 그 의미에 대하여 다시 질문했다. 이임학 자신은 오랫동안 정수론의 아틴^Artin의 문제를 풀기를 원했다고 말했다.[2] 2019 대한수학회 정기총회 및 가을연구발표회, 과학기술유공자 이임학 교수님 헌정 강연, 2019년 10월 26일에서 서울대학교 수리과학부 김도한 명예교수는 아래 내용을 소개하였다.

가장 권위 있는 수학자들의 역사서라고 할 수 있는 듀도네^{J. Dieudonne}의 저서 『A Panorama of Pure Mathematics』에서 소개하는 군론분야의 위대한 수학자 21인에 한국인 최초로 이임학이라는 이름이 들어가 있다. 이 책에서는 각 분야의 이론을 근원적으로 창시한 수학자^Originator와 그 이론에 공헌한 수학자^Contributor를 나누어 목록을 만들었는데, 이임학 교수는 군론 분야에서 역사적으로 위대한 수학자인 코시^{A. Cauchy}, 갈루아^{E. Galois}, 조르당^{C. Jordan}과 더불어 군의 이론을 창시한 21명의 명단^Originator에 포함되었다. 이는 이임학 교수가 수학 분야의 최고의 학술지인 Annals of Mathematics에 발표한 두 편을 포함한 33편의 논문과, 가장 큰 업적인 새로운 두 개의 마지막 단순군 무한족을 발견하여 군론의 발전에 큰 공헌을 하였음을 보여준다. 이임학 교수의 논문은 351번 인용되었다. 2019년에도 저명한 수학자인 닉 카츠^{N. Katz}는 리군^{Ree Group}에 관한 논문을 썼고, 필즈상 수상자인 엔리코 봄비에리^{E. Bombieri}도 이전에 리군^{Ree Group}에 관하여 발표했던 논문을 2012년에 다시 발표하였다. 이임학의 이름은 MIT에서 발행되는 수학사전(일본 이와나미 수학사전의 영역판)에도 기록되어 있다. 수학사전에 기록되어 있는 다른 한국인 수학자는 펜실베니아대학에서 활동한 임덕상 교수뿐이다.

2005년 1월 9일 운명한 이임학은 UBC에서 20세기 위대한 수학자 중 한 명인 로버트 랭글랜즈^{Robert Langlands}에게 대수학을 가르친 은사로도 유명하다. 이임학은 2006년 한국과학기술인 명예의 전당에 헌정된 첫 번째 한국인 수학자이며, 영국 MacTutor 수학사 사이트에 기록된 처음이자 현재까지는 유일한 한국인 수학자이다. 이임학 교수의 장례 기념식장에서 UBC 수학과장인 블루만^Bloomann 교수는 이임학 교수의 수학적 업적을 소개하면서 ‘이임학교수가 UBC 수학과를 세계 지도 위에 올려놓았다’고 소개하였다. (이임학에 관한 다음의 동영상을 참고할 수 있다.)

2. 임덕상 : 아이비리그 첫 한국인 수학교수

앞서 말했듯 수학의 발전에 기여한 인물들을 소개한 프랑스 듀도네의 저서 『A Panorama of Pure Mathematics』에 기록된 한국인 수학자는 이임학과 임덕상 교수뿐이다. 그러나 임덕상 교수에 대한 자료는 많지 않아, 권경환(미시간대 수학과장 및 Postech 수학과 석좌교수 역임)교수가 쓴 국립 서울대 예과(청량리 교사)의 수학과 모습 속에서 임덕상 교수의 흔적을 찾아보려고 한다.

“보통 실제 강의 시간에는 십여 명 정도가 수업을 들었는데 시험 볼 때는 그 수가 증가하여 40-50명 정도 시험을 치렀다. 당시는 생활고로 인하여 1학년 때부터 중고등학교 교사로 취직한 사람이 많았고, 회사에 취직한 사람도 있어서 강의 시간에 꼬박꼬박 나오는 사람은, 동기 중 5, 6명에 불과하였다. 그 중 임덕상 학생은 워낙 명석한 두뇌를 가지고 있었을뿐더러 노력도 남다르게 하는 까닭에, 고등학교 교사로서 고달픈 생활을 하면서도, 매일 강의를 듣는 다른 누구에게도 뒤지지 않게 공부를 잘 하였다”. 당시에는 시험지에 답을 써내면 대개 학점을 주었다고 한다. 교수로는 최윤식(교수)과 이임학(조교수)이 근무했고, 해방 후 1회 졸업생인 된 윤갑병 선생이 조교(전임)였고, 박정기(일본 동북제대 졸업), 유충호(일본 도쿄제대 중퇴, 월북) 두 선생이 강사였다.

대학을 졸업한 임덕상은 6·25 전쟁 중 9·28 서울 수복 이후 이화여고 교사로 재직하다, 1955년경에 미국으로 건너가 인디아나^Indiana대에서 1957년 대수기하분야로 박사 학위를 받았다. 학위를 마치고, 당시 수학계의 큰 관심사였던 카르당^{H. Cartan}과 아일린버그^{S. Eilenberg} 의 ‘Homology 대수’에 관한 문제를 해결하여 논문 ‘Modules over finite groups’ (Ann. of Math. 69, pp700-712)를 발표하면서 유한군 위에 정의된 모듈의 분류 이론을 만들어 세계수학계를 놀라게 했다. 임덕상의 변형이론에 관한 논문[3]은 1966년 필즈상을 수상한 임덕상의 절친한 친구인 그로텐딕^{Alexander Grothendieck, 1928~}의 연구에 큰 기여를 하였다.

임덕상은 졸업 후 1964년까지 컬럼비아^Columbia대학에서 박사후 연수과정을 마치고, 브랜다이스^Brandeis대학 부교수로 근무하였으며, 1965년 펜실베니아대^{Univ. of Penn, UPenn}에 교수로 부임하였다. 재미과학기술자협회^KSEA 창립위원을 역임하고, 초대 KSEA 본부평의원(1972~1975)과 초대장학위원(1978~1981)으로 봉사하였다. Journal of Algebra의 편집위원과 AMS 저널의 편집장을 역임하였다.

대한수학회는 1971년 임덕상을 초청하여 일주일간 특별강연회를 가졌다. 임덕상 교수는 펜실베니아대학에서 수학과 대학원 학과장(1974~1975), 수학과 학과장(1975~1978)으로 근무했다. 1982년 11월 18일 지병인 간암으로 향년 54세의 젊은 나이로 돌아가실 때까지 펜실베니아대학 수학과에 많은 기여를 하였고, 후에 웨스트 로렐 힐 한인공동묘지에 안치되었다. 우성식(이화여대 수학과 명예교수)교수가 1982년 당시 펜실베니아대학 수학과 임덕상 교수의 박사과정 학생으로 지도를 받았다.

1960년대 초반에 이미 이임학, 임덕상과 같은 세계적인 한국인 수학자가 있었다는 사실은 지금 젊은 수학자들에게도 큰 힘이 된다. 그간 발굴된 임덕상 교수에 관한 자료가 거의 없으므로 여기서 처음으로 그 내용의 일부를 소개하였다.

1938년 박사학위를 취득한 장세운 박사와 그 후 17년 만인 1955년에 두 번째로 수학박사학위를 취득한 이임학 교수가 모두 미국과 캐나다에 정착하였다. 이후 1957년 박사 학위를 취득한 임덕상 교수까지 미국에 정착하게 된다. 해외로 유학을 간 수학자 중 윤갑병은 1958년 시라큐스^Syracuse대학에서 논문 ‘Algebraic Laplacian and it s discrete boundary value problems in a simplicial complex’ 로 수학박사 학위를 획득한 후 가장 먼저 귀국하였다. 한국에서의 현대수학 연구는, 1975년부터 5년간 지원된 AID 계획에 따라 이임학 교수를 포함한 재미수학자들이 국내대학에 초청되어 강의를 담당하면서 자리를 잡기 시작했다. 이를 통하여 대학원 교육의 수준이 높아졌다는 것을 대한수학회사 1권(50년사)에서 확인할 수 있었다. 1950년에서 1980년 사이 우리나라의 현대수학 연구는 재미수학자들이 주도했다고 볼 수 있다.