[한국 과학기술의 결정적 순간들] 1975년 박세희, 한국 수학계의 기틀을 세우다

한국전쟁 이후 1960년대 한국 수학계는 한동안 낙후된 현실에서 벗어날 수 없었다. 해방 직후 그나마 남아 있던 수학계 인력은 남과 북으로 흩어져 두 동강이 났고, 겨우 모습을 갖추고 있던 교육시설도 전쟁으로 파괴되어 그것의 복구만으로도 힘에 부쳤다. 이 시기 수학자의 길로 들어선 박세희는 서울대학교 수학과의 정비와 대한수학회의 운영에 도맡으며, 한국수학계의 발전을 위한 고민을 하게 되었다. 그리고 1975년 미국에서 박사학위를 취득하고 돌아온 그는 후학양성을 위해 대학원 교육을 강화하고 학회지 개편, 지부자치제, 국제수학연맹^IMU 가입 등 대한수학회의 제도화를 위해 노력했다. 한편 그는 학과와 학회 일로 바쁜 가운데서 본업인 연구 활동을 게을리하지 않았다. 그는 함수의 성질을 연구하는 해석학 분야에서 비선형해석학을 연구하며 ‘해석적 부동점 정리’를 통일하고, ‘추상볼록공간의 이론을 정립’하는데 큰 기여를 했다. 이러한 그의 수학적 성과는 유학을 다녀온 후 400여편의 논문으로 발표할 정도로 꾸준히 이어진 연구 활동의 결과물이었다. 이런 박세희의 다방면에서의 활동으로 후진성을 면치 못하고 있던 한국에서 한국 수학계는 그 발전의 기틀을 마련할 수 있었다.

박세희는 1935년 11월 28일 5남 3녀의 5남으로 전라북도 군산에서 태어났다. 그의 부친은 강원도 통천 출신으로 보통학교 교사로 근무하며 군산에서 박세희를 낳았다. 이후 아버지가 고향으로 다시 돌아가면서 그는 소년 시절을 통천에서 보냈다. 1942년 통천국민학교(오늘날 초등학교)에 입학한 그는 유독 소설책 읽기를 좋아해서 가족들은 그가 문학가가 될 수는 있어도 수학자가 될 것이라곤 생각지 않았다고 한다. 박세희는 해방 후 5년제가 된 통천국민학교를 졸업하고, 1947년 통천초급중학교(오늘날 중학교)에 진학했다. 그는 1학년 때 담임선생님의 권유로 3년간의 수학교과서 문제를 풀어본 것을 계기로 수학이라는 학문에 처음 매력을 느꼈고, 3년간 학업에 매진한 결과 강원도 인민위원장상을 받으며 수석으로 졸업했다.

1950년 그는 통천고급중학교(오늘날 고등학교)에 진학했다. 하지만 이때 한국전쟁이 반발하면서 그의 인생에도 큰 위기가 찾아왔다. 아침 6시에 등교하여 6시간 수업을 하고, 오후에는 방공호를 만드는 작업에 동원되어 제대로 학업을 하기 힘들었다. 심지어 북한 당국의 명령으로 학교들이 폐쇄되면서 그의 학창 시절은 중단되어 버렸다. 10월에 국군이 38선을 넘어 통천에 들어와 11월 후퇴할 때 큰 형과 넷째 형은 남한으로 떠났고, 박세희는 형수, 조카, 누이 둘을 데리고 피난을 다녔다. 이 와중에 고향에 머물고 있던 아버지가 중풍으로 돌아가셨고, 어머니는 그 역시 남한으로 가길 원했다. 박세희는 어머니의 의견대로 누이들을 두고 큰형의 가족들만 데리고 월남하였다. 그런데 주문진에서 만나기로 한 형들이 1.4 후퇴 때 다른 곳으로 이동하는 바람에, 할 수 없이 그곳에서 형수와 어린 조카들을 데리고 피난살이를 했다. 이후 1951년 8월 주문진으로 찾아온 형을 따라 군산으로 가게 됐다.

군산에서 그는 형 가족들과 단칸방에 살아야 할 정도로 매우 궁핍했다. 생활에 보탬이 되고자 군산비행장을 비롯한 여러 곳에서 중노동도 했지만 어린 탓에 해고되기 일쑤였다. 생활이 좀처럼 나아지지 않자 일자리를 찾아보고자 그는 형들이 모아둔 돈을 들고 가출하여 대전으로 갔다. 운 좋게도 그는 일본어와 영어를 할 수 있다는 이유로 도매 서점에 바로 취직할 수 있었고, 이 서점을 운영하던 출판사 사장의 권유로 대구에 있는 출판사로 가게 됐다. 출판사로 이직한 그는 편집국장의 눈에 띄어 원고 정리와 교정을 하는 정식 직원이 됐다. 출판사에 근무하면서 그는 수학 분야의 책에 관심을 갖게 됐다. 그는 시간이 날 때 수학문제를 풀며 지냈고 덕분에 독학으로 고등학교 수학을 익힐 수 있었다.

그의 학구열을 본 주변 사람들은 그에게 고등학교에 진학해 볼 것을 권했다. 그는 출판사를 다니면서 1953년 4월 대구의 한 야간 고등학교 3학년으로 편입했고, 한 학기를 마친 후 휴전이 되자 서울의 학교로 진학할 요량으로 상경했다. 하지만 서울의 학교들은 진학하려는 학생 수도 많았고, 입학자에게 받고 있던 기부금을 낼 처지도 아니어서 번번이 입학을 거부당했다. 할 수 없이 그는 가족이 있던 군산으로 돌아가 1954년 군산고등학교 3학년 2학기에 편입했다. 그간의 학업량이 부족했던 탓에 영어, 물리, 화학 같은 과목은 잘 못했으나, 꾸준히 해온 수학은 남들보다 월등했다. 자연스레 그는 대학을 진학해서 수학을 배우기로 결심했다.

1955년 4월 서울대학교 문리과대학 수학과에 입학했다. 제대로 된 정규교육도 못 받고, 집안의 경제적 지원도 없이 그 스스로 능력만으로 한국 최고 학부에 진학한 것이다. 입학 후 그는 대학 도서관에 전쟁으로 겨우 몇십 권 남은 수학책을 읽으며 정리한 리뷰논문을 ≪문리대학보≫에 게재할 만큼 학구열이 남달랐다. 그러나 수학자로서 살아갈 확신은 없었다. 가정 형편을 생각하면 졸업 후 중고등학교 교사로서의 길도 나쁘지 않다고 생각했기 때문이다. 이런 고민을 하고 있을 때 그를 붙잡은 이가 스승이자 한국을 대표하던 수학자인 최윤식이었다. 서울대 문리과대학장, 대한수학회 초대 회장을 지낸 최윤식은 수학에 남다른 재능을 가지고 있는 박세희 눈여겨보고 있었다. 1954년 11월 졸업 직전의 그를 부른 최윤식은 “나의 밑으로 들어와 조교를 하면서, 서울대 수학과를 위해, 대한수학회를 위해, 우리나라 수학계를 위해 수학을 일으켜라”고 당부했다. 이 스승의 당부는 그의 삶의 지침이 되었다.

1959년 서울대 대학원에 입학한 박세희는 생계를 위해 서울고등학교 교사가 되어 학업과 교직을 병행했다. 그런데 교사를 하는 동안 충격적인 사건이 생겼다. 믿고 의지했던 최윤식이 사망한 것이다. 당시 그는 결혼을 앞두고 있었지만, 스승의 죽음으로 결혼식을 한 달을 연기하여 1960년 9월에 결혼했다. 그리고 그해 최윤식 대신 권경환 교수의 지도를 받아 논문 ｢두 개의 입체 뿔이 달린 구체의 결합^{The Union of Two Solid Horned Spheres)}｣으로 석사학위를 받았다. 학위를 받은 후 대학 강의를 희망했으나, 3년 이상의 연구경력을 조건으로 하는 규정 탓에 강의를 할 수 없었다. 게다가 건강 문제가 생겨 교사직도 내려둔 터라 2년간 출판사 아르바이트를 하며 연구는 뒷전으로 하고 있었다. 그런데 1963년 서울대 수학과의 강사가 부족해지면서 당시 학과 주임이었던 하광철 교수가 그를 불러 강의를 부탁했다. 그는 강의를 하며 연구를 재개했고, 당시는 석사학위만으로도 교수가 될 수 있던 터라 1966년 서울대학교 문리과대학 수학과 교수로 임용되었다.

박세희는 수학과의 발전을 위해서는 무엇보다 연구 전통이 세워져야 한다고 생각했다. 그는 1967년 수학과 안에 대학원 교육만으로는 부족한 학습을 메우기 위해 연구 세미나를 조직했다. 주로 외국의 논문을 읽고 토의하고 발표하는 식으로 운영되었고, 이 세미나는 그가 은퇴할 때까지 35년간 지속됐다. 1970년 학과 주임교수를 맡으면서 가장 심혈을 기울인 부분은 대학원 교육이었다. 서울대에서 25년간 수학과가 운영되고 있었지만, 외국으로 박사학위를 취득하러 간 졸업생들이 돌아오지 않아 강의의 질이 크게 향상되기 어려웠다. 이 문제 해결을 위해서는 학과에서 박사학위자를 배출할 필요가 있다는 의견이 나왔다. 박세희를 비롯한 학과 교수들은 석사학위 없이 학술지에 발표한 몇 개의 논문을 묶어서 제출하면 학위를 주는 일제식의 구제^舊制 박사를 선발하기로 했다.¹ 그렇지만 이 구제 박사로는 생각처럼 연구와 교육이 나아지지 않았다. 이에 박세희는 본인이 유학을 다녀올 결심을 하고 휴직하고 미국으로 향한다.

1972년 박세희는 미국 인디애나대학교^{Indiana University at Bloomington}로 유학을 갔다. 그는 서울대의 석사 과정에서 취득한 학점이 7년을 경과하여 인정받지 못하는 바람에 석사 과정 수업부터 재이수해야 했지만, 오히려 강의를 더 들을 수 있다는 것에 만족했다고 한다. 그는 불철주야 수업과 논문 쓰는데 집중한 결과, 위상수학자 야보롭스키^{Jan W. Jaworowski}의 지도로 1975년 5월에 ｢다중값 대칭곱 함수의 부동점이론^{Fixed point theory of multi-valued symmetric product functions}｣을 제출해 박사학위를 취득했다.

1975년 7월 박세희는 귀국하여 곧바로 서울대 수학과로 복귀했다. 당시 서울대는 3월부터 관악 캠퍼스로 옮기면서 단과대학 및 학과 개편을 하고 있었다. 문리과대학 수학과는 자연과학대학 수학과가 되었고, 박세희는 학과의 강의와 대학원의 개편을 맡아 진행했다. 특히 그는 학과의 발전을 위해서는 대학원을 강화해야 하고, 이를 위해 구제 박사 수여를 중지하고, 석사학위를 거쳐 학위논문을 별도로 작성하여 학위를 주는 신제^新制 박사를 배출해야 한다고 주장했다. 박세희는 대학원의 수업내용과 강의방식을 전면 개편하여, 7년 만에 그의 지도하에 첫 신제 박사를 배출하였다.

한편, 박세희는 1978년 대학수학회의 부회장이 선출되어, 학교 업무로 바쁜 와중에도 활발한 학회 활동을 했다. 사실 그는 1959년 대학원에 진학하면서부터 당시 대한수학회 회장이었던 최윤식을 도와 학회 활동을 시작했다. 교수로 임용된 후에는 학회지 편집 및 발행을 맡았고, 미국으로 유학을 가기 직전에는 총무이사를 맡아 학회의 재정 및 운영 등 실무에 참여했다. 이 때 그는 수학과 주임교수이자 수학과 동창회 부회장도 맡고 있어, 그의 선배들은 박세희가 수학과, 동창회, 수학회 삼권을 장악했다며 그의 능력을 인정해 주었다. 유학을 다녀와서 부회장이 된 그는 당시 회장이었던 권택연과 함께 임원의 세대교체, 단임제, 지부자치제, 재원 확보, 국제수학연맹^IMU 가입, 대한수학회상 제정 등 학회의 기반 마련에 실질적 역할을 했다.

1982년 10월 박세희는 비교적 젊은 나이인 47세에 대한수학회의 7대 회장으로 당선되었다. 누구보다 학회의 운영과 발전에 앞장서 왔기에 그의 회장 취임은 자연스러웠다. 회장이 된 후 그는 더욱 학회 일에 집중했다. 첫째, 1960년 이후 진행되지 못한 춘계학술대회를 복원하고 분과회를 결성했다. 둘째, ≪수학교육논총≫, ≪논문초록집≫, ≪뉴스레터≫를 정기간행물로 발간하기 시작했다. 셋째, 중고등학교 수학 교과과정을 분석 검토하기 위해 현재까지도 이어지고 있는 “수학교육 심포지엄”을 개최했다. 넷째, 회지와 회보의 운영과 체제를 정비하여 글로벌한 잡지가 될 수 있게 현대화했다. 이처럼 그는 대한수학회의 발전의 초석을 마련했고, 학회의 발전을 상징하는 산증인이기 때문에, 2015년 학회가 야심차게 준비한 『대한수학회 70년사 발간』의 총책임자로 추대하였다. 이 책은 대한수학회의 역사를 846페이지에 이르는 방대한 내용으로 정리된 것으로 2017년에 출간되었다.

박세희는 박사학위 취득 후 학과, 학회 활동뿐 아니라 개인의 연구 활동에도 소홀하지 않았다. 그는 한 인터뷰에서 “1961년부터 1970년까지 사는 데 급급하여 연구하기 가장 좋은 시기에 제대로 된 연구를 못한 것을 가장 아쉬웠다”고 했다. 그래서인지 그는 유학을 다녀온 후 자신이 조직한 세미나를 주관하며 매해 5편 이상의 논문을 발표했다. 특히 그 중 2편 이상은 해외 학술지에 발표하면서 자신의 성과를 해외에도 알렸다.

박세희는 대외활동이 활발했던 기간인 1975년부터 1995년까지 20년간 120여편, 연구에 집중한 1996년부터 2001년 퇴임 기간까지 5년간 무려 110여편의 논문을 발표했다. 정년 이후에도 매해 10편 이상의 논문을 꾸준히 발표하여 국내외 학술지에 게재했다. 1961년부터 2023년까지 국내 180여 편, 국외 280여 편, 총 460여 편의 연구논문과 300여 편의 미국수학회 수학리뷰^{Mathematical Reviews}, 100여 편의 수학사와 수학철학 해설논문, 29권의 저서와 역서 등 900편 가까운 방대한 업적을 남겼다. 이렇게 많은 논문을 발표한 이유를 그는 다음과 같이 밝힌 적이 있었다.

임팩트가 크지 않은 작은 논문도 많이 썼는데,
이것은 한국 학자들의 논문 수가 적었던 시대에 우리나라를 알려야 하겠다는 생각에서였고,
다른 한편으로는 국내외의 여러 학술지들을 활성화시키기 위한 목적도 있었습니다. 
(｢원로와의 대화｣, ≪사이언스타임즈≫ 2012. 4. 19)

그의 방대한 업적은 수학의 해석학 분야에서 발표된 것으로, 크게 세 가지로 요약할 수 있다. 하나는 ‘비선형해석학에서의 해석적 부동점 정리들을 통일한 것’이다. 해석학에 나오는 여러 가지 부동점 정리들을 한 이론으로 만든 것이다. 두번째는 ‘KKM 공간(추상볼록공간)의 이론’을 정리한 것이다. 이는 앞의 업적의 연장선에 있는다고도 볼 수 있다. 박세희는 세 명의 폴란드 수학자들이 만든 추상볼록공간의 정리에서 파생되는 백여 개의 정리와 그것과 관련된 일반적인 연구를 하나로 요약하여, 새로운 방대한 논리체계인 ‘Grand KKM Theory’를 확립했다. 세 번째 연구는 최근에 시작한 순서적 부동점 이론으로서, 과거의 이론을 새로운 관점에서 개량하려는 것이다. 이는 그간 연구로 쌓은 그의 마지막 연구 열정을 담은 활동이다.

한편, 박세희는 수학사에도 큰 관심을 가졌다. 서울대 교양강좌로 <수학의 세계>라는 과목을 개설하고 1985년 교과서를 출판하며 수학사를 가르쳤다. 그는 한 인터뷰에서 “수학의 기본적인 모습, 즉 어떠한 사고 체계에 의해서 그러한 개념들이 형성되었으며 또 어떠한 논의를 통해 오류가 지적되고 발전해 나가는가에 대한 하나의 상을 전달해주고 싶어서”라며 수학사에 관심을 두게 둔 이유를 말하기도 했다. 수학사에 대한 애정이 컸던 만큼 1982-90년에는 한국과학사학회 이사로 활동하기도 했다.

그는 수학의 대중화에도 심혈을 기울였다. 수학이 어려운 것이 사실이지만, 제대로 이해하면 재밌고 흥미로운 학문이라는 것을 알리는 일이 중요하다고 생각했다. 이를 위해 중고등학교 교사들과 수학자들을 연결하여 어린 학생들이 수학에 대한 흥미를 갖게 하고자 대한수학회 주관으로 정기적으로 <수학교육 심포지엄>을 열게 했다. 또한 수학사, 수학 철학 등을 알기 쉽게 소개하는 “일화로 엮은 수학자들의 생애”, “괴델 탄생 백주년 즈음하여” 등 대중용 글을 신문과 잡지에 자주 발표했다. 그 밖에도 1973년 『중국의 수학』, 1984년 『수학의 확실성』, 2002년 『수학의 철학』 (아카넷)을 번역 출간했는데, 이 책은 수학사와 수학철학 분야의 연구자들의 필독서이다.

박세희는 1975년 박사학위를 취득하고 돌아오면서 한국을 대표하는 수학자로 거듭나기 시작했다. 그는 서울대 수학과 교수로서 대학원을 활성화시키고 많은 후학을 양성하여 교육자로서 소임을 다했다. 또한 그는 대한수학회를 이끌어가는 임원으로서 학회의 제도화, 활성화를 위해 다양한 노력을 실질적으로 했다. 마지막으로 그는 유학을 다녀온 후 최근까지도 수많은 논문을 국내외 학술지에 발표하고, KKM이론을 종합하며 수학자로서의 의무도 잊지 않고 활동했다. 박세희는 교육도 일도 어느 하나 소홀히 하지 않으면서, 누구보다도 열정적인 연구활동을 했다. 이러한 그의 노력들 덕분에 한국 전쟁 이후 한국 수학계는 낙후된 현실 속에서도 제도적 기틀을 세우며 한국 수학의 발전의 초석을 다질 수 있었다.