Science and Replication
과학과 객관성
과학은 객관성이 안정적으로 확보되는 분야로 여겨진다. 객관성이 부족하다고 간주되는 다른 분야의 결과물, 예를 들어 문학작품과 과학지식을 비교할 때 과학자들은 과학이 객관적이라는 점을 자주 강조한다. 이때 부각되는 객관성에 대한 직관은 주관성에 반대되는 것이다. 특정 문학작품에 대해 평가할 때 사람마다 전혀 다른 주장을 제시할 수 있고 각각의 판단은 나름 주관적으로 의미 있다고 할 수 있겠지만, 과학연구에 대한 평가는 확고부동한 실험적 사실이나 논리적으로 잘 짜인 수학적 계산이 제시된 다음에는 누구나 동의할 수밖에 없는 필연성이 있다는 것이다.
물론 조금만 생각해 보아도 이런 단순한 대조에는 문제가 있다. 우선 문학작품에 대한 평가가 그렇게 임의적인 것은 아니다. 수산 바이어트의 부커상 수상작 <소유possessions>처럼 문단과 일반 독자 모두로부터 압도적인 찬사를 받은 작품이 있고, 평론가만이 아니라 대부분의 일반 독자에게도 외면받는 작품이 있다. 한편 모든 사람들이 과학자가 제시한 실험적, 이론적 근거를 보고 특정 이론이 맞고 틀린지에 대해 명백하게 알 수 있는 것도 아니다. 오직 관련 주제에 대해 상당한 배경지식이 있고, 관련 연구를 오랜 기간 진행해 온 연구자만이 ‘전문가적’ 판단을 내릴 수 있다. 입자물리학자와 분자생물학자가 상대방 전문분야 논문에 대해 타당한 학술적 판단을 내릴 수 없는 이유가 여기에 있다.
게다가 이런 전문성을 갖춘 사람들조차 실험적 근거가 정말로 결정적인 근거인지, 이론적 계산이 적절하게 이루어졌는지를 두고 항상 의견이 일치하는 것은 아니다. 만약 그렇다면 과학계에서 ‘논쟁’은 벌어지지 않을 것이다. 하지만 중요한 점은 이러한 과학논쟁이 과학의 객관성을 손상시키는 것이 아니라 오히려 과학의 객관성을 지켜주는 중요한 제도적 장치라는 점이다. 과학이 끊임없이 진보할 수 있는 이유는 과학자들이 다른 과학자의 주장을 액면 그대로 받아들이지 않고 끊임없이 그 타당성을 검증하고 확인하는 과정을 거쳐 오류를 수정하고 더 나은 과학지식을 추구하기 때문이다. 이런 점을 고려할 때 과학의 객관성을 (다른 분야와 달리) 모든 (전문가로 한정하더라도) 과학자 사이에 의견 차이 없이 금방 합의할 수 있는 경험적, 이론적 근거가 있다고 생각하는 것은 타당하지 않다.
과학지식의 객관성, 과학연구의 객관성
과학자들이 실험적, 이론적 증거가 제시되면 (제대로 된 전문가라면 누가 판단해도) 과학의 객관성에 이견이 없을 것으로 생각하는 이유는 과학연구와 과학지식을 혼동하기 때문이다. 즉 새로운 과학적 지식을 만들어가는 ‘연구’ 활동에서 객관성이 확보되는 방식과 이미 관련 논쟁이 종료되어 해당분야 전문가들이 모두 합의하고 교과서에까지 실린 과학지식이 학문 후속세대에게 교육되는 과정에서 객관성이 발현되는 방식의 차이를 간과하기 때문이다.
현재 물리학 교과서에 실려 있는 과학지식, 예를 들어 양자역학의 기본적인 공식들은 수많은 실험적 증거와 이론적 분석에 의해 입증되었다. 물론 원칙적으로 이같은 실험적 증거도 미래 연구를 통해 ‘잘못’ 해석되어 왔다고 밝혀질 수 있으며, 확고해 보였던 이론적 분석도 지금까지 탐색되지 않았던 특정 조건에서는 ‘한계’가 있음이 인정될 수 있다. 하지만 그런 일이 실제로 일어나기 전까지 이런 과학지식은 그 지식을 평가할 수 있는 전문성을 가진 사람들 사이에서 광범위한 합의가 존재한다는 의미에서 객관적이다.
그에 비해 현재 한창 진행 중인 연구에서는 특정 과학자의 주장에 압도적인 증거가 집중되는 ‘인식적 비대칭성’이 있어서 전문가들 사이에서 손쉽게 합의가 도출되는 행복한 경우가 드물다. 그보다는 서로 경쟁하는 이론이나 실험 결과를 지지하는 과학자들이 자신의 견해를 보다 ‘객관적으로’ 만들기 위해 동료 과학자를 설득할 수 있는 다양한 증거와 설명 방식을 고심하는 경우가 대부분이다. 과학연구에서 보다 흔한 이런 과정은 결국 과학적 ‘객관성’을 구성해나가는 과정이라 할 수 있다.
이 구성과정, 즉 경쟁하는 주장을 평가해서 보다 타당한 과학지식을 형성함으로써 과학적 객관성을 확보해 나가는 과정에서 중요한 인식적 도구로 사용되는 것이 재현replication이다. 특정 실험실에서 산출된 결과는 아무리 그 실험실에서 오류가능성을 제거하려고 노력을 기울였더라도 미처 발견되지 못한 오류가 여러 측면에서 숨어 있을 수 있다. 이때 다른 실험실에서 같은 실험 결과를 재현하는 데 성공한다면, 실험결과의 객관성에 대한 믿음이 강화될 것이다. 원칙적으로 동일한 실험조건 하에서 동일한 결과를 얻었다면, 실험결과가 자연에 실재하는 효과라는 결론에 귀납적 지지를 제공하는 셈이 되는 것이다.
과학적 객관성의 두 의미
물론 보다 근본적인 수준에서 따져 보면 한 과학자의 연구 결과가 다른 과학자에 의해 재현되었다는 사실 자체가 처음 결과가 ‘참’임을 보장해 주지는 않는다. 원래 결과와 재현 결과 모두 잘못일 가능성이 있기 때문이다. 이 가능성이 순수하게 논리적인 가능성이어서 실제 과학연구에서는 무시해도 좋은 가능성이 아니라는 점도 주목해야 한다.
19세기 중반 르 베리에라는 프랑스 천체물리학자는 수성의 근일점 이동을 뉴턴 역학으로 설명하기 위해 수성 안쪽에 그전까지 발견되지 않은 벌컨이라는 새로운 행성이 있다고 가정했다. 르 베리에의 발표 직후 프랑스에서 벌컨을 보았다는 보고가 처음 나왔고, 이후 유럽과 미국의 여러 천문학자에 의해 벌컨 관측이 보고되었다. 즉 처음의 벌컨 관측 보고가 다양한 관측 조건하에서 수십 차례 이상 재현된 것이다. 하지만 현재 우리는 수성 안쪽에 벌컨이라는 행성은 없다고 알고 있으며 수성의 근일점 이동은 르 베리에 사후에 등장한 아인슈타인의 일반 상대성 이론을 통해 설명되었다.
이처럼 특정 과학적 결과가 재현 가능하다는 점이 결과가 참이라는 것을 보장해 주지는 않는다. 과학자들은 흔히 과학이 객관적이라는 표현을 두 가지 (분명 서로 연관되어 있지만) 서로 다른 의미로 사용한다. 첫째는 과학연구 결과 얻은 지식은 참이 보장되어 있다는 의미이고 다른 하나는 그 지식이 특정 과학자의 주장에 의존하는 것이 아니라 복수의 전문가에 의해 상호주관적인 검증을 거쳐 수용되었다는 것이다.
벌컨의 사례는 재현이 과학의 객관성에 어떤 기여를 하는지 정확하게 보여준다. 벌컨 관측은 분명 상호주관성의 의미에서 객관성이 확보된 방식으로 이루어졌다. 하지만 그럼에도 불구하고 (현재 우리가 갖고 있는 과학지식에 따를 때) 벌컨은 존재하지 않는다. 이처럼 재현은 확실하게 참을 보장해준다는 의미에서의 객관성을 제공해주지는 않지만, 과학연구 결과가 (특정 과학자의 실험실이나 계산 결과를 넘어서) 관련 전문가 집단의 공동체적 승인을 얻었다는 상호주관적 의미의 객관성 확보에 결정적으로 작용한다.
재현의 어려움
재현가능성이 이처럼 객관성을 위해 중요하다는 점은 분명하지만 재현가능성의 확보에는 근본적인 수준에서 여러 인식론적 어려움이 존재한다. 그 이유의 핵심에는 과학연구가 복잡한 방식으로 수행하기 어렵다는 사실이 자리 잡고 있다.
당신이 가위로 동그라미를 자르는 방법을 어린아이에게 가르친다고 상상해 보자. 당신은 가위를 들고, 아이에게 엄지와 검지를 어떻게 가위 구멍에 집어넣고, 어떤 방식으로 힘을 주어 가며 종이에 그려진 원을 잘라내는지 시연해 보여줄 수 있다. 그리고 아이가 당신을 따라 하면서 어려움을 겪을 때마다 조언을 해주며 가위를 사용하는 법을 익히도록 도와줄 수 있다. 최종적으로 아이가 가위 사용법을 확실하게 익혔는지 여부를 확인하고 싶다면, 동그라미가 그려진 종이를 하나 주고 잘라보라고 하면 된다.
이처럼 일반적으로 특정 행위를 재현하는 것은 그 행위를 시연하고, 재현하는 사람이 행위를 모방할 때 조언해주는 과정을 거친다. 만약 행위가 아주 쉬운 것이라면 조언도 필요 없이 시연만 보고도 그대로 따라 할 수 있다. 요즘 많은 사람들이 유튜브를 보고 기계의 작동법이나 프로그램 사용법을 익히는 것이 이에 해당된다. 마지막으로 중요한 점은 재현이 ‘성공’했는지에 대한 확정적인 테스트가 있다는 것이다. 이 테스트를 통과해야만 비로소 재현이 이루어졌다고 인정할 수 있게 된다.
과학에서도 전문가 사이 합의를 거쳐 과학지식의 지위를 획득한 내용에 대해서는 동일한 방식으로 재현가능성이 확보된다. 기존 과학지식을 배우는 교육과정의 실험을 생각해 보자. 교육과정에 포함된 실험은 이미 실험이 ‘제대로’ 수행되었다고 할 수 있는지에 대해 전문가들 사이에서 합의된 기준이 있다. 당연히 실험자가 재현에 성공했는지 여부는 이 기준이 충족되었는지를 확인하면 되므로 논란의 여지가 있을 수 없다. 재현에 성공했다면 그냥 그 결과를 실험보고서에 써내면 되지만, 재현에 성공하지 못했다면 왜 실패했는지에 대해 객관적 근거에 입각한 ‘자기반성’이 실험보고서에 포함되어야 한다.
재현에 실패한 이유는 다양할 수 있지만 기본적으로 실험자의 ‘숙련도’ 부족이 가장 흔한 이유이다. 화학자-철학자 마이클 폴라니는 과학연구의 전문성에서 언어나 수식으로 표현될 수 있는 명시적 지식 말고도, 그가 개인적 지식이라 부른, 연구자가 오랜 연구 경험을 통해 체화한 암묵적 지식이 중요한 부분을 차지한다고 주장했다. 똑같은 실험 장치를 갖고 실험하더라도 실험실에 갓 입문한 초보 대학원생은 엄청나게 주의를 기울이고도 연구실의 이전 연구결과를 재현하는 데 실패하는 경우가 많다. 반면에 그 실험실에서 오랜 경험을 쌓은 전문 연구자는 적어도 초보자가 보기에는 신기할 정도로 능숙하게 재현을 성공시키곤 한다. 이처럼 과학연구에서 재현은 아무나 할 수 있는 것이 아니라 그 실험을 성공적으로 수행할 수 있는 적절한 전문성을 갖춘 사람들만이 수행할 수 있다. 당연히 특정 연구 결과가 재현가능한지 여부를 판단하기 위해서는 이렇게 적절한 전문성을 가진 사람들에 한정해서 해당 결과를 재현할 수 있는지를 살펴야 한다.
물론 전문성을 갖춘 연구자들조차 재현을 성공하는 것이 쉽지 않은 경우가 있다. 특히 첨단 연구를 경쟁적으로 수행하는 연구팀들의 경우 자신보다 연구 기량이 앞선 연구팀의 결과를 재현하는 일 자체가 도전적 과제인 경우도 많다. 하지만 이 경우에도 재현의 성공기준에 대해 관련 전문가 사이에 미리 합의된 ‘기준’이 있기만 하면 별다른 인식론적 문제는 발생하지 않는다.
과학사회학자 해리 콜린스는 지금은 물리학 실험에서 널리 사용되는 TEA 레이저의 초기 제작 과정이 제일 처음 레이저를 만들었던 연구팀의 발표 논문에 실린 ‘명시적 지식’ 외에도 그 연구팀이 TEA 레이저 개발과정에서 축적한 ‘암묵적 지식’에도 결정적으로 의존했다는 점을 지적했다. TEA 레이저의 유용성을 인지한 여러 연구팀이 레이저를 만들려고 시도했지만, 오직 처음 TEA 레이저를 만든 연구팀과 ‘직접적’ 접촉이 있었던 연구팀만이 제작에 성공했다. 여기서 ‘직접적’ 접촉이란 처음 레이저를 만든 연구팀 출신의 박사후연구원을 자신의 연구팀에 초청해 함께 레이저를 제작하거나 역으로 그 연구팀에 자신의 연구원을 파견 보내 제작 방법을 배워오게 하는 방식을 의미한다. 콜린스는 엄밀한 과학연구 과정에도 명시화하기 어려운 장인적 성격이 있으며 그 암묵적 측면이 종종 과학연구의 성공에서 결정적 역할을 한다는 점을 잘 보여주었다.1
하지만 우리의 논의를 위해 중요한 점은 TEA 레이저의 경우, 레이저를 제대로 만들었는지 객관적으로 검증할 수 있는, 즉 원래 제작팀의 성과를 ‘재현’하기 위해 어떤 기준을 만족해야 하는지에 대해 관련 전문가들 사이에 합의가 존재했다는 사실이다. 즉, 제대로 만들어진 TEA 레이저는 어느 정도 두께의 콘크리트를 투과할 수 있어야 한다는 ‘재현’ 기준에 모든 관련 전문가들이 동의했던 것이다. 이처럼 재현 자체를 달성하기는 매우 어려운 상황이더라도 재현의 성공기준에 대해 합의점이 있다면 과학연구의 객관성은 재현을 통해 확보될 수 있다.
문제는 최첨단 연구에서는 종종 합의된 재현의 기준이 미리 존재하지 않아서, 연구팀마다 다양한 기준을 제시하며 서로 경쟁한다는 사실이다. 이는 조금만 생각해 보면 너무도 당연한 일이다. 최첨단 연구란 정의상 관련 전문가들 사이에서도 특정 연구 결과의 타당성 자체에 대해서도 논쟁을 벌이는 영역이다. 이 논쟁은 과학연구의 ‘내용’만이 아니라 ‘방법’이나 실험기구의 ‘정상적 작동’, 어떤 경우에는 경쟁하는 연구팀의 ‘숙련도’를 놓고서도 진행된다.2
콜린스의 다른 사례 연구를 살펴보자. 아인슈타인의 일반상대성 이론이 물리학자들 사이에서 널리 수용되면서 이론이 요구하는 중력파의 존재 자체는 널리 수용되었다. 하지만 중력파를 검출하는 일은 다른 모든 인과 요인을 제거하고 남은 미약한 신호를 감지해야 하기에 매우 어려운 과제로 여겨졌다. 이런 상황에서 웨버라는 중견 물리학자가 1970년대에 중력파를 검출했다고 주장했다가 큰 논쟁에 휩쓸렸고 최종적으로는 그 실험에 문제가 있는 것으로 결론이 났다.
중요한 점은 웨버가 중력파 검출 논쟁 전까지는 해당 분야에서 매우 뛰어난 실험 능력을 갖춘 전문가로 평가받았다는 사실이다. 그러므로 웨버의 중력파 검출의 문제를 웨버의 전문성 부족으로 간단하게 설명해 버릴 수 없었다. 그래서 웨버 실험을 비판한 동료 전문가들은 그의 데이터 분석 알고리즘이나 웨버 막대로 불리는 그의 실험 장치의 근본적 문제점을 지적했다. 그리고 자신들이 웨버의 실험 결과를 재현할 수 없었다는 점을 가장 중요한 비판의 근거로 제시했다.3
상황을 더욱 복잡하게 만든 것은 웨버의 실험을 재현하려고 시도한 사람 중 어느 누구도 웨버 실험을 ‘그대로’ 재현하려 하지 않았다는 점이다. 그 이유는 웨버의 실험 장치를 그대로 구현하는 일이 웨버 실험실에 축적된 ‘장인적 지식’을 요구하기에 어려웠던 이유도 있고, 웨버가 사용한 데이터 분석 알고리즘에 익숙하지 않아 자신이 잘 아는 분석 알고리즘을 사용한 것 등 다양했다. 이런 상황에서 웨버는 당연히 자신의 비판자들이 실험 장치 제작이나 운용에서 숙련도가 자신만큼 충분하지 않았다고 비판했다.
이 논쟁이 쉽사리 종료되지 못했던 이유는 중력파 실험장치가 어떤 조건을 만족해야 ‘제대로’ 작동한다고 할 수 있는지에 대한 기준이, 실험자가 어떤 능력을 보여주어야 ‘자격이 있는 전문가’로서 인정될 수 있는지에 대한 기준과 서로 얽혀 있었기 때문이다. 즉, 실험장치가 ‘제대로’ 작동하는지 여부에 대한 판단은 충분한 실험 ‘전문성’을 갖춘 전문가에 의해서만 가능하다는 당연해 보이는 생각이, 그 ‘전문성’의 핵심은 결국 중력파 실험 장치를 ‘제대로’ 작동시킬 수 있는지 여부여야 한다는 역시 당연해 보이는 생각과 정당화의 순서에서 서로 꼬리를 물게 되는 것이다. 좀 더 간단하게 말하자면 전문성을 판단하기 위해서는 장치가 제대로 작동하는지를 판단해야 하는데 이 판단은 전문성을 가진 사람만이 할 수 있다는 것이다. 이를 콜린스는 ‘실험자의 회귀Experimenters’ Regress‘라 부른다.
콜린스는 실험자 회귀에서 탈출하는 방법은 과학적 논의 자체에서 얻어질 수 없고 대신 과학자 사회의 사회적 상호작용을 통해서만 가능하다고 주장한다. 이 주장이 의미하는 바는 웨버의 반대파들이 물리학자 사회에서 더 영향력이 있었기에 그들의 반대 논거가 웨버의 논거를 이기고 주도적 견해가 되었다는 것이다.
하지만 이런 ‘사회구성주의’적 해결책이 ‘실험자 회귀’를 벗어나 재현의 어려움을 해결하는 유일한 방법이라고 생각할 필요는 없다. 웨버의 중력파 검출처럼 미리 합의된 ‘재현’의 성공기준이 없는 경우에도 과학자들은 다양한 방법으로 이런 인식론적 해결책을 찾아내는 경우가 더 많다. 가장 많이 사용되는 방법이 ‘실험자의 회귀’에서 가정되는 실험자의 전문성에 대한 판단과 실험 기구의 ‘정상적’ 작동 판단 사이의 순환고리를 끊는 것이다. 예를 들어 과학사학자 피터 갤리슨은 입자 물리학 실험의 오랜 역사에 대한 상세한 탐구를 통해 실험 장치를 평가하는 ‘도구 이론’이 그 장치를 통해 검증되는 ‘상위 이론’에 대한 논쟁 과정과 인식론적으로 구별되는 방식으로 발전해 왔음을 보여준다. 이는 실험 장치의 정상적 작동 여부에 대한 판단이 많은 경우 첨단 과학연구의 논쟁 당사자의 전문성 문제와 무관하게 해결되어 왔음을 의미한다. 이처럼 실험 장치에 대한 독자적 연구 전통은 ‘재현’에 대한 판단을 보다 객관적 기초 위에 놓을 수 있게 해준다.[5]
또 다른 방식은 논쟁 중인 연구팀들이 서로 합의할 수 있는 ‘재현’ 기준을 만들어내는 것이다. 물론 웨버의 중력파 실험의 경우에는 이런 일이 일어나지 못했기에 문제가 되었다. 하지만 다수의 과학 연구 과정에서 ‘재현’을 두고 벌어진 논쟁은 논쟁에 참여한 연구팀이 자신의 기준을 포기하고 (상대편이 받아들이지 않으므로) 모든 연구팀이 합의할 수 있는 성공 기준을 찾아 나가는 방식으로 해결되었다. 새로운 기준은 종종 당장 재현에 대해 논쟁이 벌어지고 있는 분야가 아니라 다른 연구 분야에서 이미 안정적으로 사용하고 있는 재현 판단 기준을 자신의 분야에 맞게 재조정하는 방식으로 이루어지기도 한다. 고도의 숙련이 필요한 탐침현미경 실험 결과의 재현을 두고 벌어진 논쟁에서 방사성 동위원소의 질량 차이에 따른 효과를 안정적으로 재현할 수 있는지 여부를 실험 결과의 재현 조건으로 수용한 것이 이에 해당된다.[1]
과학의 진보와 태도로서의 객관성
결국 핵심은 과학의 진보가 어떻게 이루어지는지와 관련된다. 앞서 지적했듯이 다른 사람의 연구결과를 재현하는 것이 상호주관성으로 이해된 과학의 객관성을 위해 반드시 필요하다. 하지만 많은 경우 과학연구에서의 재현은 극도의 전문성과 상당한 숙련도가 요구되기에 재현을 실제로 수행하는 일은 쉽지 않다. 그래서 재현이 성공적으로 이루어졌는지 여부를 판단할 수 있는 객관적 기준이 필요하고, 이미 확립된 과학지식의 특징은 이런 재현이 언제 이루어졌다고 할 수 있는지에 대한 기준을 모두 그 지식 내에 포함하고 있다는 점이다.
하지만 이런 기준이 하늘에서 갑자기 떨어지거나 특정 천재 과학자에게 영감처럼 떠올라 다른 사람들에게 이를 설명하니 모든 사람들이 ‘그래 그게 맞아! 왜 내가 그 생각을 못 했지!’라는 식으로 수용되는 것은 아니다. 과학연구는 그보다는 훨신 지난한 과정을 거쳐 차근차근 진행된다. 결국 그 기준은 재현가능성에 대한 논쟁 과정을 통해, 경쟁 연구팀의 실험이나 실험기구 어떤 경우에는 실험자의 실험 능력에 대한 끊임없는 비판과 좀 더 나은 실험 결과나 인식적 근거를 제시하라는 압력에 대응하면서 형성될 수밖에 없다. 그 과정에서 관련 전문가 집단은 미리 존재하지 않던 재현의 성공기준을 관련 이론에 대한 수용 여부와 함께 결정해 나가는 것이다.
이 결정 과정이 콜린스가 분석한 웨버의 중력파 검출 사례처럼 궁극적으로 사회적 요인에 의해서 결정될 수도 있다. 하지만 대부분의 경우에는 라투르가 파스퇴르의 탄저병 백신 실험 결과를 야외에서 재현하는 데 성공하여 프랑스 농부의 영웅으로 떠오른 사례처럼, 사회적 설득 과정 못지않게 자연의 인과과정에 대한 성공적 통제도 함께 작동해야 한다.[6] 결국 대부분의 재현가능성에 대한 논쟁은 전문 과학자들이 관련된 인식적 증거와 각각의 입장을 지지하는 논변을 주고받으면서 보다 안정적인 기준을 만들어나가는 방식으로 종료된다. 그 최종 산물은 과학적 객관성의 기초인 재현가능성의 확보이다.[7]
이런 점을 고려할 때 과학의 객관성은 과학자들이 끊임없이 노력을 통해 달성해야 하는 목표점이지 실험이나 이론적 계산을 했을 때 자동적으로 주어지는 선물이 아니다. 과학이 진보할 수 있는 이유는 과학연구 결과의 선물로서 객관성이 주어지기 때문이 아니라, 힘겨운 과정을 통해 재현가능성을 확보하려는 노력, 즉 과학적 객관성을 좀 더 확장하려는 과학자의 지속적 노력이 있기 때문이다. 그러므로 과학의 객관성은 고정된 실체가 아니라 과학연구 과정의 핵심적 특징으로 이해될 필요가 있다. 다르게 표현하자면, 과학의 객관성은 과학연구자가 마땅히 추구해야 하는 (하지만 달성하기는 매우 어려운) 인식론적 태도로 이해하는 것이 더 적절하다.
참고문헌
- 이상욱 2006a, 「웨버 막대와 팀침 현미경: 실험자 회귀에서 탈출하기」, 『과학철학』 9(2): 71-100.
- 이상욱 2006b, 「대칭과 구성: 과학지식사회학의 딜레마」, 『철학적분석』 14: 67-93.
- Collins, Harry M. 1992, Changing Order: Replication and Induction in Scientific Practice, Chicago, IL: University of Chicago Press.
- Collins, Harry M. 2014, Gravity’s Ghost and Big Dog: Scientific Discovery and Social Analysis in the Twenty-First Century, Chicago, IL: University of Chicago Press.
- Galison, Peter 1987, How Experiments End, Chicago, IL: University of Chicago Press.
- Latour, Bruno 1993, The Pasteurization of France, Cambridge, MA: Harvard University Press.
- Latour, Bruno and Woolgar, Steve 1986, The Laboratory Life: The Construction of Scientific Facts, 2nd Edition, Princeton NJ: Princeton University Press.
- Saini, Angela 2017, Inferior: How Science Got Women Wrong, and the New Research That’s Rewriting the Story, Boston, MA: Beacon Press.