정보처리자로서의 인간의 삶에서 언어가 얼마나 중요한 역할을 하는가는 사실 말할 필요가 없다언어의 중요성에 관해 이야기하면서 ‘말할(언어를 사용할) 필요가 없다’라는 것이 좀 모순적이지만, 이 표현이 ‘그 정도로 중요하다’의 의미라는 것은 굳이 독자들께 설명해 드릴 필요가 없는 듯싶다. 앗. 또….. 이러한 언어의 중요성 때문에 인지과학 분야에서는 언어와 수 개념의 관계, 언어와 색 개념의 관계와 같은 언어와 사고의 관계에 관한 연구가 꾸준하게 이루어져 왔다. 이 글에서는 언어와 감정의 관계, 조금 더 구체적으로 말하면, 언어가 타인의 감정을 지각하는 데 영향을 미치는가를 살펴보고 그 영향의 성격이 어떤 것인지 알아볼 것이다. 먼저 언어와 사고의 관계에 관한 상당히 급진적인 주장인 벤자민 리 워프Benjamin Lee Whorf의 언어결정론에 관해 알아보자.

언어결정론: 언어 없이는 사고도 없다!?

언어결정론은 간단히 말하면 언어가 사고를 주도하고, 우리의 사고방식과 세상을 지각하는 방식은 우리가 사용하는 언어에 의해 결정된다는 가설이다. 사실 언어가 사고에 미치는 영향에 관해서는 고대 그리스에서 활동했던 소피스트들의 주장까지 거슬러 올라갈 수 있으나, 언어 없이는 사고도 없다는 강한 언어결정론은 20세기 초반에 활동했던 벤자민 리 워프의 연구에서 시작되었다고 볼 수 있다. 언어결정론을 뒷받침한다고 알려진 한 예는 워프의 한 연구에서 찾아볼 수 있는데, 아메리카 원주민인 호피족이 사용하는 언어가 영어를 비롯한 유럽 언어가 시간을 묘사하는 방식과는 근본적인 차이가 있으며, 이러한 차이가 세계관의 차이를 야기한다는 것이다. 예를 들어 워프는 호피어에는 시간의 단위를 지칭하는 명사화된 개념이 없으며, 이는 호피족이 시간을 인식함에 있어 구분된 단위보다는 하나의 통합적인 과정으로 보도록 만든다는 것이다.1 하지만 워프의 강한 언어결정론은 이후 여러 학자들에게 그리고 다양한 측면에서 비판을 받아왔다. 지금은 워프가 주장했던 언어 없이는 사고도 없다는 강한 언어결정론은 받아들여지지 않는다. 하지만 언어가 인간의 정보처리 혹은 사고 과정에서 중요한 영향을 미칠 수 있다는 약한 언어결정론은 다양한 경험 연구로부터 뒷받침되고 있으며 언어와 사고의 관계에 관하여 많은 학자들이 받아들이고 있는 관점이다.

언어가 인간의 사고 과정에 영향을 미친다는 것을 인정한다면 인간이 감정을 지각하는 과정에서도 언어가 영향을 미칠 수 있는지, 있다면 그 영향은 얼마나 심대한가를 알아보는 것은 상당히 흥미로운 질문이다. 언뜻 생각하면 감정을 지각하는 것은 상당히 자동적이고, 보편적인 과정이기에 언어가 미치는 영향이 있다 하더라도 크지 않을 것 같다. 자, 즉석 복권 백만 원로또 1등처럼 큰 당첨금을 받으면 어떤 감정이 생길지 도무지 감이 잡히지 않아 당첨금을 백만 원으로 가정했다에 당첨되어 활짝 웃는 표정이나, 화가 나는 일이 생겨 분노하는 표정을 알아차리기 위해 언어의 도움이 필요할까 생각해보자. 이러한 극단적인 케이스에서는 언어가 특별한 역할을 할 것 같지는 않다. 그냥 표정만 봐도 지금 그 사람이 어떤 감정인지 알아차릴 수 있지 않을까? 언어는 정말 감정 지각에 특별한 역할을 하는 것일까? 하지만 아래의 ‘그림 1’을 한 번 들여다보자. 3명의 얼굴은 테니스 선수들이 경기 도중 아주 중요한 상황에서 득점을 했을 때와 실점을 했을 때의 표정을 보여주고 있다. 이 표정에 나타난 감정을 바탕으로 이것이 득점 상황인지 실점 상황인지 구분할 수 있겠는가? 만약 이 질문을 어렵다고 느꼈다면 여러분은 혼자가 아니다. 실제 Science에 발표된 Aviezer와 동료들2012 의 연구에서도 사람들은 이 표정만 보고는 득실 상황을 정확히 구분할 수 없었다. 다시 말하면, 얼굴 표정만 가지고는 정확한 감정을 인식하기가 여간 어려운 일이 아니다. 이러한 관점에서 감정 지각에 관한 구성주의자들의 입장을 자세히 살펴보도록 하자.

그림 1. HORIZON

감정 인식에 관한 구성주의 견해

구성주의 견해를 알아보기 전에 먼저 인간의 감정 인식에 관한 전통적인 입장을 간단하게 살펴보자. 폴 에크만Paul Ekman 은 분노, 공포, 슬픔, 기쁨, 놀람, 혐오와 같은 적어도 몇 가지 기본 감정은 생애 초기에 나타나며, 얼굴 표정만 가지고도 이 감정들을 구분할 수 있고, 생리적인 반응과 연결되어 있다고 주장하며, 이러한 감정들을 잘 인식하고 표현하는 것은 생존에 유용한 도구가 될 수 있기 때문에 인간의 언어, 민족, 문화에 관계없이 보편성을 갖는다고 말한다. 에크만의 감정에 관한 보편주의 견해는 1960년대 초기부터 큰 지지를 받아왔지만, 이에 대한 비판 역시 꾸준하게 제기되어 왔다. 예를 들어 특정 감정을 표현하기 위한 얼굴 표정은 에크만이 제안한 것과 같이 일관된 얼굴 근육의 활동 단위를 사용하지 않기도 하고, 특정 감정과 특정 활동 단위의 조합이 일대일로 대응하는 것도 아니다. 이러한 비판의 중심에 바로 감정 인식에 관한 구성주의 견해가 있다. 감정 인식의 구성주의 견해는 리사 펠드먼 배럿Lisa F, Barret과 동료들이 제안하였는데, 이들에 따르면 감정 인식을 위한 객관적 실체나 단일한 요인이 있다기보다는 다양한 재료들이 상황에 맞게 뇌에서 구성된다고 한다. 예를 들어 앞에서 본 그림의 얼굴들을 떠올려 보자. 이들의 표정이 나타내는 감정을 파악하는 것이 왜 쉽지 않았을까? 이것은 감정 지각이란 단순히 얼굴 근육의 여러 활동 단위 조합을 잘 읽어내는 일이 아니기 때문이다. 특정인의 표정에 나타난 감정을 제대로 파악하기 위해서는 그 사람의 표정과 함께 당시의 상황 문맥을 정확하게 이해해야 한다. 배럿의 말을 빌리자면, 당시의 사회적 상황, 몸의 자세, 목소리, 장면, 심지어 다른 사람들의 표정까지도 감정 지각의 재료가 된다 Barret, Lindquist, & Gendron, 2007.

구성주의 견해에서 감정 지각의 중요한 재료 중 특별한 역할을 한다고 생각하는 것이 바로 언어이다. 우리가 앞서 살펴본 약한 언어결정론에 따르면, 인간의 언어는 다양한 정보처리 과정에 큰 영향을 미칠 수 있다. 따라서 언어가 감정을 인식하는 과정에서도 고유한 맥락을 제공한다는 것이다. 실제로 여러 인지과학 기반의 경험 연구에서는 사람들이 구조적 유사성이 거의 없는 새로운 사물들의 관계에 관한 개념적 추론을 할 때 단어를 이용한다는 것을 보여주었다. 감정과 같은 범주에서도 언어는 유사한 역할을 할 수 있다. Lindquist와 Gendron 2013 이 설명한 바와 같이, 친구에게 얼굴을 찡그리거나, 주차 위반 고지서를 받아서 들고 뿌루퉁한 표정을 짓거나, 모욕당해 속이 부글거리거나, 심지어 잘못한 아이를 보면서 미소를 보일 때조차도 얼굴에 나타난 표정은 조금씩 다르겠지만, 이를 모두 분노라는 감정의 예시라 할 수 있는데, 이것은 바로 분노라는 단어가 분노 감정을 지각하도록 하는 맥락을 제공했기 때문이라는 것이다. 따라서 구성주의 견해에서는 특정 상황에 나타나는 감정을 지각하거나 경험할 때 언어는 필수적인 역할 혹은 예측력을 가지며, 특히 감정 단어 그리고 이와 연결된 개념 지식 는 감정을 지각하고 경험하는 데 없어서는 안 될 재료라고 본다. 그러면 이러한 입장을 지지하는 경험 연구 결과를 살펴보도록 하자.

구성주의 견해를 지지하는 경험 연구 결과

먼저 뇌 영상 연구 결과를 전반적으로 살펴보면, 감정 지각 및 경험과 관련되는 개별 뇌 영상 연구를 메타 분석한 결과 감정 지각과 관련되어 있다고 알려진 뇌 영역인 편도체 amygdala 나 뇌섬엽insula 은 언어 및 개념 정보의 처리와 연관된 뇌 영역이라고 알려진 복외측 전전두피질 vlPFC 이나 하측 측두피질 ITC, 배내측 전전두피질 dmPFC, 전측 측두 영역 ATL 과 서로 긴밀하게 상호작용하며 연결되어 있다고 한다 Lindquist et al., 2015 . 예를 들어 배내측 전전두피질은 개념 지식에 접근하고 이를 통합하는 것과 관련된 뇌 영역인데, 이는 특정 자극으로부터 유발된 감정 상태가 의미하는 바가 무엇인지 파악하는 것과 연관되어 있으며, 복외측 전전두피질은 감정 경험을 범주화하기 위한 의미 지식을 활성화하는 것에 관여할 수 있다. 그리고 최근 발표된 한 뇌 영상 연구에 따르면 특정 표정에 특정 감정 범주의 이름을 붙이는 것은 감정 지각과 관련된 뇌 영역인 편도체와 뇌섬엽의 활성화를 증가시키고, 편도체와 복내측 전전두피질의 연결을 더욱 강화하는 결과를 산출했다 Sapute et al., 2016 . 이는 언어를 이용한 어휘 표지 labeling 가 실제로 정서 반응의 강도를 변화시킬 수 있음을 시사한다.

앞서 살펴본 뇌 영상 연구 결과가 시사하는 바는 전두-측두 신경 인지 장애로 인한 언어 손상 환자의 사례를 통해서도 뒷받침될 수 있다. Lindquist와 동료들이 2014년 발표한 연구에 따르면 이러한 언어 손상 환자들이 표정에 나타난 감정을 범주화하는 과제 수행 시 연령대가 비슷한 건강한 통제 집단과는 질적으로 다른 범주화 양상을 보였다고 한다. 언어 손상 환자들은 통제 집단보다 훨씬 적은 수의 범주를 만들어냈고, 특히 부정 감정 negative emotion 을 나타내는 표정의 사진을 범주화할 때 큰 어려움을 나타내었다 Lindquist et al., 2014 . 이러한 결과는 손상된 언어 능력으로 인하여 표정에 나타난 감정을 정확하게 범주화하는 데 어려움을 겪는 것으로 해석할 수 있다.

마지막으로 전통적인 실험심리학 연구에 기반한 최신 증거를 하나 더 알아보자. Doyle과 동료들은 2021년 매우 흥미로운 연구 결과를 발표하였다. 이 연구에서는 ‘그림 2’에 나타난 바와 같이 점화 패러다임을 사용하였는데, 세 가지 서로 다른 점화 자극이 화면에 제시되었다. 하나는 감정 어휘였고, 다른 하나는 그러한 감정과 관련된 상황을 나타내는 장면 사진이었으며, 다른 하나는 아무 정보도 제시되지 않는 하얀 화면이었다. 이 자극이 250밀리초 동안 제시되고 그 후 바로 목표 자극이 제시되는데, 특정 감정을 표현하는 얼굴이 300밀리초 동안 화면에 머무른다. 그 뒤에 두 개의 표정을 제시하여 방금 본 목표 자극과 같은 자극이 무엇인지 연구 대상자가 선택하는 과제였다. 만약 언어로 제시된 점화 자극이 목표 자극으로 제시된 표정이 어떤 감정인지 지각하는 데 도움이 된다면, 그 뒤 같은 표정을 선택하는 과제에서 다른 점화 자극이 사용된 조건들보다 더 나은 수행을 보이는 것을 기대할 수 있다. 실제 결과 역시 예상대로 나타났다. 감정 어휘가 점화 자극으로 사용되었을 때가 다른 조건에 비해 과제 수행의 정확도가 더 높았다 Doyle et al., 2021. 구성주의 견해에 따르면 이러한 결과는 언어가 감정 지각을 촉진하는 특별한 맥락을 제공하는 재료임을 시사한다.

일러스트 Yongss, 사진출처(Homeless man in NYC-Linda FletcherⓒWikimedia Commons, 얼굴 표정들-루치아)

지금까지 살펴본 경험 연구 결과는 언어가 감정 지각 및 경험을 위한 구별된 기능을 한다는 구성주의의 견해를 뒷받침하는 것으로 해석할 수 있다. 하지만 이러한 결론을 내리기에 앞서 이 절에서 소개한 경험 연구 결과들이 의미하는 바에 관하여 조금 더 생각해보도록 하자.

구성주의 견해에 관한 비판적 검토

앞 절에서 설명한 경험 연구 결과는 감정 지각과 경험에 관한 구성주의 견해를 분명히 지지한다. 그러나 이러한 결과를 해석하면서 몇 가지 유의할 점을 생각하고자 한다.

첫째, 앞서 살펴본 Lindquist와 동료들의 뇌 영상 연구 결과는 분명 감정을 지각할 때 감정 관련 영역과 함께 의미 관련 영역도 활성화되며, 이 두 영역의 활성화가 동기화된다는 것을 보여주었다. 하지만 이러한 결과가 마치 언어 정보의 활성화가 선행되어야만, 원인이 되어 감정을 지각하게 된다는 식으로 해석되어서는 안 된다. 뇌 영상 결과는 정보처리의 상관물일 뿐, 원인이 아니다. 예를 들어 울고 있는 표정에 나타난 감정을 먼저 지각한 뒤, 이와 관련된 의미 정보나 개념 지식이 나중에 활성화될 수도 있는 것이다. 이러한 주장에 대하여, 앞서 소개한 언어 손상 환자가 감정이 표현된 얼굴 사진들을 정확하게 범주화해내지 못한 연구 결과 Lindquist et al., 2014 를 떠올리는 독자가 계실지도 모르겠다. 언어가 손상된 환자가 감정의 범주화를 정확하게 못 하는 것을 보면, 언어가 감정 지각의 중요한 원인이 될 수 있는 것 아닌가? 물론 그렇다. 하지만 이 연구 하나만 가지고 그런 결론을 내리는 것은 위험하다. 소수의 환자를 대상으로 한 신경심리 연구에서는 환자 개개인이 가진 고유성이 결과에 영향을 미칠 수 있다는 한계가 있으며, 앞서 소개한 연구 자체의 한계도 존재했다. 예를 들어 이 연구에 사용된 표정 사진들은 원래 여섯 개의 범주에서 가져왔는데, 건강한 통제 집단의 실험 참여자들은 이 사진들을 약 8개의 집단으로 범주화했다. 실험을 위해 선택된 사진이 가진 특징이든, 실험 자체가 가지는 독특한 특징이 이러한 결과를 만들었을 가능성이 있다. 이는 이러한 연구들이 다양한 측면에서 재연될 필요가 있음을 시사한다.

둘째, 감정 어휘가 다른 자극에 비해 감정 지각을 더 효율적으로 만든다는 결과를 얻은 Doyle과 동료들의 연구 역시 비판적인 시각에서 검토할 수 있다. 가장 먼저 제기할 수 있는 문제는 이 결과가 언어라는 혹은 언어가 제공하는 특별한 의미 맥락이 감정을 지각하는 데 꼭 필요한 재료임을 보여주는가이다. 물론 언어 자극이 과제에 앞서 제시되었을 때 가장 정확한 감정 지각 결과가 나타나긴 했지만, 다른 조건에서 감정 지각이 전혀 불가능하거나 정확도가 현격히 떨어진 것은 아니었다. 실제 조건 간 정확도의 차이는 실험에 따라 약간 달랐지만 대략 2~4% 정도였다. 이 결과가 언어가 특정한 상황 아래의 감정 지각에 유의미한 도움을 줄 수 있는 것은 맞지만, 저자들의 주장처럼 언어가 꼭 필요한 맥락으로 기능하는가는 조금 더 깊이 고민해봐야 할 문제이다.

그렇다면 구성주의 견해에서 주장하는 바와 같이 언어가 감정 지각을 위해 빼놓을 수 없는 재료임을 시사하는 보다 직접적인 증거는 어떤 것이 될 수 있을까? 앞서 언급한 바와 같이 언어 능력이나 개념 지식만이 심각하게 손상된 환자의 감정 지각 능력이 현저히 저하된 결과를 볼 수 있다면 감정 지각에 언어가 심대한 관여를 한다는 직접적인 증거가 될 수 있을 것이다. 또한 한 언어에서 특정 감정을 나타내는 단어가 없을 때, 해당 감정의 지각과 경험이 유의미하게 영향을 받는다면 이 또한 언어가 감정 지각의 필수적인 재료임을 보여주는 하나의 예시가 될 수 있을 것이다. 2006년 Breugelmans와 Poortinga는 이러한 주제로 흥미로운 연구 결과 하나를 발표한다. 이들에 따르면 멕시코 지역의 원주민인 라라무리 Rarámuri 인디언 언어에는 죄책감과 수치심 혹은 창피함 을 나타내는 단어가 하나뿐이다 논문에서는 이를 shame으로 번역함 2.  많은 연구가 죄책감과 수치심이 서로 다른 자의식 감정이라고 보고하고 있는데, 그렇다면 라라무리 인디언들은 이 두 감정을 하나의 감정으로 인식할까? 이 논문의 저자들은 이를 알아보기 위해 라라무리 원주민을 대상으로 평정 연구를 하였다. 먼저 이 원주민들에게 다양한 감정을 유발하는 상황에 관한 자료를 얻은 뒤, 네덜란드와 인도네시아의 대학생들에게 이 자료가 묘사하는 상황이 어떤 감정을 유발하는가 평정하도록 하였다. 그 결과 죄책감/수치심과 관련된 18개의 상황을 설정할 수 있었고, 라라무리 인디언들이 이 상황들을 죄책감과 수치심의 차원으로 각각 구분할 수 있는가를 평정을 통해 알아보았다. 그 결과, 비록 죄책감에 해당하는 단어가 존재하지 않는 라라무리 인디언들도 이 두 감정을 개념적으로 잘 구분하는 것으로 나타났다. 물론 이 연구 결과가 감정 지각 및 경험에 언어의 역할이 없다고 말하지는 않는다. 하지만 적어도 죄책감이라는 단어가 없다고 해서 죄책감이라는 감정을 수치심과 구분하지 못하는 것은 아니라는 점을 분명하게 보여주고 있다.

지금까지 우리는 감정 지각과 감정 경험에서 언어라는 재료를 어떻게 바라봐야 하는가를 살펴보았다. 약한 언어결정론에서 본 바와 같이 언어는 분명 인간의 다양한 정보처리 과정에서 상당히 중요한 영향을 미친다. 당연히 감정 경험의 전 과정 중 일정 부분에서 언어가 역할을 한다는 것에는 어느 누구도 이의를 제기하지 않을 것이다. 감정에 관한 구성주의 견해 역시 언어가 감정 지각을 위한 고유한 맥락을 제공하는 핵심 재료라고 주장하며 이를 지지하는 여러 경험 연구 결과를 보여 주었다. 하지만 우리가 이 절에서 검토한 바와 같이 감정 지각을 위해 언어가 어떤 역할을 하는가에 관해서는 보다 신중한 접근이 필요하다. 자칫 잘못하면 언어 없이는 감정도 없다는 식의 극단적 방식으로 워프의 부활이 일어날 수 있으니 말이다.

관련기사
은유 정보처리의 인지과학

최원일
광주과학기술원 기초교육학부 교수