초학제 연구단과의 인연
고등과학원(KIAS) 초학제 연구단에 대한 기억은 2018년 1월로 거슬러 올라간다.
동료 이종필 알고리즘 연구자와 함께 초학제 연구프로그램 <인공지능: 과학, 역사, 철학> 제2회 주제 강연의 연사로 초청되어 고등과학원을 방문하였다. 당시 우리는 리트리버Retriever라는 팀명으로, 이미지를 분석하여 자동으로 환경 소리를 연동하는 인공지능 기반 사운드스케이프 시스템 <뉴로스케이프NeuroScape>를 개발하였고, 강연에서는 이와 관련하여 진행한 전시, 공연 사례 등을 소개하였다. 강연 후 한 청중께서 ‘앞으로의 인공지능과 예술의 창의성에 대해 어떤 생각을 하고 있는지’에 대해 물었고, 다음과 같이 답변했던 기억이 떠오른다.
“기계가 높은 해상도의 시청각 데이터를 실시간으로 읽고 해석하고 반응하고, 그것들이 한데 모여 기억 속에 저장되기도 망각되기도 혹은 그 안에서 서로 충돌하여 다른 생각으로 이어지기도 하는 이러한 메커니즘을 동일하게 경험 가능한 상황이 가까워진다면, 우리는 기계의 창의성을 함께 논해볼 수 있지 않을까 싶습니다. 물론 후각, 촉각, 미각 등의 감각도 추가되어야 할 테고요. 인공지능을 통해 인간의 존재는 무엇인지, 인간의 창의성은 무엇으로 규정 가능할지에 대해 반추할 수 있는 것 같습니다.”
이 대답은 여전히 유효하다. 지난 3년간 AI 사운드스케이프 프로젝트를 미디어 아트, 전자음악, 퍼포먼스, 그리고 미래 모빌리티 환경 등 다양한 분야에 적용해오며 꽤 많은 인사이트를 얻었지만, 기계의 예술적인 창의성에 대해서는 고민할 거리가 여전히 많다. 스스로를 음악가이자 미디어 아티스트, 그리고 스타트업의 공동 구성원으로 다양한 역할을 부여하며, 예술과 기술 그리고 비즈니스의 경계를 무모하게 탐험해가던 어느 2020년 봄 나는 다시 한번 초학제 연구단과 마주하게 되었다. 이번엔 참여 연구자로 말이다.
혼합현실과 사운드스케이프의 만남
초학제 연구단의 기획위원을 맡고 있는 KAIST 문화기술대학원의 우성주 교수님으로부터 작가 참여 제안을 받았다. ‘인터-리얼리티’를 주제로 초학제적 관점의 작품 개발을 하는 것이 연구단의 주요 목표로, 뉴로스케이프 프로젝트를 함께 진행해오고 있는 이종필 연구자와 한 팀으로 구성되었다. 우리는 기존 감각 체계의 확장과 시청각적 혼재 감각 등 포괄적 맥락에서 기존 AI 사운드스케이프 시스템을 다각도로 분석하고 어떻게 ’초학제적 관점의 작품 개발‘이 가능할지에 관해 고민을 이어갔다. 대략 두 달 남짓 리서치와 구상을 진행하였고, 기획위원회의 평가를 몇 차례 거쳐 최종 3개 연구팀 중 하나로 선정되었다.
리얼리티를 통합적으로 이해할 수 있는 기존 연구를 탐색하는 과정에서 몇 가지 흥미로운 개념들을 접하였다. 먼저 1994년 폴 밀그램Paul Milgram과 후미오 키시노Fumio Kishino는 ‘혼합현실Mixed Reality’이라는 개념을 처음 제안하였고, 현실과 가상의 연속성에 관한 스펙트럼을 [그림1]과 같이 네 단계로 구분하였다. 최근 널리 사용되는 증강현실과 가상현실의 개념이 이 혼합현실에 속하는 것이다. 스티브 만Steve Mann은 한 단계 더 나아가 ‘매개현실Mediated Reality’ 개념을 제시하기도 하였다. 그러나 기존 증강, 가상현실 등에서 다루는 리얼리티는 대개 ‘시각적 결과물’에 편중되는 것 같아 늘 아쉬운 마음이 들었다.
환경 소리의 음악적, 기술적 활용에 관심이 있던 까닭에 자연스레 청각에서의 혼합현실 대응 관계에 대해 고민을 이어갔고, 본 프로젝트를 혼합현실Mixed에서의 소리풍경Scape을 뜻하는 ‘Mixed Scape혼합풍경‘라 이름 지었다. AI 사운드스케이프의 작품 개발과 연구 과정에서 다루었던 환경 소리의 예술적 활용 사례를 혼합현실 개념에 흩뿌려 보았다. 큰 틀에서 녹음 기술과 컴퓨터 기술의 등장에 따라 환경 소리를 다루는 방법론을 분류해 보았고, 우리의 작품과 연관성이 높은 사례를 총 네 개의 주제(폴리 사운드, 구체음악, 사운드스케이프, 디지털 사운드스케이프)로 간추려 보았다.
녹음과 영상 기록이 가능해진 20세기 초, 단순히 현실을 재현하는 것을 넘어 현실과는 다른 영화적 현실을 탐색하는 것이 매체의 고유 방식이 되면서, 영상기법 뿐만 아니라 사운드 또한 리얼리티를 추구해왔다. 발자국이나 행동을 보다 음향적으로 부각하기 위해 소리를 가공하고 녹음하는 경우는 폴리 사운드Foley Sound에 해당하며, <스타워즈>의 광선검과 같은 전혀 존재하지 않는 소리를 디자인하여 실재화 하는 것은 사운드 디자인에 속한다. 게임이나 AR/VR 매체에 이러한 기법들이 많이 활용되고 있다. 우리는 이러한 폴리 사운드와 사운드 디자인의 개념이 혼합현실 스펙트럼에서 ‘증강현실’의 개념과 ‘가상현실’의 특성과 연관성이 높다고 보았다.
프랑스의 구체음악가 피에르 셰페르Pierre Schfaer는 시각을 배제하고 철저히 청각적 리얼리티를 다루고자 하였다. 구체음악Music Concrete은 현실세계의 소리 객체를 독립적으로 분리하여 음악이라는 상상적 행위를 통해 또 다른 리얼리티를 추구한다는 점에서 ‘증강 가상성’과 ‘가상현실’의 특성을 보인다. 반대로 캐나다의 음향학자이자 작곡가인 머레이 셰이퍼R. Murray Schafer는 환경 그대로의 소리를 음악으로 간주하고자 했으며, 이러한 환경 생태학적 음향 접근 방식은 혼합현실 스펙트럼의 ‘현실’에 해당한다.
디지털 기술을 통한 환경 소리의 경우, 소리 풍경을 소리 합성 기법을 이용하여 전자적으로 시뮬레이션하는 배리 트루악스Barry Traux의 <Riverrun>과 같은 사례가 있으며, 온라인상에 업로드 되는 수많은 시청각 데이터들을 기반으로 소리의 특성을 분류하거나 검색하고 재구성하는 등의 시도들 또한 존재한다.
청각으로 대응 가능한 혼합현실의 가능성
환경 소리와 리얼리티의 다양한 사례를 분석하면서 청각적 리얼리티의 특성을 분류할 수 있게 되었고, 우리는 초기 단계의 Mixed Scape 프레임워크를 [그림1]과 같이 구성할 수 있었다. 더욱이 코로나19로 인해 비대면 예술, 오디오 커뮤니케이션 등의 이슈가 제기되면서 이러한 프레임워크를 다방면으로 활용할 수 있을 것이라 기대했다. 초학제 펠로우로 본인과 이종필 연구자, 그리고 보조 연구자 김태완, 배준형이 각각 하나의 스펙트럼을 맡아 자유로운 방식으로 작품을 개발하였다. 해당 작품은 2020년 12월, 약 1주일간 복합문화공간 연남장의 지하 1층 갤러리에서 전시되었고, 코로나로 인해 입장이 제한된 것을 보완하기 위해 온라인으로 작품을 감상할 수 있는 가상 전시공간 또한 마련하였다. 각 작품에 대해 소개를 하자면 다음과 같다.
이종필 연구자는 딥러닝 기반 오디오 정보 분석 알고리즘을 이용하여 온라인에 업로드된 서울과 뉴욕의 풍경 영상에 포함된 소리 데이터를 분석하여 실제 사운드스케이프의 특성을 파악하는 소리분류 실험 과정 자체를 작품으로 제시하였다. 철저히 오디오적 특성만을 비교 분석한 결과 ‘자연 소리’, ‘자동차’, ‘사람이 많고 시끄러운’, ‘탁 트인 곳’ 등 약 8개의 키워드로 선별 가능하였고, 그림 데이터 시각화 및 단채널 비디오/사운드 형식의 아트웍을 전시하였다.
배준형 연구자는 폴리 사운드가 AR적 특성을 획득하고 리얼리티에 영향을 미치는 경우를 탐구하여 문화적 인터페이스로 제시하고자 하였다. 폴리사운드가 AR적 특성을 획득하는 순간을 두 가지로, 즉 메인-프로덕션 단계를 거쳐 만들어진 영상물의 어떤 장면에 귀속된 소리를 포스트-프로덕션 단계에서 증강시키는 순간과 코스플레이어가 원작에 종속된 폴리사운드를 코스프레의 감각/개념적 퀄리티를 증강하는 폴리사운드로 재창조하는 순간으로 접근하였다. 폴리사운드가 주체인 아카이브 영상을 제작했고, 작업에 대한 소고를 족자봉의 형식으로 제시했다.
김태완은 실제 소리라는 구체적 소재에서 추상적인 음의 형태로 변환되는 구체음악의 특성이 증강 가상성의 개념과 대응한다고 보고, 가상 환경 위의 실제 객체들이 구조적으로 배열되고 변형되는 것을 시청각적으로 표현하기 위해 하이프 픽셀 레이아웃을 구현하였다. 실제 환경의 리얼리티는 직관적으로 파악 가능하지만, 명료하게 현실 세계로 인지할 수 없도록 인터-리얼리티 관점에서 시각적인 ‘차연’ 현상을 일으키고자 하였다. 의미가 부유하며 변해가는 순간들을 영상으로 담아내고, 포착된 순간들은 아트웍 포스터로 제시했다.
필자는 실제와 인공 생성 사운드스케이프를 교차하는 기존 작업을 개선하여, 본 전시에서는 인공과 가상의 세계를 교차하는 방식의 오디오 비주얼 인스톨레이션을 선보였다. 앞에서 언급한 ‘청각적으로 대응되는 혼합현실의 스펙트럼’을 말 그대로 작품화한 것으로, 관객은 현실, 인공, 가상의 스펙트럼을 컨트롤러 조작을 통해 유영할 수 있게 된다. 또한 앞서 언급하였듯, 모질라 허브를 이용하여 웹상에 가상 전시장을 만들고, 마치 게임을 하듯 이동하며 관람 가능한 방식으로 작품을 선보였다. 흥미로운 점은, 여전히 가상공간에서는 전시가 끝나지 않고 계속되고 있다는 것이다.
초학제 연구단의 작가로서의 6개월
얼마 전, 2차년도 초학제 연구단을 위한 상견례 회의를 했다. 감사하게도 후속 프로젝트를 할 수 있는 기회가 마련된 것이다. 팀별로 계획하고 있는 올해의 연구와 아트웍에 대한 계획을 공유하였고, 본 팀은 세 가지 목표를 설정하였다.
첫째는 2020년에 수행한 Mixed Scape 연구 및 아트웍 프로젝트를 체계적으로 정리하는 차원에서 논문을 작성하는 것이다. 둘째는 Mixed Scape의 개념을 바탕으로 공연물을 만드는 것이다. 특히 현실, 증강, 인공, 가상성 등을 관객의 선택에 따라 다르게 감상 가능한 음악/사운드 공연이 존재한다면, 그것은 어떤 그림일지 탐구해보고자 한다. 마지막으로 목표 지향적인 성격에서 조금 벗어난 느슨한 형태의 커뮤니케이션을 지속하는 일이다. 회의에서도 협업에 관련된 다양한 안이 나온 바 있는데, 무엇이 진정한 의미의 초학제 연구일지 폭넓게 탐색하고자 한다. 철학적이고 본질적인 탐구를 추구할 수도 있고, 경계를 두지 않고 장르, 분야 간 자유롭게 횡단하며 그 안에서 벌어지는 충돌을 통해 초학제적 실천을 이뤄나가는 방법도 있을 것이다.
개인적으로 청각에서의 예술·기술의 개념과 사례를 바탕으로 혼합현실 연구 프레임워크를 구축하고 이를 기반으로 예술작품을 구현한 점에서 큰 성취감을 얻었다. 다만 코로나19로 인해 이동과 커뮤니케이션의 제약이 많은 상황에서 대부분의 소통이 온라인으로 이뤄지는 일은 아무래도 분명히 한계가 존재했다. 예술 작품의 제작은 일반적인 연구 진행과정 공유와는 달리 작품의 개념 정립이나 제작 과정에 변수가 존재하여 다른 팀과 활발히 소통하는데 어려움이 존재한다. 더욱이 대부분 재택근무로 프로젝트를 수행한 까닭에, 고등과학원이라는 물리적 공간에서 좀 더 적극적으로, 그리고 우연히 마주하게 될 수 있는 다른 과학자분들과의 교류가 적었던 점 또한 아쉬움으로 남는다. 그렇다면 올해 우리는 어떠한 초학제 연구를 그려볼 수 있을까? 이를 위해 본인의 머리와 마음속에서 발효되고 있는 몇 가지 이야기를 꺼내 보고자 한다.
지금, 발효 중
발효체 1. 2020년 8월 31일. 초학제 연구단의 이지연 교수님 팀에서 개최한 ‘문학적 상상력과 실재’의 첫 세미나에서 러시아 문학의 개괄적 흐름과 과학과의 연관성에 대한 이야기를 접했다. 마침 팀 내부적으로 Mixed Scape 아트웍 세계관을 구성하는 데 대한 논의가 있었던 터라, 이후의 세미나들을 나름 열심히 참여하며 발제자분들의 이야기를 빠짐없이 들었다. 비록 SF 소설을 쓰기는 어려울지 몰라도, 작품 구상에 SF적 방법론을 차용하면 좋겠다고 생각했다.
여러 사례를 탐색하는 과정에서 독일 ZKM에서 열린 ‘폴란드 전자음악 전시’에서 처음 알게 된 ‘크지슈토프 보디츠코Krzysztof Wodiczko’의 1969년 작 <개인화 악기Personal Instrument를 작품 개발의 주요 모티브로 삼으면 좋겠다는 생각을 했다. 폴란드 출신 사회학자 지그문트 바우만의 액체 근대라는 개념 또한 알게 되었다. 흥미로운 부분은 새로 접하게 된 사례들이 대부분 러시아와 동유럽과 연결된다는 것이었다. 물론 지금 당장 동유럽권의 혼합현실, 초학제적 사운드스케이프, 미디어 아트 역사 등을 탐구하여도 무언가가 바로 촉발되지는 않겠지만, 분명 창의적 충돌은 언제 어디서 어떻게든 불현듯 찾아오고야 말 것이다.
발효체 2. 같은 날, 우리 팀의 프로젝트 중간발표 과정에서 ‘어떠한 동굴에 고대의 소리가 저장된 초자연적인 현상이 가능하다면, 이를 SF적 관점으로도 풀어볼 수 있겠다’는 이야기를 했고, 정보라 SF 작가님은 고고 음향학Archaeeoousoustics이라는 사례를 소개해 주었다. 스톤헨지와 같은 오래전 고대 유물을 통해 음향적 특성을 연구하는 것인데, 어쩌면 예술과 과학을 이런 방식으로 접근해볼 수도 있겠다고 생각했다.
발효체 3. 2021년 1월 22일. 고등과학원 박창범 교수님께서 어느 날 문득 메신저로, 시뮬레이션으로 만든 은하단 생성 동영상을 공유해주었다. Mixed Scape는 어쩌면 우주적 관점으로 이해해야 할 프로젝트일지도 모른다는 생각과 함께 공연에서 이러한 우주의 시뮬레이션을 다룰 방법은 없을지 생각했다.
본인의 생각 창고에 담긴 이 발효체가 어떠한 창의적 작용을 일으키게 될지는 전혀 예측할 수 없다. 다만 올해는 고등과학원의 과학자분들, 초학제 연구단의 연구자 및 예술가, 그리고 이러한 분야에 관심을 두고 계실 많은 분들과의 교류를 통해 가급적 활발한 교류가 이뤄지는 상상을 해보았다. 고등과학원 과학자분들과, 문학가, 예술가가 한데 모여 아주 최소한의 조건들로 SF 단편을 서로 작성하고 공유해보는 건 어떨까. 우리의 AI 오디오 비주얼 사운드스케이프 시스템이 다른 문학가와 예술가, 과학자분들에게 영감을 주는 워크숍은 어떨까. 이러한 상호 교류를 통해 우린 어떤 초학제적 낭만을 그려볼 수 있을까.
