그 어떤 성대한 행차
옷은 신체를 보호하는 원초적 수단이자 사회적 소통의 도구가 된다. 그러나 옷의 상징은 이러한 필수적 보호와 소통의 함의implication를 넘어 때로는 과시와 왜곡된 욕망의 명시적explicit 수단이 될 수도 있다. 한스 크리스티안 안데르센Hans Christian Andersen의 단편 <황제의 새 옷Emperor’s New Clothes> (1837)은 우리나라에서는 <벌거벗은 임금님>으로 번역되어 알려진 작품이다. 한편, 로저 펜로즈Roger Penrose는 이 작품에 빗댄 <황제의 새 마음: 컴퓨터, 마음, 물리법칙에 관하여The Emperor’s New Mind: Concerning Computers, Minds and The Laws of Physics> (1989)라는 책을 통해 인간의 마음과 의식은 계산으로 환원될 수 없음을 주장하기도 하였다. 그는‘황제의 새 옷’과도 같은 현란하고 부산스러운 인공지능 알고리즘으로 인간의 의식을 모델링하거나 시뮬레이션하는 것은 원리적으로 불가능하다고 지적하면서, 양자역학에 기반한 새로운 마음의 물리학physics of mind을 대안으로 제시하기도 했다. 황제의 새 옷’이 쓰여진 안데르센의 시대와‘황제의 새 마음’을 논해야 하는 오늘날과 그리고 어쩌면 우리의 미래까지도 크게 다르지 않을지 모른다.“임금님은 벌거벗었대요!”라는 꼬마의 일침에도 불구하고, 임금님과 부역자들 모두 얼굴을 붉히면서도, 폭소를 참으면서도 그 성대한 행차를 계속해야 했던 것이다.
아무튼 세상은 이러한 옷의 이중성과도 같이 본질적 가치뿐만 아니라 겉치레적 요소들이 서로 얽히고 설켜 있는 듯하다. 휘말려 얽힐entangled뿐만 아니라 세상이라는 복잡계에서는 개별 요소에는 존재하지 않는 전체로서의 집단 성질이 나타나며 그 변이 가능성이 매우 크기 때문에, 세상과 (그에 위계적으로 얽혀 살아가는) 나의 앞날을 예측하는 것은 결코 쉽지 않다.
미 캘리포니아California주 산타클래라Santa Clara에 본사를 두고 델라웨어Delaware주에 법인을 둔 미국의 다국적 인공지능 기술 기업 엔비디아Nvidia cooperation에서는 2026년 4월 14일, 세계 양자의 날을 맞아 ‘양자 컴퓨팅quantum computing의 실용화를 위한 인공지능 모델 제품군’, ‘NVIDIA ISING’을 출시하였다. 이는 양자 생태계만을 위한 인공지능 오픈 모델 패키지 개발과 보급이라는 엔비디아의 당찬 포부가 반영된 것이라고도 한다. 일단 두 가지가 이목을 끌었다. 첫째,“이징Ising 모형1 ?, AI 시대 속, 추억의 그 통계물리 모형이란 말인가?”, 둘째, “양자 컴퓨팅의 실용화라면, ‘양자 오류 정정quantum error correction(QEC)’이라도 제대로 해낸단 말인가?”. 몇 개의 소개글을 읽어 내려가면서 일단 ‘NVIDIA ISING’은 이징Ising 모형과는 무관하다는 것을 알게 되었고, 그것의 양자 오류 정정QEC 방식에 대해서는 며칠을 소모하여 엔비디아 사에서 공개한 제한된 정보와 현재 이 분야의 기술 수준을 점검한 후에 나름의 소견을 갖게 되었다.
이렇듯 양자 컴퓨팅 기술에 인공지능 기술이 접목되는 사례들이 최근 나타나기 시작했는데, 이 글에서는 이들의 기술적인 부분에 주목하기 보다는, 계산 원리computational principle에 관한 철학적 고찰을 통해 양자-인공지능 시대의 지혜를 구해보는 방향을 택하고자 한다.
양자 계산의 개념과 구현
세상에는 범용 계산이 가능한 기계universal computing machine로 구현할 수있는 다양한 물리계physical systems가 존재한다. 즉, 현대의 대부분의 디지털 컴퓨터들은 세포 오토마타cellular automata나 튜링 기계Turing machine의 이론적 범용 계산 능력이 거의 그대로 반영될 수 있는 잘 짜인 인공적 물리계이며, 자연적으로 생명체에서 일어나는 생화학 반응의 네트워크나 생태계ecosystems 내의 크고 작은 다양한 계들systems 역시, 1) 자기 조직화self-organized에 의해 충분한 동역학적 자유도dynamical degree of freedom를 확보하면서도2, 2)주어진 정보의 입력input에 대해 꽤 일관되게 출력output을 결정지을 수 있으므로, 범용 계산universal computation 시스템이 될 수 있다. 이러한 입력과 출력 사이의 체계적이고 조직적인 대응mapping은 어떤 계system가 계산 능력computational capability을 갖기 위한 필요 조건에 해당한다고 볼 수 있는데, 이 대응의 규정은 해당 물리계에 대한 이론적, 경험적 이해의 정도에 따라 인과성causality 원리 수준뿐만이 아니라 개연성probability/likelihood 정도의 현상적 차원에서도 이루어 질수 있을 것으로 생각된다.
인류는 이러한 계산 가능성을 내포하는 물리계들에 대해 이론적으로 이해understanding하고 계산을 통해 재현reproduction하려는 노력을 아끼지 않았다. 범용 계산이 가능한 기계들은 그 자체가 물리 법칙law of physics을 따르는 물리계인데, 그 동안은 주로 고전역학classical mechanics 기반의 인공지능 물리계에 대한 이해와 재현이 주를 이루었으며, 작은 세상을 지배하는 양자역학quantum mechanics적 범용 계산 연구들은 비교적 최근에 들어와서야 활발히 추진되고 있다. 예컨대, 1994년 피터 쇼어Peter Shor는 특정 문제 해결에 있어 양자 알고리즘이 고전 계산을 속도와 효율면에서 능가할 수 있음을 주장하였는데, 이것의 핵심인 쇼어 알고리즘Shor’s algorithm이 만약 충분한 성능의 범용 양자 컴퓨터에서 구현된다면 리베스트-샤미르-애들먼Rivest-Shamir-Adleman(RSA) 공개 키 암호 채계에서 사용되는 수백자리 소수를 빠르고 효율적으로 소인수 분해를 할 수 있어 오늘날의 공개 키 암호 체계를 손쉽게 무력화시킬 정도에 이른다고 한다.
이러한 이해와 재현의 노력들은 비단 인공지능-양자 컴퓨팅 과학사에만 국한되지 않으며, 이는 새로운 것의 떠오름emergence과 창조generation의 역사적‘에피스테메épistémè’의 본질로 볼 수 있다.
보통 양자 컴퓨팅 (혹은 양자 센싱quantum sensing)에서 ‘양자’는 1) 원자neutral atom, 포획된 이온trapped ion, 초전도superconducting 큐비트qubit(양자 비트quantum bit) 처럼 양자화된 에너지 준위quantized energy level를 가지는 물성을 이용하거나, 이러한 양자적 물체object의 2) 양자 중첩 상태superposition state를 활용하거나, 3) 양자 얽힘quantum entanglement을 이용하는 경우 등 다양한 의미로 사용된다. 이러한 개념적 연구가 실제 양자 컴퓨팅 혹은 양자 연산 기기에서 제대로 작동operation되기 위해서는, 1) 큐비트들이 명확하게 정의된 순수 양자 상태pure quantum state로 준비될 수 있어야 하고, 2) 물리계에서 임의의 유니터리 연산자들unitary operators이 임의의 얽힌 상태entangled state를 생성할 수 있도록 제어 가능해야 하며, 3) 큐비트들의 상태 측정measurements(read-out)이 효율적으로 이루어 질 수 있어야 한다.
2000년대에 들어서면서 새로운 패러다임의 양자 알고리즘들 (예컨대, 단열 양자 알고리즘adiabatic quantum algorithm, 측정기반 양자 알고리즘measurement-based quantum algorithm(MBQC), 위상 양자 장론 기반 알고리즘topological-quantum-filed-theory-based algorithm(TQFT))과 이를 구현하기 위한 새로운 양자 물리계 (저온 이온 포획cold ion trap, 광자photon와 광학 공동optical cavity 기반의 양자 광학quantum optics, 응집물질계condensed matter system 등)가 활발히 개발되기 시작하였다. 이러한 노력은 1) “양자 알고리즘이 실제로 고전적으로 해결하기 어려운 문제들classically intractable problems을 효율적으로 해결할 수 있는가?”와 2) “실제 실용적 목적을 달성하기 위한 대규모 양자 컴퓨팅 물리계가 구현될 수 있는가?”에 대한 답을 찾아가는 과정으로 이해할 수 있다. 보다 근본적으로 이 두 물음의 해답은 실제 양자 컴퓨팅에서 무엇이 고전 컴퓨팅classical computing을 능가하게 만드는 ‘양자적 계산 동력computational engine’ 인지에 대한 물리적 근원과‘계산의 의미’에 관한 철학적 통찰을 통해 점차 분명하게 드러날 것으로 보인다.
어떤 물리계의 속성과 이를 계산 도구로 활용하려는 인간의 열망 사이에는 본질적인 간극이 있다. 이는 알고리즘의 이론적 의미와 실제 구현의 원리적 간극으로 인한, 계산의 결정 불가능성undecidability문제로 불거진다.어떤 양자 물리계를 최대한 효율적으로 이해하고 재현하기 위해서는, 양자 물리 법칙 하의 모든 동역학적 과정dynamical process을 전부 모델링하고 시뮬레이션하는 대신에, 추상화된 이론에 근거한 알고리즘 활용 전략을 취하게 된다. 이러한 양자 물리계에 대한 알고리즘적 해석은 자연스럽게 이를 계산의 도구로 활용하는 연구로 확장될 수 있다. 그러나 여기에는 필연적으로 알고리즘의 동역학계에 대한 환원 불가능성irreducibility 문제가 생기게 마련이다. 양자 계산 기기들은 그 자체가 물리 법칙law of physics을 따르는 물리계인데, 이들이 가장 효율적으로 그들의 미래 상태를 결정하기 위해 스스로 변화하는 과정의 예측은 반드시 물리 법칙이 적용되는 모든 각각의 독립된 개체entity들을 명시적으로 모델링하고 시뮬레이션하는 것을 통해 가능하다. 그러나 계산 알고리즘들이 아무리 정교한 이론을 기반하여 잘 만들어졌다하더라도 원리적으로 양자 계산 물리계의 모든 동역학을 환원할 수는 없다.이때의 양자 물리적 알고리즘은 수학mathematics 및 계산이론computation theory 관점에서는 (마치 튜링 기계 처럼) 존재론적ontological으로는 작동 원리와 결과가 명확해 보이지만, 존재적ontic으로는 개별적이고 구체적인 양자 계산 기기의 물리 법칙에 따른 변화의 속성에 제한된다. 이는 물리 법칙을 기반으로 고안된 알고리즘적 해석이 물리 법칙을 따르는 실제 물리계에 의해 제한되는 모순적인 상황인 것인데, 이는‘잡음이 있는 중간 규모 양자noisy Intermediate-Scale Quantum(NISQ)’ 수준을 넘어서는 큰 규모의 ‘결함 허용 양자 컴퓨팅fault-tolerant quantum computing(FTQC)’기법이 개발되어도 남아있을, 데이터 처리 과정의 기술적 측면이 아닌 물리 원리적 불확실성uncertainty인 것이다.
어떤 물리계의 속성을 계산 도구로 활용하려는 인간의 열망을 파도타기의 명수인 서퍼surfer의 욕망으로 비유해 보자. 모든 서핑surfing 기술을 습득한 완벽한 서퍼라도 오늘의 파도는 어제의 그것과 달라 서핑의 과정과 끝을 예측하기 어렵다. (사실 그래서 서핑은 항상 짜릿하고 기대되는 것이다.) 완벽한 서퍼라도 그날 파도의 속성을 완벽히 이해하고 통제할 수 없듯이, 인간도 물리계를 계산 도구로 사용할 때 그 진화를 완전히 통제할 수 없고, 그 속성을 따를 수밖에 없다. 서퍼가 할 수 있는 일은 파도를 지배하는 것이 아니라, 그 흐름을 읽고 그 위에서 움직이는 것이다. 우리는 물리 법칙을 따르는 물리계에 제한되어 그 진화의 흐름 위에서 계산을 수행하는 것이다. 직물고둥Conus textile의 껍데기 무늬처럼 자연에서 나타나는 비주기aperiodic이고 카오스chaos적 복잡한 패턴은 스티븐 울프럼Stephen Wolfram이 제안한 세포 자동자cellular automata의 규칙 30rule 30과 같은 단순하고 결정론적인determistic 규칙으로 이해하고 재현할 수 있다. 그러나 규칙 30처럼 매우 간단한 알고리즘 조차도 그 결과는 실제 계산 기기를 통해 실현해 보기 전에는 예측하기 어렵다. 이는 자연계가 추상화된 알고리즘으로 묘사될 수 있고, 알고리즘 기반의 계산 목적으로 사용될 수 있다하더라도 실제 계산 결과는 인간의 직관을 넘어서는 복잡성을 가질 수 있음을 시사한다.
계산 복잡도와 양자 오류 정정
양자 우위 계산superior quantum computation을 실현하기 위해서는 양자 물리계의 큐비트 오류를 효율적으로 정정correction하거나 완화mitigation하는 기술을 개발하는 것이 중요하다. 그러나 현재의 양자 오류 대응 기법들은 대개 컴퓨터는 양자역학적이고, 환경은 고전역학적이라는 매우 비현실적인 잡음 모델noise model을 기반으로 개발되고 있는 기술적 한계가 있다. 과학철학적 관점에서 보면 현재의 양자 오류 정정QEC이나 양자 오류 완화quantum error mitigation(QEM)기법들은‘어떻게 일어날 수 있는가에 대한 설명how-possibly explanation’에 의존하는 경향이 강하며, 양자 우위적 연산이 ‘어떻게 실제로 일어났는가에 대한 설명how-actually explanation’을 강구하지 못하고 있는 듯하다. ‘어떻게 실제로 일어났는가에 대한 설명’은 (과학적 설명scientific explanation 분야의 기본 개념으로) 현상을 일으킨 정확한 원인과 실제 과정을 명확하게 밝혀내려는 방식인 데 반하여,‘어떻게 일어날 수 있는가에 대한 설명’은 어떤 결과가‘어떻게 그렇게 귀결되었는지how-actually’에 대해 정확한 원인을 규명할 수 없는 경우에 한하여, 그 원인 때문인지는 확실하지 않지만, 어떤 과정을 거치면 그런 결과가 나오는 것이 논리적으로 가능한지, 충분히 일어날 수 있는 가능성이 있는지를 파악하는 것을 목적으로 한다. 이러한 문제가 실제 양자 컴퓨팅과 인공지능이 결합되고 있는 새로운 분야에서 어떤 의미로 다가올 것인가. 이를 다시 ‘NVIDIA ISING’ 문제로 돌아와 고찰해 보자. ‘NVIDIA ISING’은 크게 두 부분으로 구성되어 있는데, 하나는 양자 프로세서의 교정calibration 과정을 도와주는 에이전틱 인공지능 모형인 ‘ISING Calibration’이고, 나머지는 표면 코드surface code를 이용한 양자 오류 정정을 효율화하기 위한 합성곱 신경망convolutional neural network기반의 사전 복호화pre-decoding 모듈module인 ‘ISING Decoding’이다.
대부분의 양자 오류 정정은 계산 큐비트에 비국소적으로 저장된 정보를 인접하는 여러 개의 보조 큐비트를 이용하여 처리하는 방식으로 이루어진다. 정보를 여러 큐비트에 걸쳐 비국소적인 상태로 저장하게 되면 국소적 잡음이 발생해도 양자 상태가 붕괴되지 않으므로, 잡음에 강건한 상태로 정보를 보존할 수 있다. 이때 정보를 지속적으로 보존하기 위해서는 복호화decoding을 통해 양자계가 어떤 동역학적 과정에 의해 어떤 상태에 놓여 있는지 추론해야 하는데, 양자계의 논리 상태가 붕괴되지 않도록 양자계의 정보를 부분적으로 측정하여 실시간으로 추정해야 하므로, 이는 양자 오류 정정에서 가장 어려운 과정 중의 하나로 꼽힌다. ‘NVIDIA ISING’은 이 과정에서 사전 복호화pre-decoding을 한다. 측정된 오류 신드롬error syndrome의 패턴을 입력으로 받아 이를 단순화하여 최소 가중치 완전 매칭minimum weight perfect matching(MWPM)이나 합집합-찾기union-find 등 고전 알고리즘 기반의 디코더decorder로 넘겨준다. 인공지능 기반의 사전 복호화 방식을 도입한 이유는 복호화 문제의 계산 복잡도와 밀접한 관련이 있어 보인다. 양자 오류 정정QEC 코드code의 복호화 과정은 일반적으로 ‘NP-hard’ 문제이고, 일부는 (대개 NP-hard 문제보다 더 어려운) ‘#P-hard’ 문제이다.
계산 복잡도 이론computational complexity theory에서는 이러한 현실적 계산의 문제를 시간 및 공간 자원 측면에서 실질적이고 효율적으로 해결이 가능한가와 그렇지 않은가에 따라 나눈다. 즉, 입력 크기 n(일반적으로 입력을 나타내는 비트bit 수)에 대하여 다항식polynomial으로 제한된 자원을 사용하는 해법이 있으면 ‘처리 가능tractable’ 또는 ‘실행 가능feasible’문제로, 입력 크기 n에 대하여 지수적exponential 시공간 자원이 요구되는 경우에는 ‘처리 불가능intractable’ 또는 ‘실행 불가능infeasible’문제로 분류한다. NP-hard 문제란 계산 복잡도 이론에서 NP에 속하는 모든 판정 문제를 다항 시간에 환산할 수 있는 문제다. 이때 NP는 답을 알아내는 것과 별도로, 어떤 답이 주어졌을 때 그것이 올바른 것인지 확인하는 과정의 시간 복잡도가 입력 크기 n에 대한 다항식으로 주어지는 문제를 말한다. 즉, NP-hard 문제는 모든 경우의 수를 일일이 확인하는 방법 외에는 다항 시간 내에 풀 수 없다고 알려져 있다. NP-hard 문제를 풀기 위해서는 입력 크기에 대하여 지수적인 시공간 자원이 요구된다. 양자 오류 정정QEC에서의 복호화는 NP-hard 문제임이 증명되어 있으므로, 큐비트의 개수가 늘어날수록, 혹은 양자 오류 정정QEC 코드 거리가 늘어날수록, 경우의 수가 지수적으로 증가하고 시간 복잡도도 지수적으로 증가한다. 이렇듯 완전한 복호화 과정은 모든 경우의 수를 탐색해야 하고, 큐비트의 개수가 조금만 많아져도 필연적으로 지연backlog문제가 발생할 수밖에 없다. 고전 알고리즘 기반의 디코더decorder는 복호화 과정을 근사적으로 재구성해 계산 복잡도를 다항시간으로 줄이지만, 입력의 크기와 무관하게 필요한 시간이 크고 양자 오류 정정QEC 코드code의 거리 d에 대해 여전히 기하급수적으로 증가하므로 중/대규모 양자 컴퓨터에서의 적용은 어려운 실정이다.
이러한 인공지능 기반의 사전 복호화 방식은 심층 신경망이 데이터를 예측 가능한 상수 시간 내에 처리하므로, 지연 문제를 어느 정도 완화시킬 수 있다는 장점이 있다. 그러나 본질적으로 오류 신드롬 패턴을 단순 자료형으로 다루는 방식이므로, 이는 실제 양자 물리계가 물리법칙에 따라 변화 과정을 반영하지 않는다는 점에서 그 한계를 드러낼 수 밖에 없다. 결국 앞장에서 논했던 것과 같이, 이는 결국 알고리즘의 이론적 의미와 실제 구현 사이의 환원 불가능성irreducibility의 간극으로 인한 계산의 결정 불가능성undecidability이 원인인데, ‘NVIDIA ISING’은 물리 원리에 기반한 추상화된 고차원 알고리즘이 아닌 데이터 처리 용도의 사전 복호화 합성곱 신경망 알고리즘을 사용한 것이므로 환원 불가능성irreducibility의 간극은 더욱 증폭되고 계산의 결정 불가능성undecidability이 겉잡을 수 없이 커진다.‘NVIDIA ISING’에서 다루는 오류의 형태는 파울리 오류에 국한되는데 반해, 실제 양자 물리계에서는 계산 기저computational basis를 벗어나는 누설 오류leakage error, 여러 개의 큐빗이 얽혀 발생하는 상관된 오류 등의 오류가 발생할 수 있다. 누설 오류의 경우에는 ‘NVIDIA ISING’에서 다루는 오류의 범위를 벗어난다. 또한 여러 큐비트가 대규모로 얽혀 상관된 오류가 발생하는 경우 그 오류 패턴은 비국소적으로 발생할 수 밖에 없는데, 국소적 정보 처리에 강점이 있는 합성곱 신경망의 특성 상 오류 정정이 한계에 부딪힐 수 있다. 더구나, ‘NP-hard’ 문제를 심층 신경망을 통해 어느 정도까지 다룰 수 있을지에 대해서도 논란이 있다. 근사적으로 문제의 해를 찾아낼 수는 있지만 그 정확도가 오류 임계점error threshold 이하를 달성할 수 있을지, 혹은 가능하더라도 학습 자체가 처리 가능tractable한 수준인지에 대한 고려도 필요해 보인다.
그렇다면 추상화된 알고리즘들은 계산이 수행되는 물리계를 명시적으로 모델링하고 시뮬레이션할 만큼의 구체성을 띠지 못하기에 실용적인 유용성을 가지기 어렵다는 말인가. 아마도 그렇지만은 않을 것이다. 알고리즘은 고전적이든 양자적이든 활용할 수 있는 물리계의 한계에 묶여 구현될 수밖에 없지만 언제나 최대한 계산된 그 만큼의 의의를 가질 수 있을 것이다. 따라서 우리가 풀고자 하는 문제가 실제로 계산 기기들의 최대 성능에 비하여 충분히 간단하다면 이러한 문제 풀이에 대해서는 실용적 수준에서 문제가 없으므로 그 유용성을 인정할 수 있을 것이다. 그러나 펜로즈가 지적했듯이, 인간의 의식과 같은 복잡한 문제까지 현재의 고전역학적 튜링 기계 기반의 알고리즘적 계산으로 이해하고 구현할 수있다는 주장은 설득력을 가지기 어려울 것이다. 이러한 주장은 대부분 알고리즘의 존재론적ontological 의미와 존재적ontic 구현 사이의 간극에 따른 결정 불가능성undecidability의 원리적 한계에 대한 고찰을 간과하고 있다고 보인다.
