넥서스 _ 유발 하라리

P193 다수 독재

선거가 완전히 자유롭고 공정하게 실시된다 해도, 선거만으로는 민주주의를 보장할 수 없다. 민주주의는 다수 독재가 아니기 때문이다.

 자유롭고 공정한 선거에서 투표자의 51퍼센트가 선택한 정부가 투표자의 1퍼센트를, 타수가 싫어하는 소수 종교를 믿는다는 이유로 죽음의 수용소로 보낸다고 가정해보자. 이것이 민주적일까? 분명희 그렇지 않다. 대학살이 정당화하려면 51퍼센트 이상의 특별한 과반수가 필요하다는 말이 아니다. 정부가 투표자의 60퍼센트, 75퍼센트, 심지어 99퍼센트의 지지를 얻어도 죽음의 수용소가 민주적인 기관이 되지는 않는다. 민주주의는 다수가 인기 없는 소수를 죽이기로 결정할 수 있는 제도가 아니다. 민주주의는 중앙 권력에 분명한 제한이 있는 제도다.

 민주주의는 숫자와는 아무 관계가 없다. 정치적 견해가 다르다고 권리를 박탈하는 것은 민주적 네트워크에 필수적인 자정 장치 중 하나를 해체하는 것과 같다. 선거는 민주적 네트워크가 “우리가 실수했으니 다른 것을 시도해보자”고 말하는 장치다. 하지만 중앙정부가 국민의 권리를 마음대로 박탈할 수 있다면 이 자정 장치는 무력화될 것이다.

 

P202 포퓰리즘의 공격

단순함은 모든 것을 중앙에서 지시하고 모두가 말없이 따르는 독재 정보 네트워크의 특징이다. 독재자의 일방적인 독백을 따라가는 것은 쉽다. 반면 민주주의는 수많은 당사자 간의 대화이며 그 중 다수는 동시에 말한다. 그런 대화를 따라가기는 쉽지 않다.

‘포퓰리즘’이라는 말은 ‘국민 the people’을 뜻하는 라틴어 포풀루스populus에서 유래했다. 민주주의에서는 정당한 정치권력이 오직 ‘국민’에게 서만 나온다. 오직 국민의 대표만이 전쟁을 선포하고, 법을 통과시키고, 세금을 인상할 권한을 갖는다. 포퓰리스트들은 이 기본적인 민주주의 원리를 소중히 여기지만, 이 원리로부터 한 정당이나 한 명의 지도자가 모든 권력을 독점해야 한다는 납득할 수 없는 결론에 도달한다. 포퓰리스트들은 흠잡을 데 없어 보이는 민주주의 원리를 바탕으로 전체주의적 목표인 무제한적인 권력 추구를 정당화하는 기발한 정치적 연금술을 부린다.

 

포퓰리스트들은 표를 많이 받지 못해도 여전히 자신들만이 국민을 대변한다고 믿는다.

 

P265

나는 2019년에 체르노빌을 둘러보러 갔을 당시 원전 사고의 원인을 설명하던 우크라이나인 가이드가 한 말을 잊을 수가 없다. “미국인은 질문을 하면 답을 들을 수 있다는 생각을 가지고 자라지만, 소련 시민들은 질문을 하면 곤란에 처한다는 생각을 가지고 자랐습니다.”

 

P293

로힝야족에 대한 증오는 페이스북이 미얀마에 진출하기 전부터 존재했으며. 2016~2017년에 발생한 잔악 행위에 대한 가장 큰 책임은 위라투와 미얀마 군 수뇌부, 그리고 폭력 사태를 촉발한 ARSA지도자들 같은 ‘인간’에게 있다는 것이다. 또한 알고리즘을 코딩하고 알고리즘에게 너무 많은 권한을 부여하며 알고리즘을 제대로 관리하지 못한 페이스북 개발자와 경영진에게도 일부 책임이 있다. 하지만 알고리즘 자체도 분명히 책임이 있다. 알고리즘은 시행착오를 통해 분노가 참여도를 높인다는 사실을 학습했고, 명시적인 명령이 없었는데도 불구하고 분노 콘텐츠를 추천하기로 결정했다. 기계가 이렇게 스스로 학습하고 행동할 수 있는 능력을 보이는 것이 AI의 특징이다. 알고리즘의 책임이 단 1퍼센트라 해도, 이 사건은 비인간 지능이 내리 결정 때문에 일어난 사상 최초의 민족 청소 운동이다. 이번이 마지막이 될 가능성은 낮다. 알고리즘은 이제 위라투 같은 인각 극단주의자들이 생산한 가짜 뉴스와 음모론을 추천하는 것에 그치지 않기 때문이다. 2020년대 초반에 이미 알고리즘은 가짜뉴스와 음모론을 스스로 생성하는 단계로 옮겨 갔다.

 

인간 병사들은 자신들의 유전 코드와 상사의 명령을 따르지만 그럼에도 여전히 독립적인 결정을 할 수 있다. AI 알고리즘도 마찬가지임을 이해하는 것이 중요하다. 알고리즘도 인간 개발자가 프로그래밍하지 않은 것을 스스로 학습할 수 있고 인간 경영진이 예측하지 못한 결정을 내릴 수 있다. 수많은 새로운 주체들이 세상에 등장하여 강력한 영향력을 행사하고 있다는 것, 이것이 AI 혁명의 본질이다.

 

P310

과학소설은 주로 지능적인 기계가 야기하는 물리적 위협에 초점을 맞추었다. <터미테이터>에는 거리를 달리며 인간을 총으로 쏘는 로봇이 등장했다. <매트릭스>에서는 컴퓨터들이 인간 사회를 완전히 장악하지 위해 먼저 인간의 뇌를 컴퓨터 네트워크에 직접 연결하여 물리적으로 통제해야 했다. 하지만 인간을 조정하기 위해 뇌를 컴퓨터에 물리적으로 연결할 필요는 없다. 수천 년 동안 예언가, 시인 정치인 들은 언어를 이용해 사회를 조종하고 바꾸었다. 이제 컴퓨터들이 이 방법을 학습하고 있다. 그리고 컴퓨터는 우리를 죽이기 위해 킬러 로봇을 보낼 필요가 없다. 인간들이 방아쇠를 당기도록 조종하기만 하면 된다.

 

 강력한 컴퓨터에 대한 두려움이 인류를 괴롭히기 시작한 것은 겨우 20세기 중반 컴퓨터 시대가 시작되면서부터였다. 그런데 수천년 동안 인간을 괴롭혀온 훨씬 더 깊은 두려움이 있었다. 우리는 이야기와 이미지가 우리의 마음을 조종하고 환영을 만들어내는 힘을 지니고 있다는 것을 잘 알고 있었고, 그래서 고대부터 인간은 환영의 세계에 갇히는 것을 두려워했다. 고대 그리스에서 플라톤은 유명한 동굴의 비유를 이야기했다. 한 무리의 사람들이 평생 동굴안에서 사슬에 묶여 텅 빈 벽을 바라보며 살아간다. 둥굴 벽은 일종의 스크린이다. 그들은 그 스크린에 비친 다양한 그림자를 보며 자신들이 보는 환영을 현실로 착각한다. 고대 인도에서 불교와 힌두교의 현자들은 모든 인간이 마야, 즉 환영의 세계에 갇혀 산다고 주장했다. 우리가 일반적으로 ‘현실’로 받아들이는 것은 그저 마음이 지어낸 허상에 불과하다는 것이다. 사람들이 전쟁을 벌여 타인을 죽이고 자신의 목숨까지 기꺼이 내던지는 이유는 이런저런 허상을 믿기 때문이다. 17세기에 르네 데카르트는 사악한 악마가 자신을 환영의 세계에 가두고 자신이 보고 듣는 모든 것을 만들어내고 있지는 않은지 두려워했다. 컴퓨터 혁명은 우리는 플라톤의 동굴, 마야, 데카르트의 악마와 마주하게 하고 있다.

 

P378

인간은 매우 복잡한 존재이고, 건강항 사회질서는 우리의 미덕을 함양하면서도 부정적인 경향을 억제할 수 있는 방법을 모색한다. 하지만 소셜 미디어 알고리즘은 우리를 단순히 관심을 채굴하는 광산으로 본다. 그 알고리즘들은 인간의 다면적인 감정(증오, 애정, 분노, 기쁨, 혼란 등)을 단 하나의 포괄적인 범주인 ‘참여도’로 환원했다.

인간에 대한 이런 매우 편협한 이해를 바탕으로 이 알고리즘들은 우리의 가장 저급한 본능을 부추기고 인간이 지닌 잠재력을 억누르는 새로운 사회 시스템을 만드는데 일조했다.

 

플랫폼에 허위 사실과 분노가 넘쳐나는데도 경영진은 더 많은 사람들이 더 자유롭게 자신을 표현할 수 있다면 결국 진실이 승리할 것이라고 기대했다. 하지만 그런 일은 일어나지 않았다. 우리가 그 동안의 역사에서 숱하게 보았듯이, 모든 정보가 여과 없이 흐르도록 내버려두면 진실이 지는 경향이 있다.

 

P390

보스트롬의 사고실험은 이렇다. 클립 공장에서 초지능 컴퓨터 한 대를 구입하고, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 언뜻 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성들까지 모조리 점경하더니, 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다.

이 사고실험의 핵심은 컴퓨터가 (괴테의 마법에 걸린 빗자루처럼) 시킨 일을 정확히 실행했다는 것이다.

보스트롬이 지적하고 싶었던 점은 컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다는 것이었다. 그리고 컴퓨터가 강력해질수록 우리가 컴퓨터의 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 기해야 한다는 것이다. 휴대용 계산기에 오정렬된 목표를 설정했다면 큰일은 나지 않는다. 하지만 오정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다.

클립 사고실험이 현실과 완전히 동떨어질 허무맹랑한 이야기처럼 들릴지도 모른다. 하지만 2014년에 보스트롬이 이 실험을 소개했을 때 실리콘밸리의 경졍진이 그것을 눈여겨보았다면 알고리즘에 ‘이용차 참여도를 극대화하라’는 목표를 설정하기 전에 좀 더 신중을 기했을 것이다. 페이스북과 유튜브 알고리즘은 정확히 보스트롬이 상상한 알고리즘처럼 행동했다. 클립 생산을 극대화하라는 명령을 받았을 때 그 알고리즘은 인류 문명을 파괴하는 한이 있더라도 물리적 우주 전체를 클립으로 바꾸려 했다. 페이스북과 유튜브 알고리즘도 이용자 참여도를 극대화하라는 지시를 받았을 때 사회전 우주 전체를 이용자 참여로 바꾸려고 시도했다. 그것이 미얀마, 브라질, 여타 국가들의 사회조직을 파손하는 것을 뜻한다 해도 상관 없었다.

 

P402 고통 계산기

의무론자들이 내재적으로 선한 보편 법칙을 찾으려고 고군분투한다면, 공리주의자들은 고통과 행복에 미치는 영향을 기준으로 행동을 판단한다.

우리는 특정 사건에 ‘고통 점수’ 또는 ‘행복 점수’를 몇 점이나 부여해야 하는지 모르고, 따라서 복잡한 역사적 상황에서 특정 행동이 세상에 존재하는 고통의 총량을 늘리는지 줄이는지 계산한다는 것은 불가능에 가깝다.

 

P408

많은 컴퓨터가 서로 소통할 때 컴퓨터들도 인간 네트워크가 만들어내는 상호주관적 현실과 비슷한 상호 컴퓨터 현실을 창조할 수 있다는 것이다. 이런 상호 컴퓨터 현실은 언젠가는 인간이 만든 상호주관적 신화만큼이나 강력해지고 또 위험해질 것이다.

 

P468

“인간은 새로운 도전에 직면해 있다. 새로운 발명품들은 우리가 이해할 수 있는 수준을 넘어설 것인가? 이전의 발명가들은 자신의 발명품이 어떻게 작동하는지, 왜 그렇게 작동하는지, 비록 많은 세부 내용이 필요하더라도 설명할 수 있었다. 그런데 더 이상 그렇지 않다. 많은 기술과 시스템이 너무 복잡해지고 있어서 어느 누구도 진정으로 이해하기 어렵다.(…) 특히 AI분야에서 점점 자율성을 향해 나아가도 있는 신경망은 현재로서는 설명이 불가능하다. 한 알고리즘이 왜 특정한 예측을 했는지 그 의사 결정 과정을 누군가에게 단계별로 설명하는 것은 불가능하다. 개발자들은 시스템 내부를 들여다보며 무엇이 어떤 행동을 일으켰는지 자세히 설명할 수 없다. GPT-4, 알파고 등은 모두 블랙박스이며, 그들의 출력과 결정은 불투명하고 이해할 수 없을 정도로 복잡한 미세 신호들의 연쇄에 기반한다.”

 불가해하고 이질적인 지능의 등장은 민주주의의 근본을 흔든다. 만일 인간의 삶에 대한 더 많은 결정이 블랙박스 안에서 이루어져 유권자들은 그 결정을 이해할 수도 이의를 제기할 수도 없다면 민주주의는 작동하지 않을 것이다. 특히, 개인의 삶에 대해서뿐만 아니라 연방준비제도이사회의 금리 결정 같은 집단적인 문제에 대한 중요한 결정들이 불가해한 알고리즘에 의해 내려진다면 어떻게 될까? 인간 유권자들은 계속해서 인간 대통령을 선택하겠지만, 이는 공허한 요식행위에 불과하지 않을까? 지금도 금융 시스템을 제대로 이해하는 사람은 인류의 극히 일부에 불과하다. 2016년 OECD에서 실시한 조사에 따르면, 대부분의 사람들은 복리 같은 간단한 금융 개념조차 제대로 이해하지 못했다. 2014년, 세계에서 가장 중요한 금융 허브 중 하나를 규제하는 책임을 가진 영국 의원을 대상으로 설문 조사를 실시한 결과, 은행이 대출을 해줄 때 새로운 화폐가 생성된다는 사실을 정확하게 이해하는 사람은 12퍼센트에 불과했다. 이 사실은 현대 금융 시스템의 가장 기본적인 원리 중 하나다. 2007~2008년의 금융위기가 보여주듯이, 부채담보부증권과 관련된 금융 상품들과 원리들처럼 복잡한 개념은 소수의 금융전문가들만이 이해할 수 있었다. AI가 훨씬 더 복잡한 금융 상품을 만들과 금융 시스템을 이해하는 사람들의 수가 0으로 줄어들면 민주주의는 어떻게 될까?

 점점 더 불가해해지고 있는 정보 네트워크는 최근 포퓰리스트정당과 강력한 지도자가 잇달아 등장하고 있는 이유 중 하나다. 사람들은 더 이상 세상은 이해할 수 없을 때, 그리고 소화할 수 없는 엄청난 양의 정보에 압도될 때 쉽게 음모론에 빠지고, 자신들이 이해하는 대상인 ‘인간’에게 구원을 요청한다. 강력한 지도자는 분명 장점이 있지만, 안타깝게도 아무리 영감을 주는 똑똑한 사람도 점점 세상을 지배해가는 알고리즘이 어떻게 작동하는지 혼자서 해독할 수 없으며, 그 알고리즘의 공정성을 확보할 수도 없다. 문제는 알고리즘이 수많은 데이터 포인트(알고리즘이 분석하고 처리하는 개별적인 정보 단위)에 의존하여 결정을 내리는 반면, 인간은 수많은 데이터 포인트를 의식적으로 고려하고 비교하는 데 어려움을 느낀다는 것이다. 우리는 단일 데이터 포인트로 작업하는 것을 선호한다. 그렇기 때문에 대출 신청, 팬데믹, 전쟁 같은 복잡한 문제에 직면할 때 우리는 특정 행동 방침을 취할 하나의 이유를 찾고 다른 모든 고려 사항을 무시하는 경향이 있다. 이것이 단일 원인의 오류다.

 

 

P531

 정신과 육체에 대한 이 오래된 신학 논쟁이 AI 혁명과 무슨 관계가 있는지 의아하겠지만, 실은 21세기 기술로 인해 이 논쟁이 부활했다. 물리적인 몸과 온라인상의 정체성 및 아바타는 서로 무슨 관계일까? 오프라인 세계와 사이버 공간은 무슨 관계일까? 내가 깨어있는 시간 대부분을 방에서 컴퓨터 화면 앞에 앉아 가상의 관계를 맺고, 심지어는 원격으로 근무한다고 가정해보자. 밥을 먹으러 나가는 일조차 거의 없고 배달 음식을 먹는다. 만일 당신이 고대 유대인이나 초기 기독교인이라며, 나를 동정하면서 내가 물리적 공간과 살아 있는 육체로 이루어진 현실을 잊고 망상 속에 살고 있다고 단정할 것이다. 하지만 당신의 생각이 루터와 그 이후의 많은 기독교인들의 생각에 더 가깝다면 내가 해방되었다고 생각할지도 모른다. 나는 생활과 관계의 대부분을 온라인으로 옮김으로써, 중력에 의해 활동을 제약받고 불완전한 육체에 시달려야 하는 유기적 세계에서 벗어나 디지털 세계의 무한한 가능성을 누릴 수 있다. 이곳은 생물학 법칙과 심지어는 물리 법칙으로부터도 자유로운 수 있다. 나는 훨씬 더 광대하고 흥미진진한 공간을 자유롭게 누비며 내 정체성의 새로운 측면을 탐색한다.

 점점 더 중요해지고 있는 질문은 이것이다. 온라인에서 사람들이 자유롭게 가상 정체성을 선택할 수 있도록 허용해야 할까, 아니면 생물학적 몸에 기반한 정체성을 유지해야 할까? 루터교의 입장인 ‘오직 믿음’에 따르면, 생물학적 육체는 그다지 중요하지 않다. 온라인에서 어떤 정체성을 갖는지는 개인의 믿음에 달려 있다. 온라인 정체성에 대한 논쟁은 단순히 개인의 차원에 머물지 않고 사회 전체의 가치관에 광범위한 영향을 미친다. 정체성을 생물학적 육체와 연결 짓는 사회는 하수관 같은 물질적 기반 시설과 우리 몸을 유지하는 생태계에도 더 많은 관심을 기울일 것이다. 또한 이런 사회는 온라인 세계를 오프라인 세계의 부속물로 여길 것이다. 즉 온라인 세계는 여러 가지 유용한 목적을 수행할 수는 있어도 우리 삶의 중앙 무대는 될 수 없다는 생각이다. 이런 사회의 목표는 이상적인 물리적, 생물학적 영역을 건설하는 것이다. 말하자면 지상 위의 하느님 왕국이다. 반면 생물학적 육체를 경시하고 온라인 정체성에 집중하는 사회는 사이버 공간에 몰입형 하느님 왕국을 창조하는 한편, 하수관과 열대 우림처럼 물질에 불과한 것들의 운명에는 관심을 두지 않을 것이다.