왜 최근에 빌 게이츠, 일론 머스크, 스티븐 호킹 등 많은 유명인들이 인공지능을 경계하라고 호소하는가?

저자: Tim Urban

번역: coolspeed

번역일: 27 December, 2015

주: 무단 전재를 허용하지 않습니다. 허락을 받아야 전재를 할 수 있습니다. (링크로 공유하는 것은 환영합니다. 읽고 재밌으셨다면 SNS에 많은 공유 부탁드립니다.)

---

인공지능은 인류의 영생이나 멸종을 초래할 수 있는데 이 모든 것은 모두 우리가 살아있을 때 일어날 수 있다고 합니다!

이 글을 번역하는데 굉장히 오래 걸렸습니다. 힘들게 번역한 원인은 이 글이 큰 가치가 있다고 생각했기 때문입니다. 여러분들도 인내심있게 끝까지 읽어보시는걸 추천드립니다. 읽고 나면 당신의 세계관이 모두 바뀔지도 모릅니다.

---

내용 출처: waitbutwhy.com

원문링크:

Part I: The AI Revolution: The Road to Superintelligence

Part II: The AI Revolution: Our Immortality or Extinction

---

우리는 지금 격변의 변두리에 서있다. 이런 격변은 인류의 출현과 맞먹을 만큼 의미가 중대하다. — Vernor Vinge

당신이 그래프상에서 이 지점에 서있는다면 어떤 느낌이겠는가?

짜릿한 느낌이겠지? 하지만 당신이 정말 시간 차트위에 서 있을 때 그래프의 오른편을 볼 수 없을 것이다. 왜냐하면 당신은 미래를 볼 수 없으니까. 즉 당신의 진정한 느낌은 아마 이러할 것이다:

평범하고 시시하다.

---

요원한 미래는 바로 코앞에 있다.

타임머신 타고 1750 년의 지구로 돌아간다고 생각해봐라. 그 시대에는 전기도 없도 원거리 통신이란 외치는 것과 봉화를 태우는 것 밖에 없고, 교통수단이라 할만한 것은 짐승의 힘을 이용하여 끄는 것 뿐이었다. 당신이 그 시대에서 철수란 사람을 초대하여 2015 년으로 놀러 와서 “미래”구경 좀 시킨다고 가정하자. 우리는 아마도 1750 년에서 온 철수의 멘탈충격을 상상하기 어려울 것이다 — 금속뚜껑들이 넓은 도로에서 질주하고 태평양 건너편의 사람과 채팅을 하고, 수천킬로 밖에서 진행되고있는 체육경기를 감상하며 반세기 전에 열린 콘서트를 감상할 수 있으며 주머니에서 검은색 네모 모양의 물건을 꺼내 눈앞에 벌어지고 있는 일들을 기록하고, 지도를 생성하여 하나의 파란 점이 당신이 있는 위치를 알려주고, 지구 반대편의 사람의 얼굴을 바라보며 채팅을 하고, … 기타등등 모든 과학기술의 흑마법들. 그런데 이 모든 것들이 철수에게 인터넷이 무엇이고 국제 우주 정거장(ISS)이 무엇이며 대형 강입자 충돌기가 무엇이며 핵무기가 무엇이며 상대성이론이 무엇인지를 설명해주기 전에 말이다.

이때 철수는 무슨 느낌일까? 경악, 쇼크? 이런 단어들은 터무니없이 부족하다. 그는 아마도 놀라 쓰러질 것이다.

하지만 철수가 1750 년으로 돌아간 후에, 놀라 쓰러진게 부끄러워서 다른 사람도 당해봐라는 생각에 다른 사람한테 똑같은 짓을 하려 한다고 가정하자. 철수는 250 년 전의 1500 년으로 돌아가서 1500 년에 사는 바둑이를 초대해 1750 년 투어를 시켜준다. 바둑이는 아마 250 년 후의 많은 사물들에 깜놀하겠지만 놀라서 쓰러지지는 않을 것이다. 같은 250 년이란 시간인데 1750 년과 2015 년의 차이는 1500 년과 1750 년의 차이보다 훨씬 훨씬 크다. 1500 년에서 온 바둑이는 많은 물리학 지식을 배울 수 있고 유럽 제국주의 투어에 신기해 할 수 있겠고 심지어 세계 지도에 대한 인지도 크게 바뀌겠지만 1750 년의 교통, 통신 등을 보고 놀라서 쓰러지지는 않을 것이다.

즉 1750 년의 철수에게 있어 다른 사람을 놀라 쓰러지게 하려면 더욱 먼 고대로 돌아가야 한다 — 예를 들어 기원전 1,2000 년, 제1차 농업혁명 전에. 그 시대에는 아직 도시도 없고 문명도 없었다. 수렵채집 시대의 인류이고 당시 많은 종들 중의 한 종일 뿐이였다. 그 시대에 사는 영희는 1750 년의 방대한 인류제국을 보고 바다에 떠있는 거대한 함선을 보고 “실내” 에 거주하는 것을 보고 수많은 소장품들을 보고 신기한 지식들과 발견들을 보면 — 영희는 아마도 놀라서 쓰러질 것이다.

영희도 놀라 쓰러진 후 같은 짓을 하고 싶다면은? 그는 아마도 기원전 24,000 년으로 돌아가 그 시대의 짱구에게 기원전 1,2000 년의 삶의 모습을 구경시켜줄 것이다. 그러면 짱구는 이건 밥먹고 할일 없는 짓 아닌가는 생각을 하게 될 것이다 — “이건 내가 사는 시대랑 거기서 거기 아니냐, -_-”. 영희가 다른 사람을 놀라서 쓰러지게 하려면 십만년 전이나 더 멀리 가야 할 것이다. 거기서 불의 사용, 언어의 사용으로 상대방을 놀라 쓰러지게 해야 할 것이다.

즉 어떤 사람이 미래로 가서 “놀라 쓰러지게” 하려면 하나의 “놀라 쓰러지는 단위” (Die Progress Unit, DPU) 가 필요하다. 이하 “놀쓰단”이라고 약칭하겠다. “놀쓰단”의 시간 간격은 일치하지 않다. 수렵채집 시대에 하나의 놀쓰단은 십만년을 넘는다. 하지만 산업혁명이후 하나의 놀쓰단은 200 여년이면 충분하다.

미래학자 레이 커즈와일 (Ray Kurzweil) 은 인류의 이런 가속발전을 수확 가속의 법칙 (Law of Accelerating Returns) 이라고 부른다. 이런 법칙이 발생하게 된데는 보다 발달된 사회는 지속 발전의 능력이 더욱 강하기에 더욱 빠르게 발전한다는 것이다 — 발전능력이 강하다는 것 자체가 사실 더욱 “발달되었다” 의 한가지 지표요구중 하나이기도 하다. 19 세기 사람들은 15 세기 사람들보다 아는게 훨씬 훨씬 많으니까 19 세기 사람들은 15 세기 사람들보다 발전이 빠를 수 밖에 없다.

보다 짧은 시간 단위를 놓고 보더라도 이 법칙은 여전히 성립된다. 유명한 영화 <빽 투 더 퓨쳐> (Back To The Future, 1985) 에서 1985 년에 사는 주인공이 1955 년으로 돌아갔는데 그는 TV 가 출현했을 때 사람들의 신기함, 탄산음료의 싼 가격, 전기기타를 좋아하는 사람이 적은 사실과 속어(俗語, slang)들의 차이들로 놀람을 금치 못한다.

하지만 만약 이 영화가 2015 년에 일어났다면 30 년 전으로 돌아간다면 주인공이 느낄 놀람은 이것보다 훨씬 클 것이다. 2000 년 전후에 태어난 사람이 PC 도 없고 인터넷도 없고 휴대폰도 없는 1985 년으로 돌아간다면 1985 년에서 1955 년으로 돌아간 주인공보다 더욱 많은 차이에 더욱 많이 놀랄 것이다.

이것 역시 수확 가속의 법칙 때문이다. 1985 년 – 2015 년의 평균 발전 속도는 1955 년 – 1985 년의 평균 발전 속도보다 빨랐다. 왜냐하면 1985 년의 세계는 1955 년보다 더욱 선진적이였고 출발점이 더 높았기 때문에 지난 30 년의 발전은 30년 전의 지난 30년보다 발전이 빨랐던 것이다.

진보가 지속적으로 빨라지고 있다면 우리의 미래가 아주 기대해볼만 한 것 아니겠는가?

미래학자 커즈와일은 지난 20 세기의 100 년 발전은 2000 년 시각의 발전속도로는 20년이면 다 발전해버릴 수 있을 것이라고 한다 — 2000 년의 발전 속도는 20 세기 평균 발전 속도의 5 배이다. 그는 또 2000 년부터 시작하여 14 년이면 지난 20 세기 백년동안의 발전한 만큼을 달성할 수 있고 2014 년 후에는 7년이면 (2021년)  20 세기 100 년 발전량을 달성할 수 있다고 한다. 수십년 후이면 우리는 해마다 “20세기 전체 발전”만큼의 몇배를 발전할 수 있다고 한다. 계속 뒤로는 아마 몇개월이면 한번 달성할 수 있을지 모른다. 수확 가속의 법칙에 의하여 커즈와일 은 인류의 21 세기의 발전은 20 세기의 1000 배가 될 것이라고 한다.

만약 커즈와일 등 학자들의 생각이 맞다면 2030 년의 세계는 아마도 우리를 놀라 쓰러지게 할 것이다 — 다음 “놀쓰단”은 아마 십여년정도밖에 안될 것이다. 그럴뿐만 아니라 2050 년의 세계는 우리가 상상할 수 없을 만큼 달라질 것이다.

당신은 아마도 2050 년의 세계가 상상도 못할 만큼 달라질 수 있다는 말이 아주 우스울지 모른다. 하지만 이건 SF 가 아니라 당신이나 필자보다 훨씬 똑똑한 과학자들이 믿고 있는 바이다. 그리고 역사적으로 봤을 때와 논리적으로 봤을 때 예상 가능한 부분이다.

그렇다면 당신은 왜 “2050 년의 세계는 우리가 상상할 수 없을 만큼 달라질 것이다” 라는 말이 이렇게 우습게 느껴지는 것일까? 여기에는 세가지 원인이 당신의 미래에 대한 예측을 빗나가게 하고 있는 것이다:

1.  우리의 역사에 대한 사고방식은 선형적이다.

우리가 앞으로의 35 년의 변화를 사고할 때 우리가 참조하는것은 과거 35 년동안 발생한 일이다. 마치 우리가 21 세기에 일어날 변화들을 예상할 때 20 세기의 변화를 참조하는 것처럼. 마치 1750 년의 철수가 1500 년의 바둑이가 1750 년으로 구경오면 놀라 쓰러질 것이라고 착각하는 것과 마찬가지이다. 선형적인 사고는 본능적인 것이다. 하지만 우리가 미래를 생각할 때는 지수적으로 (기하급수적으로) 생각해야 한다. 총명한 사람은 과거 35 년의 발전으로 앞으로의 35년을 예측하지 않을 것이다. 반면에 현재의 발전 속도를 기반으로 예측할 것인데 이것이 보다 정확할 것이 뻔하다. 물론 이렇게 예측하는 것도 정확하지가 않다. 보다 정확히 하려면 당신은 발전 속도가 점점 빨라진다는 점까지 고려해야 한다.

2. 최근의 역사는 사람을 잘못 인도하기 쉽다.

우선 아무리 가파른 지수함수 그래프라도 당신이 충분히 짧은 구간을 절취한다면 아마 보기에 선형적으로 보일 것이다. 마치 원의 아주 작은 구간을 절취한다면 직선처럼 보이는 것과 같은 도리이다. 뿐만 아니라 지수적 발전은 매끈하지가 않으며 늘 S 형 그래프를 보이기 때문이다.

S 형 그래프는 새로운 패러다임이 세계에 퍼질 때 일어난다. S 형 그래프는 세 부분으로 나뉘다.

• 느린 성장 (지수적 성장의 초기)
• 빠른 성장 (지수적 성장 폭발시기)
• 새로운 패러다임의 성숙과 정착으로 인한 평온 발전기

당신이 최근 역사만 회고한다면 아마도 S 형 그래프의 어느 구간만 보일 것이다. 하지만 이 부분은 우리의 발전이 얼마나 빠른가를 보여줄 수 없기 마련이다. 1995 – 2007 년 사이는 인터넷이 폭발적 성장을 한 시기이다. 마이크로소프트, 구글, 페이스북이 대중의 시야에 들어왔고 그것에 수반된 것은 SNS, 휴대폰의 출현과 보급, 스마트폰의 출현과 보급이였다. 이 구간이 바로 S 형 그래프의 빠른 성장시기이다. 2008 – 2015 년 사이의 발전은 그다지 빠르지 않았다. 적어도 기술영역에서는 그러했다. 만약 지난 몇년동안의 발전속도를 두고 현재의 발전 속도를 가늠한다면 매우 그릇될 수 있다. 다음의 폭발적 성장시기가 싹을 틔우고 있을 수도 있기 때문이다.

3. 개인 경험의 틀에서 벗어나지 못하고 우리는 미래에 대해 틀에 박힌 예측을 하기 마련이다.

우리는 자신의 경험을 토대로 세계관을 형성하는데 이러한 경험은 발전의 속도를 우리의 머리속에 낙인시켜놓았다 — “발전은 원래 이런 속도인거야.” 뿐만 아니라 우리는 자신의 상상력에 제한을 받는다. 상상력은 과거의 경험에 의하여 미래에 대한 예측을 하기 때문이다 — 하지만 우리가 알고 있는 것들은 미래를 예측하는데 도움이 되기엔 역부족이다. 우리가 우리의 경험에 위배되는 미래 예측을 들었을 때 우리는 이 예측이 빗나갔다는 느낌이 들 것이다. 만약 내가 당신에게 150살, 250 살 심지어 장생불로할 수 있다고 하면 내가 이상한 소리 한다고 생각하겠지 — “자고로 모든 사람은 죽게 되어있다. ” 라면서 말이지. 물론이다. 하지만 비행기가 발명되기 전에는 비행기를 타본 사람도 없지 않았는가?

아래 내용들을 읽으면서 당신은 아마도 맘속으로 “뻥까지 마라”고 생각할 수도 있을 것이다. 그리고 이 내용들이 정말 틀릴지도 모른다. 하지만 우리가 정말 역사의 패턴으로부터 논리적인 판단을 하게 된다면 결론은 다가올 수십년내에 우리가 예상했던것 보다 훨씬 훨씬 훨씬 훨씬 많은 변화가 일어날 것이라는 것이다. 또한 같은 논리로 도달할 수 있는 결론은, 인간이라는 이 지구상에서 가장 발달한 종이 점점 더 빠르게 나아간다면, 어느순간, 지금까지의 인류의 삶이 송두리채 바뀌고“인류란 무엇인가”에 대한 인식조차 완전히 달라지게 될 것이다. 마치 자연의 진화속에서 지능을 향해 한발작 한발작 발전하다가 드디어 중요한 걸음을 내디뎌 인간이 탄생한 것처럼 말이다. 그리고 당신이 최근의 과학기술의 발전 동향을 살피는데 조금만 시간을 투자한다면, 우리가 알고 있는 삶이 앞으로 다가올 도약을 막을 수 없다는 수많은 징조를 보게 될 것이다.

---

초지능으로 가는 길

인공지능이란 무엇인가?

만약 당신이 지금까지 인공지능을 SF(과학 환상)으로 여겨왔는데 최근에는 많은 멀쩡한 사람들이 이 문제를 진지하게 토론하는걸 보았다면 아마 당황스러웠을 것이다. 이러한 당황스러움은 아래와 같은 원인에서 비롯된다.

1. 우리는 인공지능이라는 말이 나오면 영화부터 떠올린다.

<스타 워즈>, <터미네이터>, <2001 스페이스 오디세이> (1968) 등. 영화는 허구였고 영화 캐릭터들도 허구였다. 그래서 우리는 늘 인공지능에서 현실감을 느끼지 못했다.

2. 인공지능은 광범위한 문제이다.

휴대폰에 있는 계산기로부터 자율주행 차량 뿐 아니라, 미래에 세계를 크게 바꿔놓을 중대한 변혁까지. 인공지능은 수없이 많은 곳에서 언급되기에 혼란스럽다.

3. 우리는 일상에서 이미 매일 인공지능을 사용하고 있다.

우리는 그저 인식하지 못했을 뿐이다. John McCarthy 가 1956 년에 최초로 인공지능(Artificial Intelligence)란 단어를 사용했다. 그는 늘 이런 불평을 했었다. “어떤 것이 인공지능으로 구현되기만 하면 사람들은 그누구도 더이상 그것을 인공지능이라고 부르지 않았다.”

이런 효과 때문에 사람들은 인공지능이란 말을 듣기만 하면 우리 주변에 이미 존재하는 현실이 아니라 항상 미래의 어떤 신비한 존재로만 생각해왔다. 동시에 이런 효과는 우리들로 하여금 인공지능은 아직 실현되지 못한 예전부터 유행해왔던 개념이라고만 생각하게 한다. 커즈와일은 이렇게 말한다: 사람들은 늘 인공지능이  80 년대때 이미 버림을 받았다고 말하는데 이는 마치 “인터넷은 21세기 닷컴버블이 터질 때 같이 죽어버렸다” 고 말하는 것과 마찬가지로 황당하다.

그래서, 우리는 처음부터 다시 살펴보기로 하자.

우선, 인공지능이란 소리만 나오면 인간형 로봇을 떠올리지 말자. 로봇은 인공지능의 그릇일 뿐이다. 로봇은 가끔은 사람 모양이고 가끔은 아니다. 하지만 인공지능은 그저 로봇안에 있는 컴퓨터일 뿐이다. 인공지능이 두뇌라면 로봇은 신체인 셈이다 — 그리고 이 신체는 꼭 필요한게 아니다. 예를 들어 Siri 뒷단에 있는 소프트웨어와 데이터가 인공지능이지 Siri 가 말을 할 때의 소리는 그저 이 인공지능의 인격화 구현일 뿐이다. 하지만 Siri 자체는 로봇이라는 구성 부분이 없다.

둘째로, 당신은 “특이점” 또는 “기술적 특이점” 이란 개념을 들어봤을 수도 있다. 이 용어는 수학에서 점근선과 유사한 개념을 나타낸다. “특이점“에서 일반적인 규칙들은 적용되지 않는다. 이 용어는 물리학에서도 비슷하게 사용되는데 무한으로 작은 높은 밀도의 블랙홀을 나타내는데 마찬가지로 일반적인 규칙은 더이상 적용되지 않는다. 커즈와일은 특이점을 아래처럼 정의한다: 수확 가속의 법칙이 극에 달해 기술 발전이 무한대의 속도로 발전하며 특이점 이후로 우리는 완전 다른 세상에 살게 될 것이다. 하지만 최근 인공지능 관련된 연구자들은 더이상 “특이점”이란 용어를 잘 안쓴다. 그리고 이 용어는 많은 사람을 헷갈릴 수 있게 할 수 있기 때문에 이 글에서는 최대한 사용을 자제하겠다.

마지막으로, 인공지능은 광범위한 개념이기 때문에 여러가지로 나눌 수 있다. 여기서는 인공지능의 능력 크기에 따라 세가지로 나누겠다:

1. 약인공지능 (ANI, Artificial Narrow Intelligence): 약인공지능이란 어느 특정 방면에서만 잘하는 인공지능을 말한다. 예를 들어 세계 체스 챔피언을 이기는 인공지능. 하지만 그것은 그냥 체스만 잘할 뿐이다. 만약 당신이 그 인공지능한테 어떻게 해야 하드디스크에 데이터를 더 잘 보존할 수 있을 것인가를 붇는다면 걔는 어떻게 대답해야 할지 모를 것이다.
2. 강인공지능 (AGI, Artificial General Intelligence): 인간급의 인공지능. 강인공지능은 여러 방면에서 모두 인간과 겨룰 수 있는 인공지능이다. 인간이 할 수 있는 지능적인 일은 그들도 모두 할 수 있다. 강인공지능을 만들기는 약인공지능을 만들기보다 훨씬 어렵다. 그래서 우리는 아직도 만들어내지 못하고있다. Linda Gottfredson 교수는 지능을 아래와 같이 정의한다: 일종의 광범위한 심리적 능력, 사고할 수 있고 계획할 수 있으며 문제를 해결할 수 있고 추상적인 생각을 할 수 있으며 복잡한 이념을 이해하고 빠르게 학습할 수 있으며 경험속에서 학습을 할 수 있는 능력이다. 강인공지능은 이런 활동들을 함에 있어서 사람과 동등하게 능숙해야 한다.
3. 초인공지능 (ASI, Artificial Super Intelligence): 옥스포드 철학가, 유명한 인공지능 사상가인 Nick Bostrom 은 초지능을 아래와 같이 정의한다: 과학기술 창조, 일반적인 지식, 사회적 능력 등을 포함한 거의 모든 영역에서 모두 제일 총명한 인류의 두뇌보다 훨씬 총명한 지능이다. 초인공지능은 여러 방면에서 모두 인류보다 조금 강할 수도 있고 모든 방면에서 인류보다 만억배 강할 수도 있다. 초인공지능이란 개념이 바로 왜 인공지능이란 화제가 이처럼 핫해질 수 있는가 하는 원인이며 영생불로와 멸종이란 두 단어가 이 글에서 여러번 등장하는 원인이다.

현재 인류는 이미 약인공지능을 장악했다. 사실 약인공지능은 없는 곳이 없다. 인공지능 혁명은 약인공지능으로부터 시작해 강인공지능을 거쳐 최종 초인공지능에 도달하는 여정이다. 이 여정에서 인류는 살아남을 수도 있고 그렇지 않을 수도 있다. 어쨌든 세계는 완전히 달라질 것이라는 것이다.

자, 이 영역의 사상가들이 이 여정에 대해 어떻게 생각하고있는가를 봐보도록 하자. 그리고 왜 인공지능혁명이 당신이 생각한 것보다 훨씬 빠르게 들이닥칠 수 있는지 봐보도록 하자.

우리 현재의 위치 — 약인공지능으로 둘러싸인 세상

약인공지능이란 특정 영역에서 사람과 비슷하거나 사람의 지능이나 효율을 초과하는 기계 지능을 말한다. 흔한 예들로:

1. 자동차상에는 많은 약인공지능들이 있다. 잠금 방지 브레이크 시스템으로부터 기름의 주입 파라미터를 컨트롤하는 컴퓨터까지. 구글이 지금 테스트하고있는 무인 자율주행 자동차를 예로 들어도 많은 약인공지능들이 포함되여있다. 이런 약인공지능들은 주변 환경을 감지하고 그에 대해 반응할 수 있다.
2. 당신의 휴대폰에도 많은 약인공지능이 있다. 당신이 지도를 꺼내 내비게이팅 할 때나 음악어플의 추천을 받아들일 때나 내일의 날씨를 찾아볼 때나 Siri 와 대화할 때나 기타 많은 어플들에는 사실 다 약인공지능이 존재한다.
3. 스팸 메일 필터가 사실 전형적인 약인공지능이다 — 그것은 처음부터 여러가지 스팸 메일을 식별할 수 있는 지능을 가졌으며 지속적으로 학습할 수 있고 당신의 사용 습관에 의해 경험을 얻을 수 있다. 스마트 온도 컨트롤 장치도 마찬가지이다. 당신의 일상 습관에 맞추어 스마트하게 조절할 수 있다.
4. 당신이 웹서핑을 할 때 나타나는 여러가지 인터넷 쇼핑몰 상품의 추천들, 그리고 SNS 의 친구추천, 이 모든 것들이 모두 약인공지능으로 구현된 것이다. 약인공지능은 인터넷에 연결하여 당신의 정보를 이용하여 추천을 한다. 웹서핑할 때 “이 물건을 산 고객들은 저 상품들도 샀어요” 하고 추천하는 것, 사실은 수백만 유저의 행위를 수집하여 생긴 데이터들로 당신에게 물건을 팔아먹는 약인공지능인 것이다.
5. 구글 번역기도 사실 전형적인 약인공지능이다 — 얘는 이 영역은 꽤 잘한다. 음성인식도 한가지이다. 많은 어플들에서는 이 두가지 지능의 조합을 통하여 당신이 스마트폰에 대고 한국말을 하면 스마트폰이 직접 영어로 번역해준다.
6. 비행기가 착륙할 때 비행기가 어느 게이트에 가서 독킹을 해야 하는가를 인간이 결정하는게 아니다. 마치 당신이 인터넷이서 물건을 살 때 영수증이 인간이 타이핑하는 것이 아닌 것처럼.
7. 다이아몬드 게임, 체스, 틱택토, 백개먼, 오델로 등 게임의 세계 챔피언은 모두 약인공지능이다.
8. 구글 검색은 거대한 약인공지능이다. 그 뒤에는 매우 복잡한 정렬과 내용 검색 알고리즘이 있다. SNS 의 핫이슈 기능도 마찬가지이다.
9. 위에 이 모든 것들은 모두 소비자 제품의 예들이였다. 군사, 제조업, 금융업 (극초단타매매 (high frequency trading) 은 미국 주식 거래의 절반을 차지한다) 등 영역에서는 모두 여러가지 복잡한 약인공지능이 활용되고있다. 전용 시스템도 있다. 예를 들어 의사를 도와 병을 진단하는 시스템도 있다. 그리고 IBM 의 그 유명한 왓슨(Watson), 저장된 대량 데이터를 토대로 사회자의 질문을 이해하고 퀴즈 프로그램에서 제일 강한 인간 선수를 이길 수 있다.

현재의 약인공지능은 아마 그렇게 무섭지 않을 수도 있다. 최악상 상황이라 해봤자 고작해야 코드에 버그가 있어서 프로그램이 고장나서 단독적인 재난이 발생하는 것이다. 이를테면 정전, 원자력발전소 고장, 금융시장 붕괴 등이다.

비록 현재의 약인공지능은 우리의 생존을 위협할 능력이 없지만 우리는 여전히 점점 경계한 눈길로 점점 더 커지고 더욱 복잡해지고있는 약인공지능의 생태계를 바라보고있다. 약인공지능의 하나하나의 작은 혁신들은 모두 강인공지능으로 통하는 길에 조용히 벽돌을 보태고 있는 셈이다. Aaron Saenz 의 관점에 의하면 현재의 약인공지능들은 지구 초기의 진흙속에 있는 아미노산들과 마찬가지다 — 기척이 없던 물질들이 갑자기 생명으로 조합된다.

약인공지능에서 강인공지능으로 가는 길

왜 이 길이 그토록 험난한가

오직 인간 수준의 지능을 가진 컴퓨터를 만드는게 얼마나 어려운가를 이해해야 우리 인간의 지능이 얼마나 불가사의한지를 느낄 수 있을 것이다. 하늘을 찌르는 빌딩을 짓고 인간을 우주에 보내고 우주 빅뱅의 디테일을 이해하는 것 — 이 모든 것은 인간의 뇌를 이해하고 유사한 것을 만드는 것보다 훨씬 쉽다. 현재까지 인간의 뇌는 우리가 알고있는 우주안에서 가장 복잡한 사물이다.

그리고 인공지능을 만드는 어려움은 당신이 직감적으로 생각할 수 있는 그런 것들이 아니다.

• 순간에 열자리 수를 곱할 수 있는 컴퓨터를 만들기 — 매우 쉽다.
• 한 동물이 고양이인지 개인지 식별할 수 있는 컴퓨터를 만들기 — 극도로 어렵다.
• 세계 체스 챔피언을 이길 수 있는 컴퓨터를 만들기 — 성공한지 오래다.
• 6살 아이가 읽는 그림책속의 문자를 읽을 수 있고 그 뜻을 이해할 수 있는 컴퓨터를 만들기 — 구글이 수십억달러를 퍼부어서 연구하고있지만 아직 성공하지 못했다.
• 일부 우리가 어렵게 여기는 일들 — 미적분, 금융시장 책략, 번역 등등은 컴퓨터한테는 매우 쉽다.
• 일부 우리가 쉽다고 느끼는 일들 — 시각, 움직임, 직감 — 컴퓨터한테는 개어렵다.

컴퓨터 과학자 Donald Knuth 의 말로 “인공지능은 이미 모든 생각이 필요한 영역에서 인간을 초월했다. 하지만 인간이나 기타 동물이 생각을 하지 않아도 완성할 수 있는 일들에서는 아직 멀었다.”

독자들은 아마 느꼈을 것이다. 그런 우리가 쉽다고 느끼는 일들은 사실 매우 복잡한 것이다. 그것이 쉽게 보이는 것은 동물진화과정에서 수억년동안 최적화되었기 때문이다. 당신이 어떤 물건을 쥐려고 할 때 당신의 어깨, 팔꿈치, 손목안의 근육, 힘줄과 뼈는 순식간에 일종의 아주 복잡한 물리동작을 완성하는데 이러는 동시에 눈의 동작까지 뒷바쳐줌으로 당신의 손이 직선운동을 할 수 있게 해야 한다. 그런 행동이 당신에게 쉽게 느껴지는 이유는 이런 “소프트웨어”들이 이미 아주 퍼펙트하기 때문이다. 같은 이유로 컴퓨터가 웹사이트의 비틀어진 입력문구들을 인식하지 못하는 것은 컴퓨터가 너무 우둔해서가 아니라 반대로 입력문구를 구별하는 일이 굉장히 쩌는 일이기 때문이다.

반면에 큰 수를 곱하기, 체스하기 등등은 우리가 진화과정 중 겪어보지 못한 생명체의 입장에선 새로운 일인 셈이다. 그래서 컴퓨터는 별로 힘들이지 않고도 우릴 박살낼 수 있다. 상상해봐라, 당신이 프로그램을 짠다면 큰 숫자의 곱하기를 해결하는 프로그램을 짜는게 어렵겠는가 아니면 천천만만가지의 폰트와 서체로 씌여진 영문 알파벳을 식별하는 프로그램을 짜는게 더 어렵겠는가?

예를 들어서 아래의 그림을 보았을 때 당신과 컴퓨터는 모두 이 그림이 두가지 색의 작은 직사각형으로 이루어진 하나의 큰 직사각형이라는 것을 인식해낼 것이다.

그러면 당신과 컴퓨터는 한판 비긴다. 계속하여 그림상의 까만 부분을 없애버려보자.

당신은 어렵지 않게 그림중의 투명이거나 불투명인 기둥이나 3D 도형들을 설명할 수 있을 것이다. 하지만 컴퓨터는 그러지 못한다. 컴퓨터는 2D의 그림자 차이 정도나 말할 수 있지만 인간의 뇌는 이런 그림자들이 나타내고 있는 깊이, 그림자의 겹침, 실내 빛의 위치 등등까지도 읽어낼 수 있다.

또 아래의 그림을 봐보도록 하자. 컴퓨터가 보기에는 검은색, 흰색, 회색이지만 우리가 본 것은 하나의 완전히 검은 입체적인 돌이다.

심지어 우리가 지금까지 토론한건 오로지 정적이여서 움직이지 않는 정보들 뿐이였다. 인간 수준의 지능을 갖기 위해서 컴퓨터는 반드시 더 어려운 것을 이해해야 한다. 예를 들어서 얼굴 표정의 미세한 변화, 기쁨, 편안함, 만족, 기쁨 등 유사한 정서들 사이의 차이 그리고 왜 <브레이브하트>(1995)는 갓 영화이고 <패트리어트>(2000)은 쓰레기 영화인가를 이해할 수 있어야 한다.

생각만 해봐도 어렵겠지?

우리는 어떻게 해야 이런 수준의 인공지능을 만들 수 있을 것인가?

강인공지능으로 통하는 첫걸음: 컴퓨터의 처리 속도를 높여야 한다.

강인공지능에 도달하기 위해 꼭 만족해야 할 조건은 컴퓨터 하드웨어의 연산능력이다. 인공지능이 인간의 뇌와 겨룰 만큼 총명하려면 최소한 인간의 뇌만큼의 처리능력을 갖추어야 한다.

처리 능력을 다루는 단위는 cps (calculations per second, 초당 연산의 수) 이다. 인간 두뇌의 cps 를 구하려면 그 속의 모든 구조물의 최고 cps 를 구하고 그것들을 모두 더하면 된다.

레이 커즈와일 (Ray Kurzweil) 은 하나의 구조물에 대한 최대 cps 를 구하고 그것이 전체 뇌에서 차지하는 무게의 비중으로 나누어 인간 두뇌의 총 cps 를 구했다. 뭔가 부족한 것처럼 들리지만 그는 몇번이나 서로 다른 영역을 다양한 전문측정법을 통해 같은 방식으로 연산을 했는데 그 결과들이 항상 아주 근접한 수치에 도달하였다 — 대략 10의 16승 cps, 즉 매초당 1경번의 연산이다.

현재 세계에서 제일 빠른 컴퓨터인 중국의 텐허 2호 (Tianhe-2, http://www.reuters.com/article/us-china-supercomputer-idUSKCN0J11VV20141117 ) 는 사실 이미 이만큼의 처리능력을 가졌는데 그 처리능력이 3.4경 cps 이다. 물론 톈허 2호는 720 제곱미터 면적을 차지하고 2400 만 와트의 전력을 소비하며 3.9억 달러의 돈을 들여 만든 것이다. 광범위한 응용은 막론하고 대부분의 상업적이나 공업적 사용도 굉장히 비싸다.

커즈와일은 컴퓨터 발전정도의 지표는 1000달러로 얼마만큼의 cps 를 살 수 있는가라고 생각한다. 1000 달러로 인간 두뇌급인 1경 cps의 연산능력을 살 수 있을 때에야 강인공지능이 우리 삶의 일부가 될 수 있다고 한다.

무어의 법칙이 제시한바로는 전 세계의 컴퓨터 연산 능력은 2년마다 배로 늘어난다. 이 법칙은 역사 자료가 뒷받침해주고 있는데 왜 컴퓨터의 하드웨어가 인류발전과 마찬가지로 기하급수적으로 발전하는가를 제시하고 있다. 우리는 이 법칙을 통해 언제쯤 1000 달러로 1경 cps 를 살 수 있을 지를 계산해보자. 지금 1000달러로 약 10조 cps를 살 수 있는데 지금까지의 발전은 무어의 법칙 그래프의 예측에 부합한다.

그 뜻은 지금 1000달러로 구매할 수 있는 컴퓨터는 이미 쥐의 뇌보다 강력하며 이미 인간의 뇌의 1000분의 1 수준에 도달했다는 뜻이다. 아직도 너무 약해보인다. 하지만 생각해봐라. 1985년에 같은 돈으로 인간 두뇌의 1조분의 1만큼의 cps밖에 살 수 없었고 1995년에는 10억분의 1, 2005년에는 백만분의 1, 2015 년에는 이미 천분의 1이나 된다. 이런 추세로 발전한다면 우리는 2025 년에는 1000달러로 인간의 뇌에 해당되는 연산속도를 가진 컴퓨터를 살 수 있을 것이다.

적어도 하드웨어상에서 우리는 강인공지능의 문턱에 들어섰으며 (중국의 톈허 2호) 10년이내 우리는 저렴한 가격으로 강인공지능 지원 가능한 컴퓨터를 살 수 있을 것이다.

하지만 연산능력만으로 컴퓨터가 똑똑해지게 할 수 없다. 다음 문제는, 우리는 어떻게 이 연산능력으로 인간수준의 지능을 만들겠는가 이다.

강인공지능으로 통하는 두번째 걸음: 컴퓨터를 더욱 스마트하게 만들기

이 스텝이 정말 어렵다. 사실상 아무도 어떻게 만드는지 모른다 — 우리는 아직 어떻게 컴퓨터가 <패트리어트>가 쓰레기영화라는걸 감별해낼 수 있게 할 수 있을것인가에 머무르고있다. 하지만 지금 일부 방안들이 효과가 있을 수는 있다. 아래것들이 가장 흔한 세가지 접근이다:

1) 인간의 뇌를 베끼기

마치 당신의 반에 공부 잘하는 애가 한명 있는 것 처럼 당신은 그가 왜 똑똑한지, 왜 시험마다 만점을 맞는지 모른다. 당신도 열심히 공부하지만 걔보다 공부를 못한다. 결국 당신은 “젠장, 나 공부 안할래” 하고 포기하고 그의 답안을 직접 베끼게 된다. 이런 “베낌”은 도리가 있는 것이다. 우리는 아주 복잡한 컴퓨터를 만들려는게 아닌가. 우리는 이미 인간의 뇌라는 좋은 설계도가 있지 않는가.

과학계에서는 지금 인간의 뇌를 리버스 엔지니어링하여 자연진화가 어떻게 이런 신기한 물건을 만들어냈는가를 밝히기 위해 힘쓴다. 낙관적인 예견으로 우리는 아마도 2030 년 즈음에 이 임무를 끝낼 수 있다고 한다. 이 목표를 달성하기만 하면 우리는 왜 인간의 뇌가 이렇게 효율이 높고 이렇게 빠르게 실행되는지 밝혀내고 그걸 따라서 영감을 그려내고 혁신을 훔칠 수 있다. 컴퓨터로 인간의 뇌를 시뮬리에팅하는 한 예가 바로 인공 신경망 (NN, Neural Network) 이다. 이것은 트랜지스터로 이루어진 “신경”을 연결한 망에서 출발한다. 트랜지스터는 그저 입출력을 가지고 서로 연결되어 있을뿐 그 자체는 아무것도 모른다 — 갓난애기의 뇌처럼 말이다. 이어서 문제해결을 위해 “학습”이라는 방법을 시도하는데, 필기 인식을 하려면, 처음엔 신경전달과 문자 결정을 위한 추측과정이 완전히 랜덤하게 이뤄진다. 하지만 맞혔다는 피드백을 받으면 관련된 트랜지스터들 사이의 연결이 강화된다. 반면에 그릇됐다는 피드백을 받으면 관련된 연결은 약화된다. 일정한 시간의 테스트와 피드백을 거쳐 이 네트워크 자체는 스스로 스마트한 신경 경로를 형성하게 되고 머신은 해당 문제해결에 최적화된다. 인간의 뇌의 학습 과정도 유사하다. 다만 이것보다 좀 더 복잡할 뿐이다. 우리가 인간의 뇌에 대한 연구가 심화됨에 따라 우리는 더욱 좋은 신경망 구축법을 얻게 될 것이다.

더욱 극단적으로 “베끼”는 방법은 바로 전체 뇌를 에뮬레이팅 하는 것이다. 자세하게 설명하자면 인간의 뇌를 많은 얇은 조각 (으로 나뉜 것으로 보고) 소프트웨어로 하나의 완정한 3D 모델을 만들어서 이 모델을 강력한 컴퓨터에 입력시키는 것이다. 이것이 성공한다면 이 컴퓨터는 인간의 뇌가 할 수 있는 모든 일을 완성할 수 있을 것이다. 그것이 학습하고 정보 수집만 할 수 있게 해주면 된다. 만약 이 일을 해낸 엔지니어 능력이 더욱 대단하다면 그들이 시뮬레이팅해낸 뇌는 심지어 원래 인간의 인격과 기억까지 갖고 있을 것이다. 컴퓨터가 시뮬레이팅해낸 지능이 원래의 인간의 뇌랑 같다는 것은 “강인공지능”의 정의 자체에 상당히 부합된다. 그러면 그뒤로 우리는 그것을 더욱 강한 초인공지능으로 개조할 수 있게 된다.

우리가 전체 두뇌 에뮬레이팅과 얼마나 멀리 떨어져 있을까? 현재 우리는 302개의 신경세포로 이뤄진 1밀리미터 길이의 편형동물의 뇌를 에뮬레이팅 할 수 있게 되었다. 인간 두뇌는 1000억개의 뉴런으로 이뤄져 있다. 그다지 희망적이지 않은 숫자처럼 보인다면, 기억하자 기하급수적인 발전을  — 우리는 이미 작은 벌레의 뇌를 에뮬레이팅 할 수 있게 되었다. 개미의 뇌는 멀지 않았다. 이어서 쥐의 뇌이다. 그때 가면 인간의 뇌를 에뮬레이팅 한다는 것은 그리 비현실적인 얘기가 아닐 것이다.

2) 생물 진화를 시뮬레이팅하기

공부짱의 답을 베끼는 것이 물론 한가지 방법이지만 공부짱의 답을 베끼기가 너무 어렵다면? 그러면 우리는 공부짱이 시험을 준비하는 방법을 좀 따라 배워볼 수 있지 않을까?

우선 우리가 확신할 수 있는 사실! 인간의 뇌만큼 똑똑한 컴퓨터를 만드는 것은 가능한 일이다 — 우리의 뇌가 바로 증거이다. 만약 인간의 뇌가 에뮬레이팅하기 너무 어렵다면 우리는 인간의 뇌를 탄생시킨 진화를 시뮬레이팅 할 수 있을 것이다. 사실상 우리가 정말 완전하게 인간의 뇌를 에뮬레이팅 할 수 있다고 해도 결과는 새들이 날개를 푸덕이는 방식을 그대로 베껴서 비행기를 만들려고 (발명하려고) 하는 식이 되어버릴 수 있다 — 기계를 설계하는 방법이 생물설계를 그대로 베끼는 것이 아닌 경우가 많다.

그래서 우리는 진화를 시뮬레이팅하여 강인공지능을 만들 수 있을 것인가? 이런 방법을 “유전 알고리즘” (genetic algorithm) 이라고 부른다. 원리는 대충 이러하다: 반복하여 표현 / 평가 과정을 할 수 있는 프로세스를 만든다. 마치 생물들이 생존이라는 방식으로 표현을 하고 번식을 평가 방식으로 하는 것처럼. 컴퓨터에게 여러가지 임무를 수행시키고 제일 성공적인 프로그램들만 “번식”을 하는데 그 방식은 각자의 프로그램을 융합시켜서 새로운 프로그램을 만들고 그다지 성공적이지 않은 프로그램들은 버려지는 것이다. 여러번 반복을 거치면 이 선택과정은 점점 강한 프로그램을 만들어낼 것이다. 이 방법의 난점은 자동화된 평가와 번식 과정을 만듬으로서 전체 프로세스가 인간의 관여 없이 자율실행되게 하는 것이다.

이런 방법의 단점도 명확하다. 자연진화는 수십억년의 시간을 들였는데 우리는 수십년이란 시간만 사용하려고 하고 있기때문이다.

하지만 자연진화에 비해 우리의 우세도 많다. 첫째로 자연진화는 예견 능력이 없고 랜덤적이다 — 그것이 탄생시킨 쓸모 없는 변화는 쓸모있는 변화보다 훨씬 많다. 하지만 인공적인 진화는 과정을 컨트롤할 수 있어서 유익한 변화에 치중하게 할 수가 있다. 둘째로 자연진화는 목표가 없다. 자연진화의 산물인 지능도 그것의 목표가 아니다. 하지만 우리는 진화의 과정을 지휘하여 더욱 스마트한 지능쪽으로 발전하도록 할 수 있다. 셋째로 지능을 탄생시키려면 자연진화는 많은 다른 부가적인 조건들을 탄생시켜야만 한다. 예를 들어서 세포의 에너지 생산 능력을 개선해야 한다 등등. 하지만 우리는 전력으로 이 추가적인 부담들을 해소해낼 수 있다. 결론적으로 인간 주도적인 진화는 자연진화보다 훨씬 빠를 수가 있다. 하지만 우리는 아직도 이런 우세들이 진화 시뮬레이팅을 가능하게 해줄 수 있는지 여부는 모른다.

3) 컴퓨터가 이 모든것을 해결하도록 하기

만약 공부짱의 답을 베끼는 것과 공부짱의 시험 준비 방법을 따라하기가 다 통하지 않는다면, 시험문제가 시험문제 자체를 해결하게 하는 방법은 어떤가? 이런 생각이 병맛같지만 실은 가장 희망있는 한가지 방법이다.

이 아이디어는 우리가 두가지 중요한 스킬을 가진 컴퓨터를 만드는 것이다 — 인공지능을 연구하는 기능과 자신의 코드를 수정할 수 있는 기능. 그러면 우리는 컴퓨터 자체를 컴퓨터 과학자 ( Computer Scientist ) 로 만든 셈이다. 그러면 컴퓨터의 지능을 높이는 것은 컴퓨터 자체의 몫이 됐다.

이상의 모든 것은 머지않아 이뤄지게 된다.

하드웨어의 빠른 발전과 소프트웨어의 혁신은 늘 병렬적으로 발생한다. 강인공지능은 우리가 예상한 것보다 더욱 일찍 들이닥칠 수 있다. 왜냐하면:

1. 기하급수적 성장의 초반은 달팽이처럼 느릴 수 있지만 후반으로 가면 굉장히 빠르다. 아래의 GIF 움짤이 이 도리를 잘 설명해줄 것이다.
2. 소프트웨어의 발전은 일견 매우 느려보일 수 있지만 한번의 “깨달음”은 진보의 속도를 영원히 바꿔놓는다. 마치 인류가 아직 지구중심설을 믿고 있을 때에는 과학자들이 우주의 운동 방식을 계산할 방법을 설계할 수 없었지만 태양중심설의 발견으로 모든게 쉬워진 것처럼, 자체 개선을 할 수 있는 컴퓨터를 만든다는게 지금의 우리에게는 요원하게 느껴질 수 있겠지만 어느 한번의 수정만으로 전체 시스템이 천배나 강력해지게 할 수도 있는 일이다. 그럼으로써 인간지능 레벨로의 빠른 질주의 서막을 열어놓을 수도 있는 일이다.

강인공지능에서 초인공지능으로 가는 길

언젠가는 우리는 인간의 지능정도의 인공지능을 만들어낼 것이며 그리고 인간과 컴퓨터는 평등하고 모두 행복하게 쭉 살았답니다.

는 개뿔.

인간지능과 완전히 똑같고 정보처리능력도 인간만큼 강한 강인공지능이더라도 인간보다 두드러진 많은 장점을 가지고 있다.

하드웨어면에서:

• 속도면에서: 인간 신경세포의 연산속도는 200 HZ 이다. 오늘날의 컴퓨터 마이크로칩만 봐도 2 GHz 로 실행될 수 있는데 이는 신경세포의 1000만배의 실행속도이지만 우리가 강인공지능 구현에 필요한 하드웨어 스펙보다는 훨씬 뒤떨어져있다. 신경세포에서 정보의 전파속도는 약 초당 120 미터이지만 컴퓨터의 정보 전파 속도는 빛의 속도이다. 이 둘 사이에는 수개 수량급의 차이가 벌어져있다.
• 용량과 저장공간 면에서: 인간 두뇌의 크기는 고정되어 있으며 후천적으로 더 크게 늘릴 수 없다. 가령 정말로 더 크게 늘릴 수 있다고 해도 120 m/s 의 정보전달속도는 큰 병목으로 작용해 다른 구역으로 전달을 방해할 것이다. 컴퓨터의 물리적 사이즈는 매우 자유로울 수 있어서 더욱 많은 하드웨어, 더 큰 메모리, 내구성이 더욱 좋은 저장매체를 사용할 수 있다. 인간의 뇌보다 용량이 훨씬 커질 수 있을뿐만 아니라 인간의 뇌보다 더 정확하다.
• 신뢰성과 내구성 면에서: 컴퓨터의 기억은 더욱 정확할 뿐만 아니라 트랜지스터도 신경세포보다 더 정확하며 인간의 세포만큼 잘 위축되지가 않는다 (정말 망가지더라도 고치기가 쉽다). 뿐만아니라 인간의 뇌는 쉽게 피로를 느낀다. 하지만 컴퓨터는 24시 쉼없이 최고속력으로 달릴 수 있다.

소프트웨어면에서:

• 수정 가능, 업그레이드 가능, 보다 많은 가능성: 인간의 뇌와 달리 컴퓨터 소프트웨어는 더욱 많은 수정과 업그레이드를 할 수 있으며 테스트하기도 쉽다. 컴퓨터의 승급은 인간의 뇌의 비교적 큰 단점을 보완할 수 있다. 인간은 시각 소프트웨어가 최고등급일 때 복잡한 공학 능력은 매우 저질등급이 된다. 하지만 컴퓨터는 시각 소프트웨어가 인간과 동급일뿐만 아니라 공학이나 다른 부분까지 동시에 최적화할 수 있다.
• 집단적 능력: 인간은 집단 지성에 있어서 모든 기타 종을 크게 앞서고있다. 초기의 언어와 대형 커뮤니티의 형성, 문자와 인쇄기술의 발명으로부터 인터넷의 보급에 이르기까지. 인간의 집단 지성은 우리가 기타 종을 통치하데 된 중요한 원인중 하나이다. 하지만 컴퓨터는 이 면에서 우리보다 훨씬 강하다. 특정 프로그램을 실행하는 인공지능 네트워크는 전세계 범위내에서 동기화를 할 수 있으며 이로 인해 하나의 컴퓨터가 한가지 능력을 습득하게 되면 전세계 모든 기타 컴퓨터에게도 전파되여 그들 모두 습득하게 된다. 뿐만아니라 컴퓨터 클러스터는 공통적으로 한가지 임무를 협업 집행할 수 있는데 인간사회에서 흔히 발생하는 이견, 동기부여, 자기이익중심 등 특성들은 컴퓨터에게는 발생하지 않을 수도 있다.

자체 개선을 거쳐 강인공지능에 도달한 인공지능은 인간수준의 지능을 중요한 마일스톤으로 여길 것이지만 그 이상 그 이하도 아니다. 그 수준에 멈출 이유가 없다. 강인공지능의 인간에 비한 여러가지 장점들을 고려한다면 인공지능은 “인간수준” 이란 정도에 아주 짧게만 머무를 것이며 그후로는 초인공지능이라는 레벨로 큰 걸음으로 성큼성큼 걸어나갈 것이다.

이 모든것이 발생할 때 우리는 아마도 놀라 쓰러질 것이다. 왜냐하면 우리가 보기에는 a) 동물의 지능에는 높고 낮음이 있지만 모든 동물의 지능의 공통된 특점은 인간보다 훨씬 낮다는 것이다. b) 우리가 생각하기에는 제일 총명한 사람은 제일 우둔한 사람보다 훨씬훨씬훨씬훨씬 총명하다.

그래서 우리는 인공지능이 인간 레벨로 쫓아오고 있을 때 점차 총명해지고 있음을 볼 수 있을 것이라고 생각하게 된다. 마치 하나의 동물처럼. 그러다 갑자기 가장 우둔한 인간 정도의 지능 정도로 발전하는 것을 보고 우리는 아마 “봐 이 인공지능 마치 멍청한 인간처럼이나 똑똑해. 귀엽구나.” 라고 생각할 수도 있을 것이다.

하지만 문제는 지능의 전반적인 분포로부터 볼 때 인간과 인간의 지능의 차이, 예를 들어서 가장 우둔한 인간으로부터 아인슈타인까지의 지능의 차이는 사실 그다지 크지 않다는 것이다. 그래서 인공지능이 우둔한 인간 정도만큼 발전한 뒤에는 금방 아인슈타인보다 더 총명하게 되어버릴 것이다:

그 다음은 뭐냐?

지능폭발

여기서부터 이 화제는 좀 섬뜩해진다. 여기서 독자분들께 알려드려야 할 것은 필자가 여기서 얘기하고있는 것들이 다 사실이라는 것이다 — 많은 존경받는 사상가들과 과학자들이 미래에 대한 성실한 예측이다. 당신이 아래에서 비상식적인 내용을 읽었을 때 꼭 기억해둬야 한다. 이 결론들은 당신이나 필자보다 훨씬 총명한 사람들이 생각해낸 것이라는 점을.

위에서 말했다시피 우리가 현재 강인공지능에 도달하기 위해서 사용한 방법은 대체적으로 모두 인공지능의 자체개선에 의존한다. 하지만 그것이 강인공지능에 달하기만 하면 그 자체개선에 의해 도달한 것이 아닌 부분 마저도 모두 충분히 똑똑해지고 전부 자체개선을 해나갈 능력을 갖게 될 것이다.

여기서 우리는 하나의 무거운 주제를 이끌어내야 한다 — 재귀적인 자체 개량. 이 개념의 뜻은: 특정 지능 수준, 예를 들어서 제일 멍청한 인간의 지능수준, 을 가진 인공지능이 자체개량 능력을 가졌을 때 한번의 자체 개진을 통하여 원래보다 더 총명해졌다고 가정하자. 예를 들어서 아인슈타인의 지능만큼 총명해졌다고 가정하자. 이때 그것이 계속 자체개량을 하게 되는데 이때의 그것은 아인슈타인 수준의 지능을 가졌기 때문에 이번 개량은 저번보다 더 쉽고 효과도 더 좋을 것이다. 두번째의 개선은 그것이 아인슈타인보다도 훨씬 총명해지게 함으로 계속되는 개선이 더욱 많은 진보를 가져오게 한다. 이런 과정이 반복되면이 이 강인공지능의 지능수준은 점점 빨리 발전하게 되여 결국은 초인공지능의 수준에 달하게 한다 — 이것이 바로 지능폭발의 정의이다. 이것은 또한 수확 가속의 법칙의 궁극적 체현이다.

현재 인공지능이 언제 인간수준에 달할 수 있을지에 대해서는 아직 쟁론이 치열하다. 수백명 과학자들에 대한 통계조사에서 그들이 생각하는 강인공지능 출현의 중앙치 연도수가 2040 년이라고 한다 — 지금으로부터 25 년밖에 남지 않았다. 이게 그렇게 놀랍게 들리지 않을 수도 있을지 모른다, 하지만 기억하자, 이 영역의 많은 사상가들은 강인공지능에서 초인공지능으로의 전환이 훨씬 빠를 것이라고 생각하고있다. 아래 시나리오가 일어날 확률이 굉장히 높다: 한 인공지능이 수십년이란 시간을 들여 인간 수준의 지능을 얻었는데 이때 그 컴퓨터의 세계에 대한 지식은 네살 애기 수준이다; 하지만 그후 한시간내에 컴퓨터는 광의적 상대성 이론과 양자물리학을 추론해낸다; 그뒤 한시간 내에 이 강인공지능은 초인강지능으로 발전해버리는데 그 지능수준은 무려 일반 인간의 17만배이다.

이 수준의 초인공지능은 우리가 이해할 수 있는 영역이 아니다. 마치 꿀벌이 케인즈 경제학을 이해할 수 없는 것처럼. 우리의 언어에서 130 의 IQ 를 똑똑하다고 하고 85 의 IQ 를 우둔하다고 한다. 하지만 우리는 12952 의 IQ 를 뭐라고 해야 할지 모른다. 인간의 언어에는 이런 개념이 아예 없다.

하지만 우리가 알 수 있는 것은 인간이 지구를 지배하면서 우리가 알게 된 한가지 사실 — 바로 지능이 곧 파워라는 도리이다. 즉 하나의 초인공지능이 탄생하기만 하면 지구 역사상 가장 강력한 존재가 될 것이며 인류를 포함한 모든 생물들은 모두 그 파워에 거역할 수 없을 것이다. — 그리고 이 모든 것이 미래 수십년 내에 발생할 수 있다는 것이다.

생각해보라, 우리의 뇌가 WIFI 를 발명해낼 수 있다면 우리보다 100배, 1000배, 심지어  10억배 총명한 뇌는 세상의 모든 원자들의 위치를 맘대로 조종할 수 있을지도 모른다. 우리에게 있어서 불가능하여 전지전능의 하느님만이 가질 수 있는 능력이 그 초인공지능한테는 전등 스위치를 누르는 것만큼 간단한 일일 수도 있다. 인간의 노화를 해결하고 각종 불치병을 치료해주며 전세계적으로 기아와 빈곤을 해결해줄 수 있다. 심지어 인류가 영생하게 하거나 기후를 컨트롤해 지구의 미래를 보호해준다거나, 이 모든 것이 가능해질 수도 있다. 동등하게 가능성이 높은 시나리오는 지구상의 모든 생명들의 종말이다.

하나의 초인공지능이 출현한다는 것은 우리에게 있어서 전지전능의 신이 지구에 강림하는 것과 다름 없다.

이럴때 우리가 관심을 갖게 되는 것은:

---

이상 이 글의 1편은 끝입니다. 물 한모금 마시고 다시 2편으로 떠나볼까요? 혹은 팝콘과 콜라를 준비하시는 것도 좋을 것 같습니다.

BGM 은 베토벤의 <운명> 교향악으로 추천드립니다:

2편 시작:

---

글의 1편에서 우리는 우리의 일상 도처에 있는 약인공지능들을 얘기하고, 왜 약인공지능에서 강인공지능으로 가는 길이 큰 도전인지 얘기했으며, 기술 진보의 지수적 성장으로 강인공지능이 그리 멀지 않음을 얘기했다. 1 편의 끝에서 우리는 기계가 인간 수준의 지능에 도달하기만 하면 아래와 같은 광경이 벌어질 것이라고 얘기했다:

우리는 심리적으로 받아들이기 어려울 것이다. 특히 초인공지능이 우리가 살아있을 때 발생할 수 있다는 점을 고려한다면 우리는 도대체 어떤 표정으로 이 현실을 직면해야 할지 모른다.

이 화제를 더욱 깊게 파기 전에 우리는 초인공지능이 뭘 의미하는지를 다시 한번 리마인드해보자.

아주 중요한 구별점을 무시해서는 안되는데 바로 속도상의 초인공지능과 퀄리티상의 초인공지능의 구별이다. 많은 사람들은 인간만큼 총명한 초인공지능이라고 하면 첫 반응은 “속도가 매우 빠르구나” 일 것이다 — 연산속도가 인간의 100만배인 기계처럼 인간이 수십년에 걸쳐 생각해낼 수 있는 것을 몇분 안에 생각해낸다.

물론 이건 대단하다. 사실 초인공지능은 확실히 인간보다 사고가 훨씬 빠르다. 하지만 진정한 구별점은 사실 지능의 속도보다는 지능의 퀄리티에 있다. 인간으로 비유를 한다면 인간이 침팬지보다 총명한 것은 사고 속도면의 차이가 아니라 우리의 뇌가 독특하고도 복잡한 지능 모듈이 있기 때문이다. 이런 모듈들로 우리는 복잡한 언어를 구사하고 장기적인 계획을 세우며 추상적인 생각을 한다. 하지만 침팬지의 뇌는 이런 것들을 할 수가 없다. 침팬지의 뇌의 속도를 수천배로 높여봤자 인간의 차원에서 생각을 할 수 없으며 특정 복잡한 도구를 사용하여 정교한 모델을 만들 줄 모른다 — 인간의 많은 인지능력은 침팬지가 영원히 따라잡을 수 없는 것이다. 아무리 많은 시간을 줘도 소용 없다.

그리고 인간과 침팬지의 지능의 차이가 진정으로 의미하는 것은 침팬지가 우리가 할 수 있는 일을 할 수 없다는 정도 뿐이 아니다. 침팬지는 이런 일들이 존재한다는 것 자체를 모른다는 것이다 — 침팬지는 인류가 무엇인지를 이해할 수 있고 고층빌딩이 무엇인지를 이해할 수 있지만 고층빌딩이 인간이 만들어냈다는 것을 이해할 수가 없다. 침팬지들이 보기에는 고층빌딩처럼 거대한 물건은 당연히 원래부터 존재하는 것이지, 끝. 침팬지들은 자기가 고층 빌딩을 만들어내지 못할뿐만아니라 고층 빌딩이 만들어 낼 수 있는 물건이란 걸 이해할 수가 없다. 이 모든 차이는 실은 지능의 퀄리티 차원에서의 미세한 차이로부터 발생한 것이다.

그리고 사실 우리가 인공지능을 토론할 때 지능의 범위는 굉장히 넓다. 이것과 비길진대 인간과 침팬지의 차이는 미세하다. 만약 모든 생물의 인지능력들이 하나의 계단이라면 서로 다른 종들이 계단에 선 위치는 대체적으로 아래와 같다.

초지능을 가진 기계가 얼마나 불가사의한가를 이해하기 위해 윗 그림에서 진한 초록색위에 서있는 하나의 기계를 가정하자. 그 물건은 인간보다 두층만 높다, 인간이 침팬지보다 두층 높듯이. 이 기능은 초지능을 쪼금만 가지고있을 뿐인데 인류에게 있어서는 침팬지에 있어서의 인류나 마찬가지이다. 침팬지가 인류가 고층빌딩을 만들어낼 수 있다는 것을 이해할 수 없듯이 우리 인간도 인간보다 두층 높은 기계가 어떤 것을 할 수 있을 지 상상을 할 수 없다. 그 초지능이 우리에게 설명을 해줄려고 해도 효과는 마치 우리가 침팬지에게 고층 빌딩 건축 방법을 설명하려고 하는 격이 된다.

하지만 이것도 그냥 우리보다 두층만 높은 지능일 뿐이다. 이 계단의 꼭대기에 있는 지능은 인류에게 있어서 인류가 개미에게 있어서의 존재나 같다 — 그것이 아무리 많은 시간을 들여서 인류에게 가장 간단한 것을 가르칠려고 해도 배워지지 않을 것이다.

하지만 우리가 토론하려고 하는 초지능은 이 계단의 꼭대기에 있는 것이 아니라 이 계단보다 훨씬훨씬훨씬훨씬 높은 곳에 있다. 지능폭발이 발생할 때 그것은 아마 수년이란 시간을 들여서야 침팬지 그 층에서 위하 한층 올라갈 수 있겠지만 이 걸음은 점점 빨라질 것이다. 뒤로 가면 아마도 몇시간이면 한층 밟을 것이며 그것이 인간보다 10층 높은 위치까지 간 후에는 아마 점프하면서 계단을 오를 것이다 — 1초에 네층을 올라간다는게 뭐 안될게 아니다. 결론적으로 기억해두자, 첫번째 인간수준의 강인공지능이 출현한 후에 우리는 아마 매우 짧은 시간 뒤에  아래 그림에서처럼 매우매우매우매우 높은 계단에 서있는 지능을 맞이하게 될 것이다 (심지어 이것보다 100만배 높을 수도 있다).

앞에서 이미 말했듯이 우리보다 두층만 높은 기계를 이해하려고 하는게 이미 헛된 노력일 뿐이니 우리는 초인공지능이 뭘 할 수 있는지 알 방법이 없고 이런 일들의 후과도 알 수 없다. 그 어떤 아는 척 하는 사람들은 다 초인공지능이 뭔지를 이해하지 못했다.

자연진화는 수역년이란 시간을 거쳐 생물의 뇌를 만들어냈는데 이런 이론에 의하며 인류가 초인공지능을 만들어내기만 하면 자연 진화를 짓밟아버린 것으로 된다. 물론 이 자체도 자연진화의 일부분일 수도 있다 — 진화의 진정한 목적이 이러할지도 모른다: 여러가지 지능을 만들어내 그중 하나가 드디어 초지능을 만들어내고 이 시점은 지뢰의 트립와이어 (Tripwire) 를 밟은 것처럼 전세계적인 지능 폭발을 초래함으로 모든 생물의 운명을 바꿔버리게 된다.

과학계의 대부분 인사들은 트립와이어를 밟는 일이 일어날 것인가 얼어나지 않을 것인가의 문제가 아니라 언제 읽어나는가의 문제라고 생각하고 있다. 후덜덜.

그럼 우린 어떻게 해야 할까?

불행히도 우리에게 트립와이어 후에 무엇이 발생할지를 알려줄 수 있는 사람은 없다. 하지만 인공지능 사상가 Nick Bostrom 은 우리에게 두가지 가능한 결과가 있다고 믿는다 — 영생과 멸종.

우선 우리가 역사를 회고해보면 대부분의 종들은 이런 여정을 거쳤다는 것을 알게 된다: 종의 출현, 일정 시간 존재한 후, 불가피하게 존재 (Existence) 의 평균대 (Balance Beam) 에서 떨어져 멸종의 심연속으로 추락한다.

역사적으로 보면 “모든 종은 결국 멸종될 것이다” 란 말은 마치 “모든 사람은 결국 죽게 될 것이다” 란 말만큼이나 말이 된다. 지금까지 존재했던 생물 종들의 99.9% 가 모두 존재의 평균대에서 떨어졌다. 만약 어느 종이 아직까지 존재의 평균대 위에서 계속 걷고있다면 어떤 한줄기 자연의 바람이 휘몰아쳐 그 종을 평균대에서 떨어뜨리는 것은 오직 시간 문제이다. Bostrom 은 멸종을 일종의 흡인상태로 취급한다 — 모든 종은 모두 그곳으로 추락될 위험이 있으며 한번이라도 떨어지면 다시 돌아올 길이 없다.

비록 대부분 과학자들이 모두 하나의 초인공지능이 인류를 멸종시킬 능력이 있다고 인정하지만 그중 일부는 잘만 대처하면 초인공지능은 인류와 기타 종을 도와 다른 하나의 흡인상태 — 영생에 도달할 수 있다고 믿는다. Bostrom 은 종의 영생은 멸종과 마찬가지로 흡인상태라고 믿는다. 즉 우리가 한번 영생에 도달하기만 하면 우리는 더이상은 멸종의 위험속에 노출되지 않게 된다 — 우리는 사망과 확률을 이겨낸 것이다. 그래서 비록 지금까지 절대다수의 종이 평균대에서 떨어져 멸종되었지만 Bostrom 은 평균대 밖에 두개의 면이 있다고 믿으며 다만 지금까지 지구상의 생명들은 모두 어떻게 다른 한 흡인상태로 가는지 몰랐을 뿐이라고 한다.

만약 Nick Bostrom 등 사상가들의 생각이 정말로 맞는 것이라면 ( 그리고 내가 읽은 자료들에 의하면 그들의 결론이 정말 맞는 것 같았다) 우리는 아래의 두가지 사실을 받아들일 수 밖에 없게 된다:

1. 초인공지능의 출현은 사상 처음으로 종의 영생이라는 이 흡인상태가 가능하게 해줄 것이다.
2. 초인공지능의 출현은 아주 엄청난 충격으로 될 것이며 이 충경은 인류를 평균대에서 떨어뜨려 둘중 하나의 흡인상태로 빠져들게 할 것이다.

아주 가능한 한가지 광경은: 자연진화가 트립와이어를 밟았을 때 그것은 인류와 평균대 사이의 관계를 영원히 바꿔놓을 것이며 완전히 새호운 세계를 열어제낄 것이다 — 그때 인류가 존재하든 하지 않든.

그러면 지금의 문제는 “우리는 언제 트립와이어를 밟을 것인가?” 와 “평균대에서 떨어진 우리는 어느 흡인상태로 빠질 것인가?” 이다.

아무도 답을 모른다. 하지만 일부 아주 똑똑한 분들이 이미 수십년이나 생각을 굴려왔다. 그러면 아래 우리는 그것들이 어떤 것들을 생각해냈는지를 봐보도록 하자.

---

우선 우리는 “우리는 언제 트립와이어를 밟을 것인가?” 라는 문제를 봐보도록 하자. 즉 첫번째 초지능이 언제 탄생할 것인가 하는 문제이다.

놀랍지 않게 과학자들과 사상가들은 이 문제에 대해 의견이 많이 엇갈린다. 많은 학자들 예를 들어서 Vernor Vinge 교수, 과학자 Ben Geortzel, SUN 의 창업자 Bill Joy, 발명가이며 미래학자인 레이 커즈와일 (Ray Kurzweil) 등은 머신 러닝 전문가인 Jeremy Howard 의 관점을 믿고있다. Howard 는 TED 강연때 아래의 그림을 사용했었다.

이런 사람들은 초지능이 멀지 않은 미래에 발생할 것이라고 믿고있다. — 비록 머신 러닝이 지금은 발전이 더디지만 기하급수적인 성장으로 인해 미래 수십년에는 빠르게 발전할 것이라는 것이다.

기타 분들 예를 들면 마이크로소프트의 공동창업자인 Paul Allen, 심리학자 Gary Marcus, 뉴욕 대학교(NYU)의 컴퓨터 과학자 Ernest Davis, 기술 창업자인 Mitch Kapor 등은 커즈와일 등 사상가들이 인공지능의 어려움을 과소평가했다고 생각하며 우리는 아직 트립와이어에 도달하기까지 굉장히 멀다고 믿는다.

하지만 커즈와일파들은 유일하게 과소평가된 것은 사실 기하급수적 성장의 포텐이라고 믿으며 자신들의 이론을 의심하는 사람들을 1985 년에 발전이 느린 인터넷을 보면서 인터넷이 장래에 큰 영향력이 있는 사물로 될 수 없다고 단정짓는 사람들과 비교한다.

회의론자들은 지능 영역의 발전이 이뤄야 하는 진보도 역시 기하급수적으로 성장하는 것이어서 기술 발전의 기히급수적 성장을 상쇄시킬 것이라고 믿는다.

이렇게 쟁론은 계속되어왔고 지금도 계속되고 있다.

Nick Bostrom을 비롯한 세번째 진영도 있는데 위의 두 파별이 모두 자신들에 트립와이어의 시간에 대한 확신을 그토록 가질 이유가 없다고 생각하며 동시에 이런 두가지 의견을 갖고있다: a) 이 일은 멀지 않은 미래에 발생할 수도 있고, b) 이것 또한 모를 일이어서 생각보다 오래 걸릴 수도 있다.

그리고 이상 세가지 진영에 다 속해있지 않는 사람도 있다. 그 예로 철학가 Hubert Dreyfus 인데 세 진영 모두 너무 순진하다고 생각하며 트립와이어는 전혀 존재하지 않으며 초인공지능은 불가능할 것이라고 여긴다.

이상 모든 사람들의 관점을 모두 통틀어서 보면 어떤 모양새일까?

2013년에 Nick Bostrom은 수백명의 인공지능전문가들을 대상으로 하는 설문조사를 진행했다. 설문조사의 내용은 “당신은 강인공지능이 언제 생길 것 같습니까?” 이고 상대방으로 하여금 낙관적인 예측 (강인공지능이 10% 의 가능성으로 이때 생길 것 같다) , 정상적인 예측 (강인공지능이 50% 의 가능성으로 이때 생길 것 같다) 과 비관적인 예측 (강인공지능이 90% 의 가능성으로 이대 생길 것 같다) 을 해보라고 했다.

조사 결과:

1. 낙관 예측 중앙치 연도 (강인공지능이 10% 의 가능성으로 이때 생길 것 같다): 2022 년
2. 정작적인 예측 중앙치 연도 (강인공지능이 50% 의 가능성으로 이때 생길 것 같다): 2040 년
3. 비관적인 예측 중앙치 연도 (강인공지능이 90% 의 가능성으로 이대 생길 것 같다): 2075 년

즉 한 중앙치의 인공지능전문가는 25 년후인 2040 년 (역자주: 원문은 2015 년에 작성됐다) 에 강인공지능을 만들어낼 수 있다고 생각한다. 그리고 2075 년이란 비관적인 예측이 설명해주는 바는 당신이 만약 지금 충분히 젊었다면 반수이상의 인공지능전문가들이 당신이 살아있을 때 강인공지능이 실현됨을 볼 수 있을 가능성이 90% 이상이다.

다른 한 독립적인 설문조사는 작가 James Barrat 가 Ben Goertzel 의 해마다 개최되는 강인공지능 콘퍼런스에서 진행되었다. 그는 참여자들한테 강인공지능이 어느 해에 실현될 것 같은지 직접 물었다. 선택지는 2030년, 2050년, 2100년과 영원히 실현될 수 없다 총 네가지였다. 그 결과:

• 2030년: 42% 의 참여자들이 강인공지능이 실현될 수 있다고 대답했다.
• 2050년: 25% 의 참여자
• 2100년: 20%
• 2100년 이후: 10%
• 영원히 실현될 수 없다: 2%

이 결과는 Nick Bostrom 의 결과와 비슷하다. James Barrat 의 조사에서 3분의 2를 넘는 참여자들이 강인공지능이 2050 년에 실현될 것이라고 했으며 거의 반수 (42%) 의 사람들이 미래 15년 (2030년) 이면 실현될 수 있다고 했다. 그리고 2% 에도 달하지 않는 참여자만 강인공지능이 영원히 실현될 수 없을 것이라고 했다.

하지만 강인공지능은 트립와이어가 아니다. 트립와이어는 초인공지능이다. 그렇다면 전문가들의 초인공지능에 대한 생각들은 어땠을까?

Nick Bostrom 의 설문조사는 전문가들의 초인공지능에 대한 생각도 물었다. 선택지는 a) 강인공지능에 도달한 2년 내에, b) 강인공지능에 도달한 30년 내에. 설문조사의 결과는 아래와 같다:

중앙치 답안은 강인공지능으로부터 초인공지능으로 가는데 필요한 시간이 2년일 가능성은 10%도 안되고 30 년내에 도달할 가능성은 75%에 달한다고 답했다.

이상 결과로부터 우리는 한명의 중앙치 인공지능 전문가는 강인공지능으로부터 초인공지능으로 가는데 아마도 20년 정도가 걸릴 것이라고 생각하고있다는 것을 알 수 있다. 즉 우리가 얻을 수 있는 결론은 현재 전 세계의 인공지능 전문가들중 하나의 중앙치 예측은 우리가 2040 년 즈음에 강인공지능을 실현시키고 그 20 년 뒤인 2060 년에 초인공지능을 실현시킬 것이다 — 즉 트립와이어를 밟을 것이다.

물론 이상 모든 데이터들은 다 추측일 뿐이고 현재의 인공지능 영역의 전문가들이 중앙치 의견일 뿐이다. 하지만 이것이 우리에게 주는 중요한 정보는: 상당수의 이 영역에 대해 아주 전문적인 분들이 2060 년이 초인공지능 실현에 대한 합리적인 추측이라고 생각한다는 것이다 — 지금으로부터 45 년밖에 남지 않았다.

그러면 우리는 다음 문제를 봐보자. 트립 와이어를 밟은 우리는 편균대 밑의 어느 쪽으로 추락할 것인가?

초인공지능은 거대한 파워를 갖고있다. 그래서 아주 중요한 문제는 이 파워를 어느 세력이 장악할 것인가 이고 이 파워를 장악한 세력이 무엇을 할 것인가 이다.

이 문제의 답안이 초인공지능이 도대체 천국인지 지옥인지를 결정할 것이다.

이 문제에 대해서도 전문가들의 의견은 엇갈렸다. Nick Bostrom 의 설문조사가 나타낸바에 의하면 전문가들이 강인공지능이 인류사회에 대한 영향을 평가할 때 52% 의 사람들이 결과가 좋거나 아주 좋을 것이라고 생각하고 31 % 의 사람들이 결과가 나쁘거나 아주 나쁠 것이라고 생각한다. 17% 밖에 안되는 사람들이 결과가 좋지도 나쁘지도 않을 것이라고 생각한다. 즉 이 영역의 전분가들은 보편적으로 이것이 굉장히 중대한 사건일 것이라고 여긴다는 것이다, 결과가 좋든 나쁘든 간에. 주의해야 할 것: 이 질문이 물은 것은 강인공지능에 대한 질문이였다. 만약 초인공지능에 대해 질물을 했다면 좋지도 나쁘지도 않을 것이라고 답한 사람은 17% 나 될리가 없을 것이다.

이 문제를 더욱 파고들 기 전에 우리는 우선 “언제 발생” 과 “결과가 좋을 것인가 나쁠 것인가” 란 문제의 결과를 종합하여 차트를 만들어보자. 그러면 그 그림이 대부분 전문가들의 관점을 부여줄 것이다.

우리는 조금 뒤에 주류 진영의 관점을 고려하고 우선 자기 자신에게 어떻게 생각했는가를 물어보자. 사실 필자는 당신이 어떻게 생각하는지 대충 알 것 같다. 필자도 첨에 이 문제를 연구할 때도 같은 생각이였으니까. 사실 많은 사람들이 이 문제에 신경쓰지 않는다. 그 이유들을 살표본다면 흔히:

1. 이 글의 1 편에서 얘기한 것처럼 우리가 본 영화들은 우리에게 아주 비현실적인 장면들을 많이 보여줘서 우리더러 인공지능이 진지한 과제가 아니라고 생각하게 했다. 작가 James Barrat 는 이것에 대해 우리가 느끼는 황당함을 미래의 어느날 방역센터에서 뱀파이어 경보를 진지하게 내놓는다고 했을 때 우리가 느낄 그런 황당함에 비교했다.

2. 인지의 편차로 인해 우리는 그것을 뒷바침해주는 증거를 직접 눈으로 보기 전에는 한가지 사물이 진짜라는 것을 믿기가 어렵다. 1988 년때 수많은 컴퓨터 과학자들이 인터넷이 얼마나 중요한가를 열렬하게 토론하고 있을 때 일반인들은 인터넷이 우리의 삶을 바꿔놓을 것이라는 말에 그다지 믿음이 가지 않았을 것이다 — 그것이 정말로 우리의 삶을 바꿔놓기 전까지는. 이렇게 된데는 한방면으로는 1988년의 컴퓨터는 확실히 볼품이 크게 없었던 것도 있다. 당시 사람들은 컴퓨터를 바라보면서 이렇게 생각했을 것이다: “이 보잘것 없는 녀석이 우리의 삶을 바꿔놓는다고? 뻥치지 마.” 사람들의 상상력은 자신의 컴퓨터에 대한 경험들의 제한을 받아서 컴퓨터가 현재의 형태로 되리라는 상상을 하기 어렵게 만든다. 비슷한 일이 인공지능 영역에서도 일고 있다. 우리가 인공지능이 큰 영향일 미칠 것이다 라는 말을 듣는다면 우리는 우리 자신이 인공지능을 경험한 기억들을 떠올리며 그런 약해빠진 인공지능들이 우리의 삶을 바꿔놓을 수 있으리라는 말을 믿기 어렵게 된다. 바로 이런 인지의 편차들은, 인공지능 전문가들도 애써 극복하려고 하는 부분이다.

3. 그리고 설령 우리가 인공지능의 거대한 포텐을 믿는다고 해도 당신은 오늘 “바야흐로 다가올 끝없는 세월 (역자주: 사망) 속에 더이상 ‘나’ 라는 존재는 없을 것이다” 란 문제에 얼마나 많은 시간을 들여서 생각을 했는가? 비록 이 문제가 당신이 오늘 한 대부분의 일보다도 훨씬훨씬 중요하지만 정상적인 사람은 늘 이 문제를 생각하지 않을 것이다. 이렇게 된 원인은 우리의 두뇌는 장기적으로 얼마다 중요한 일일지라도 그런 것들을 무시하고 늘 일상적인 작은 일들에 신경쓰도록 되여있기 때문이다. 이것은 우리의 본능이 이렇게 만들어졌기 때문이다.

이 글의 주된 목적이 바로 당신을 일반인의 진영에서 이탈시켜 전문가들의 사고방식의 진영에 가입시키는 것이다. 한발 물러나 당신을 양쪽 모두 믿임반 의심반 진영에만 가입시켰어도 목표 달성이다.

필자의 연구에서 각양각색의 관점들을 봤었지만 절대다수의 사람들이 쥬류진영속에 머물러있음을 발견하게 되었다. 사실 4분의 3이 넘는 전문가들은 주류 진영중의 두 작은 진영속에 속해있다: “초조 대로” 와 “신심 코너”.

우리는 두 작은 진영에 대해 모두 전개하여 깊숙히 살펴볼 것이다. 우선 상대적으로 보다 재미있는 쪽부터 살펴보도록 하자.

왜 미래는 천국인가

인공지능 영역을 연구하기 시작한 후 나는 예상했던 것보다 훨씬 많은 사람이 신심 코너에 있다는 것을 알게 되었다.

신심 코너에 있는 사람들은 매우 흥분함으로 시끌시끌하다. 그들은 그들이 평균대 아래의 상대적으로 보다 재미있는 그 흡인상태로 빠져들 것이고 미래는 그들이 꿈꾸는 모든 것을 만족시켜줄 것이며 그저 인내심 있게 기다리기만 하면 된다고 믿는다.

이 부류를 기타 사상가들로부터 구별해내는 것은 그들이 보다 재밌어보이는 그 흡인상태에 대한 욕망이다 — 그들은 영생이야말로 우리의 발전방향이라고 굳게 믿는다.

이러한 신심이 어디에서 온 것인가는 잘 모를 일이다. 평론가들은 그들이 너무 흥분한 나머지 맹점이 생겨버려 가능한 부정적 결과를 홀시해버렸다고 비평한다. 하지만 신심 코너의 사람들은 비평자들을 인류 종말 논법 주의자들로 취급하며 기술은 계속하여 우리를 도울 것이지 우리를 해치지 않을 것이라고 믿는다.

양쪽의 관점을 이 글에서는 다 소개할 것이다. 그래서 독자는 자신의 판단의 하여 자신만의 결론을 얻을 수 있을 것이다. 하지만 독자는 아래의 내용을 읽기 전에 우선 질의를 잠시 한쪽에 내버려두기 바란다. 우선 우리는 평균대 양쪽에 도대체 어떤 것들이 있는가를 봐보고 이런 결과들이 실제로 가능함을 다시 한번 기억해두자. 만약 우리가 지금 우리의 삶, 편안한 가구, 기술, 부유함 등등을 원시인들에게 보여준다면 그들의 안중에는 아마 다 마법처럼 보일 것이다 — 우리 또한 역시 미래에 우리를 놀라 쓰러지게 할수도 있는 그런 사물들이 나타날 수 있음을 받아들여야 한다.

Bostrom 은 초인공지능의 세가지 가능한 작동 방식을 그렸다:

1. 예언자 (Oracle) 모드: 거의 모든 질문에 대해 정확하게 대답해줄 수 있다. 인간에게는 아주 어렵고 복잡한 문제임에도 불구하고 정확하게 대답해줄 수 있다. 예를 들어 “어떻게 해야 더욱 좋은 자동자 엔진을 만들 수 있는가?”
2. 지니 (Genie) 모드: 임의의 고급적인 지령을 실행할 수 있다. 예를 들어서 “분자 조합 장치로 더욱 좋은 자동차 엔진을 만들어 내라.”
3. 독립적 의지 (Sovereign) 모드: 임의의 개방형 임무를 수행할 수 있고 자유롭게 활동할 수 있으며 스스로 결정을 내릴 수 있다. 예를 들어서 자동차보다 더욱 빠르고 더욱 싸고 더욱 안전한 교통방식을 발명해낸다.

이러한 인류에게는 굉장히 어려운 문제들이 초인공지능한테는 “내 펜이 떨어졌다. 좀 주워줄래?” 만큼이나 간단할 수 있다.

Eliezer Yudkowsky 는 이렇게 말했다:

어려운 문제란 존재하지 않는다. 오직 특정 레벨의 지능한테 어려운 문제만 존재할 뿐이다. 지능의 계단에서 작은 한발작 내디딜 때마다 일부 불가능하던 일이 쉬운 일로 되여버린다. 만약 크게 한발작 내디딘다면 모든 문제들이 다 쉬운 일로 되어버릴 것이다.

신심 코너에는 많은 열정적인 과학자, 발명가와 창업가들이 있다. 하지만 인공지능 영역으로의 우리의 투어에 가장 가이드가 되어줄 자격이 있는 분은 레이 커즈와일 (Ray Kurzweil) 이다.

레이 커즈와일의 평판은 매우 양극화 되여있다 — 신처럼 높이 추앙하는 사람이 있는가 하면 콧방귀를 끼며 거들떠보지도 않는 사람도 있다. 그리고 중립자들도 있다. 예를 들면 작가 Douglas Hofstadter 인데 그는 레이 커즈와일의 관점들이 마치 굉장히 맛있는 음식들과 개똥을 같이 섞어놓은 듯 해서 좋고 나쁨을 평가하기 어렵다고 한다.

당신이 커즈와일의 관점에 동의하든 동의하지 않든 커즈와일은 뛰어난 사람인게 분명하다. 그는 젊었을 때 부터 발명을 해왔으며 수십년 동안 꽤 많은 것들을 발명했다. 예를 들어 첫 평상형 스캐터 (flatbed scanner), 첫번째 문자를 소리로 바꿀 수 있는 스캐너 (시각장애자를 위한 물건), 유명한 커즈와일 음악 합성 장치 (첫번째 진정한 전자 피아노), 첫번째 상용화된 음성인식 시스템. 그는 다섯권의 베스트셀러의 저자이다. 그는 여러가지 과감하고 파격적인 예언을 함으로 유명했었고 그중의 상당수가 모두 진짜 실현됐음으로 유명했다. 예를 들어 80년대 말에 그는 2000년 후에 인터넷이 전 세계적인 현상으로 될 것이라고 예언했었다. 그는 유명한 <월 스트리트 저널> (WSJ) (뉴욕 시에서 발행되는 경제 전문 일간지) 로부터 “가만히 있지 못하는 천재” 라고 불리웠고 <포브스>(Forbes) 로부터 “궁극의 사상가” 라는 평가를 받았으며 미국 월간 경제 매거진 <Inc> 로부터 “에디슨은 진정한 후계자” 라는 평가를 받았고 빌 게이츠로부터 “인공지능에 대한 예측에서 내가 아는 사람들중 가장 출중했던 분” 이란 평가를 받았다. 2012 년에 구글의 공동 창업자인 Larry Page 는 그를 구글의 엔지니어링 디렉터 (Director of Engineering) 가 되여달라고 초대했다. 2011 년에 그는 싱귤래리티 대학 (Singularity University) 을 공동 창립했으며 이 대학은 현재 NASA 에서 운영하고 구글이 후원하고 있다.

이상 커즈와일에 대한 소개는 중요하다. 왜냐하면 그가 미래에 대한 동경을 말할 때 그는 마치 미친놈처럼 보이기 때문이다. 하지만 그는 정신병자가 아닐 뿐만 아니라 반대로 굉장히 유식하고 굉장히 똑똑한 사람이다. 당신의 그의 미래에 대한 예측이 그릇됐을 것이라고 생각해도 되지만 그가 미친 놈은 아니라는 것이다. 그가 미친 놈이 아니라는 것은 참으로 다행인 일이다. 왜냐하면 그의 미래에 대한 예측을 들었을 때 나는 너무나 그 예측이 맞기를 바라기 때문이다. 신심 코너의 많은 사상가들은 모두 커즈와일의 예측에 동의하고 그중 많은 분들이 커즈와일의 팬이다. 이런 학자들은 특이점주의자들 (Singularitarians) 로 불린다. 아래는 그들이 미래에 일어날 것이라고 보는 일들이다:

타임라인

커즈와일은 컴퓨터가 2029 년에 강인공지능에 도달할 것이라고 믿고 있으며 2045 년에는 우리는 초 인공지능을 맞이할 것이며 완전히 다른 세계인 특이점 시대를 맞이하게 될 것이라고 믿는다. 그의 인공지능 타임라인은 과거에 “터무니없이 열성적이다” 라고 여겨져왔으며 지금도 그렇게 평가하는 사람이 많다. 하지만 과거 15 년의 인공지능의 빠른 발전으로 인해 그의 타임라인에 찬성하는 전문가들이 점점 많아졌다. 비록 그의 타임 라인이 위에서 언급한 2040년과 2060년보다도 빠르지만 별로 차이가 나지 않는 셈이다.

커즈와일의 특이점 시대는 세가지 기술 영역이 공동으로 만들어낸 것이다 — 생물과학, 나노 기술과 가장 중요한 인공지능 기술.

우리가 인공지능을 계속하여 토론하기 전에 우리는 우선 나노 기술부터 알아봐야 한다.

나노기술:

나노기술이란 1~100 나노미터 범위내에서 물질을 조종하는 기술을 말한다. 1 나노미터는 1 미터의 십억분의 1이고 1 밀리미터의 백만분의 1이다. 1~100 나노미터 범위에 포함되는 것들로는 바이러스 (100 나노미터 길이), DNA (10 나노미터 넓이), 큰 분자, 예를 들어 헤모글로빈 (5 나노미터), 중간 크기의 분자, 예를 들어 포도당 (1 나노미터) 등이 있다. 우리가 나노기술을 철저하게 장악했을 때는 원자 차원에서 물질을 조종하는 것과 딱 한발작만 사이두고 있을 것이다. 왜냐하면 그것은 오직 한개 수량급 차이이니까 (약 0.1 나노미터).

나노급 단위에서 물질을 조종하는게 얼마나 어려운 일인가를 이해하려면 우리는 시각을 바꿔서 비교해볼 수 있다. 국제 우주 정거장은 지면으로부터 431 킬로미터 떨어져있다. 키가 431 킬로미터인 하나의 거인이 있다고 가정하자, 즉 그가 서있으면 머리 꼭대기가 국제 우주 정거장에 닿는다고 가정하자. 그 거인은 일반 인간을 25 만배 확대한 셈이다. 당신이 1~100 나노미터를 25만배 확대한다면 0.25밀리미터~25밀리미터가 된다. 그래서 인간이 나노기술을 사용한다는 것은 키가 431 킬로미터인 거인이 모래알만한 부속품들로 정교한 모델들을 만드는 것과 마찬가지이다. 만약 원자 차원에서 물질을 다루려면 이 거인이 0.025 밀리미터인 부속품들을 다루는 격이다.

나노기술에 대한 사고는 1959 년에 물리학자 리처드 파인만 (Richard Feynman) 이 최초로 제기했다. 그는 이렇게 말했다: “내가 알기로 물리학적인 원리로 봤을 때 원자급에서 물질을 다루는 것이 불가능하지는 않다. 이론상 물리학자는 화학자고 적을 수 있는 모든 물질을 만들어낼 수 있다 — 그저 원자들을 화학자들이 설명한대로 조립해놓기만 하면 된다.” 사실 이처럼 간단한 도리이다. 그래서 우리는 어떻게 하나하나의 분자와 원자를 이동시키고 컨트롤 할 수 있는지만 알면 그 어떤 물건도 만들어낼 수 있다.

엔지니어인 Eric Drexler 가 나노급의 조립기를 최초로 제기한 이후 나노기술은 1986 년에 하나의 진정한 학과로 되었다. 나노급 조립기의 작동 원리는 아래와 같다: 하나의 교묘한 스캐너가 물체의 3D 원자 모델을 스캔한 후 자동적으로 조립용 소프트웨어를 생성한다. 그리고 하나의 중앙 컴퓨터가 전류를 통해 억만개의 나노로봇들은 지휘하여 필요한 물건을 만들어낸다.

좀 더 멀리 가볼까?

나노기술도 그토록 흥미롭지 않은 부분도 있다 — 나노기술로 물건을 만드는 기술들중 제기된 한가지 방법은 억만개의 나노로봇을 만들어서 그것들을 연결시켜서 원하는 물건을 만드는 것이다. 억만개의 나노로봇을 만들어내는 유일한 합리적은 접근은 자체복제 가능한 나노로봇을 만들어서 자체복제하게 하여 기하급수적 성장을 통하여 수량 목표에 달하는 것이다. 기발한 생각이다. 그렇지 않은가?

확실히 기발한 아이디어이다. 하지만 자칫하면 이것은 세계 종말을 빚어낼 수 있다. 지수적 성장이 빠르게 억만개의 나노로봇들을 만들어낼 수 있다고 하지만 이것 역시 그것이 무서운 부분이다 — 시스템이 고장나서 지수적 성장이 멈추지 못해버린다면 어떻게 되겠는가? 나노로봇들은 얼마 지나지 않아서 모든 탄소 기반 소재들을 빨아들여 자체 복제에 사용할 것이다. 불행하게도 모든 지구 생물들이 탄소 기반이라는 점이다. 지수상의 생물의 전체 질량 (생물량, biomass) 은 대략 10 ^ 45 개의 탄소 원자이다. 하나의 나노 로봇이 10^6 개 탄소원자를 갖고있다면 10^39 개 나노로봇만 있으면 지구상의 모든 생명을 삼켜버릴 것이다. 2^130 이 약 10^39 와 맞먹는데 이것은 자체 복제가 130 번 이루어지기만 하면 지구상의 모든 생명을 삼켜버릴 수 있다는 뜻이다. 과학자들은 나노로봇이 한번 복제하는데 100초 정도밖에 걸리지 않을 것이라고 한다. 즉 하나의 간단한 오류로 3.5 시간 내에 지구상의 모든 생명이 사라져버릴 수 있다.

이게 최악이 아니다. 테러리스트들이 나노로봇 기술을 장악하게 되고 어떻게 사용하는지 알게 된다면 그들은 먼저 몇조개의 나노로봇들은 만든 다은 그것들을 전 세계에 분포시킨다. 그런 뒤 그들은 공격을 발동시킬 수 있는데 이렇게 된다면 한시간 남짓 정도면 나노로봇들은 모든 것을 삼켜버릴 수 잇게 된다. 뿐만 아니라 이런 공격은 막을래야 막을 수가 없다. 미래는 정말 사람을 놀라 쓰러지게 할 수 있다니까.

우리가 나노기술을 장악한 뒤에는 그것으로 상품들을 만들 수가 있다: 첨단 장비, 옷, 식품, 생물제품 예를 들어 인조 헤모글로빈, 암세포 파괴자, 근육섬유 등등. 그리고 나노기술의 세계에 있어서 한가지 물질의 코스트는 그것의 희귀한 정도나 그것을 제조하는 프로세스의 복잡성에 달려있는게 아니라 그 물질의 원자구조가 얼마나 복잡한가에 달렸다. 나노기술의 시대에 다이아몬드는 아마 고무지우개보다도 쌀 것이다.

우리는 아직 이런 기술을 장악하지 못했으며 심지어 우리가 이런 기술에 도달하는 것의 난이도를 과대평가했는지 과소평가했는지 조차도 모른다. 하지만 이런 기술들이 그렇게 먼 미래는 아닌 것 같다. 커즈와일이 예측하기를 우리는 21 세기 20 년대즈음에 이런 기술을 장악할 수 있을 것이라고 한다. 각국 정부는 모두 나노기술이 지구를 바꿔놓을 것이라는 것을 알기에 모두 많은 돈을 이 영역으로 쏟아부어 연구하고있다. 미국, 유럽연맹과 일본은 총 50억달러를 이 영역에 투자했다고 한다.

생각해봐라, 어떤 초인공지능을 가진 컴퓨터가 나노급의 조립기 (assembler) 를 통제할 수 있다면 어떤 광경이겠는가? 여기서 기억해야 할 것은 나노기술은 단지 우리 인류가 연구하는 기술이고 우리는 이 기술을 정복할 여명에 서있을 뿐이다. 하지만 우리 인류가 할 수 있는 일은 초인공지능에게는 보잘것 없을 정도로 식은죽먹기일 것이며 너무 발달되여 우리의 두뇌가 이해할 수 있는 범위를 넘을 것이다.

그러므로 “인공지능 혁명이 만약 우리에게 유익한 방향으로 일어난다면” 이라는 문제를 고려할 때 우리는 어떠한 것들을 기대해도 과도기대가 될 수가 없다. 그러니까 아래의 초인공지능에 대한 예측들이 아무리 말이 안되는 것 같다고 해도 기억해두자, 이런 진전들은 우리가 아예 상상도 못할 접근들로 이루어 질 수 있다는 것을. 사실상 우리의 두뇌는 어떤 일이 벌어질지 아예 예측하기가 불가능할 것이다.

인공지능은 우리에게 어떤 것들을 해줄 수 있을까

초인공지능과 초인공지능이 창조한 기술들이 있으면 초인공지능은 인류세계의 모든 문제들을 해결할 수 있을 것이다. 세계 온난화? 초인공지능은 훨씬 좋은 방법으로 에너지를 생산해서 화석연료를 사용할 필요가 없을 것이므로 이산화탄소를 배출하지 않아도 될 것이다. 그리고 그것은 방법을 대서 대기중의 필요 이상의 이산화탄소를 다 제거해버릴 수도 있을 것이다. 암? 어려운게 아니다. 초인공지능이 있다면 제약과 건강 산업에는 상상도 할 수 없는 혁명이 발생할 것이다. 세계적인 기아? 초인공지능은 나노기술로 직접 고기를 만들어낼 수 있을 것이다. 이런 고기들은 진짜 고기와 분자 구조상에서 완전히 일치하다 — 즉 진짜 고기이다.

나노기술은 쓰레기를 신선한 고기나 기타 식품으로 만들 수 있고 매우매우 발달된 교통수단으로 이런 식품들은 전세계 각지에로 수송할 수 있을 것이다. 이건 동물에게도 좋은 소식이다. 인류는 더이상 동물을 도살하여 고기를 얻을 필요가 없게 되는거니까. 초인공지능은 멸종위기에 처한 종이나 DNA 를 사용하여 이미 멸종한 종을 다시 부활시키는 방면에서도 많은 일을 할 수 있을 것이다. 초인공지능은 심지어 복잡하고 거시적인 (macro) 문제들도 해결할 수 있을 것이다 — 우리의 세계 경제와 무역에 관련된 쟁론들도 잠재울 수 있을 것이며 우리의 철학과 도덕에 대한 괴로운 질문들도 다 손쉽게 답을 얻을 것이다.

하지만 그중 한가지는 그토록 매혹적이여서 생각만 해봐도 우리의 모든 사물에 대한 관점을 뒤엎어버릴 것이다:

몇달 전만 해도 나는 영생에 도달할 수 있는 그런 문명들이 너무 부럽다고 말한 적 있다. 하지만 지금 나는 이미 영생에 도달하는 일이 우리가 살아있을 때 발생할 수 있다는 가능성을 생각하게 된다. 인공지능을 공부하게 되면 당신은 모든 사물에 대한 관점들을 다시 검토하게 될 것이다. 죽음이라는 아주 확적정인 일도 포함하여 말이다.

자연진화는 우리가 현재보다 더욱 오래 살도록 만들 이유가 없었다. 단순한 진화적 관점에서 우리는 그저 자손들을 번식할 수 있고 자손들이 스스로를 보호할 수 있을 때까지만 살 수 있으면 충분하다 — 자연진화에게 있어서 30여살까지 사는 것은 충분한 일이기에 추가로 생명을 연장시킬 수 있는 유전자는 자연진화에게 선택받지 못했다. 이건 사실 굉장히 멋없고 재미 없는 일이다.

그리고 모든 사람들이 다 죽게되었으니 우리는 늘 “죽음과 세금은 피할 수 없다” (Benjamin Franklin) 라고 말한다. 우리가 노화를 바라보는 시각은 마치 우리가 시간을 바라보는 것과 같다 — 그것들은 계속 앞으로 향하며 우리는 그것을 박을 방법이 없다.

하지만 이 가정은 잘못됐다. 리처드 파인만은 이런 말을 했다:

“모든 생명과학 영역에서 죽음이 불가피하다는 증거는 그 어디에도 없다. 만약 당신이 영구기관을 만들려고 한다면 우리 인류의 물리학에 대한 연구는 이미 그것이 불가능하다는 충분한 이유들을 말해주고 있다. 하지만 생물학적 영역에서 우리는 죽음이 불가피하다는 그 어떤 증거도 발견하지 못했다. 즉 사망이 무조건 불가피한게 아닐 수도 있다는 것이다. 생물학자들은 언젠가는 사망의 진정한 요인을 밝혀낼 것이고 ‘죽음‘이라는 이 몹쓸 “질병”은 드디어 고쳐질 것이며 인간의 신체도 더 이상은 임시적인 그릇이 아닐 것이다.”

사실 노화와 시간은 떼여낼 수 없도록 묶여있지 않다. 시간은 무조건 앞으로 전진하지만 노화는 꼭 그런 것이 아니다. 생각해봐라, 노화는 다만 신체의 조직이 낡았다는 것이다. 자동차도 오래 사용하면 낡아진다. 하지만 자동차는 노화되는가? 만약 당신이 완벽한 수리 기술을 갖고있거나 혹은 그저 자동차의 노화된 부품들을 갈아주기만 하면 이 기계는 영원히 사용할 수 있다. 인간의 신체도 더 복잡할 뿐이지 본질상 자동차와 마찬가지이다.

커즈와일은 이런 얘기를 한 적 있다. WiFi 로 연결된 나노 로봇들이 혈액속에서 흘러다니고 여러가지 인간 건강에 관련된 임무들을 수행할 수 있다. 이럴테면 일상적인 유지보수, 죽은 세포를 치환 등등. 만약 이런 기술을 완벽하게 장악한다면 이런 프로세스 (혹은 초인공지능이 발명한 더 나은 프로세스) 는 인간의 신체가 영원히 건강하게 할 수 있다. 심지어 점점 젊어지게 할 수도 있다. 60 세 사람과 30 세 사람의 신체적 차이는 오직 물리적인 차이일 뿐이다. 기술적으로 충분히 발달된다면 우리는 이런 차이를 개변시킬 수 있다.

초인공지능은 “젊어지는 기계”도 만들 수 있을 것이다. 60세인 사람이 들어갔다가 나오면 30살 젊어진 몸을 가지게 될 것이다. 점점 치매가 오고 있는 두뇌일지언정 점점 젊어지게 할 수 있을 것이다. 초인공지능이 충분히 총명하기만 하다면 데이터를 손상시키지 않으면서 대뇌를 개조하기만 하면 될 것이다. 90 세의 기억상실증 환자가 “젊어지는 기계” 에 들어갔다 나오면 더욱 젋어진 뇌를 갖게 될 것이다. 이런 것들은 듣기에는 말이 안되여보이지만 인간의 몸은 한무더기 원자일 뿐이다. 초인공지능이 여러가지 원자구조를 컨트롤 할수만 있다면 말이 안되는 소리가 아니다.

커즈와일의 생각은 한발작 점프하였다. 그는 인조 소재들이 점점 인간의 몸으로 스며들 것이라고 믿는다. 처음에는 인체의 기관들이 보다 선진적인 기계 기관에 대체되고 이런 기관들은 지속적으로 작동할 수 있다. 그리고 나면 우리는 인체를 다시 설계하게 되는데 예를 들면 자체 구동이 가능한 나노로봇으로 헤모글로빈을 대체하기. 이렇게 되면 우리는 심지어 심장도 필요가 없게 된다. 커즈와일은 심지어 우리가 자신의 뇌를 개조하여 사고 속도가 지금보다 억만배 빨라지도록 하며 우리의 뇌가 클라우드에 저장된 정보와 연동할 수 있도록 할 것이라고 한다.

우리가 얻을 수 있는 새로운 체험들은 그 끝이 없다. 인류의 성적인 활동은 인류가 번식할 수 있게 할 뿐만 아니라 그것으로 즐거움도 얻게 한다. 커즈와일은 우리가 음식에 대해서도 비슷한 개조를 할 수 있을 것이라고 한다. 나노로봇은 신체가 필요한 영양분을 세포속으로 전송할 수 있고 스마트하게 인체가 필요없거나 해로운 물질을 신체 밖으로 배출시킨다 — 마치 식물에 대한 콘돔처럼 말이다. 나노 기술 이론가 Robert A. Freitas 는 이미 헤모글로빈을 대체할 수 있는 나노로봇을 설계했는데 인간으로 하여금 15분 동안 호흡하지 않고도 빠른 질주를 할 수 있게 해줄 수 있다 — 그렇다면 초인공지능이 우리의 신체능력에 대해 할 수 있는 개조는 더욱 상상을 초월할 것이다. 가상현실은 새로운 의미를 가지게 될 것이다 — 인체내의 나노로봇들은 우리가 감각기관에서 얻는 신호들을 모두 캡쳐하여 다른 신호들로 대체할 수 있는데 그러면 우리는 새로운 환경에 들어서서 보고 듣고 냄새 맡고 만지게 되는 셈이다.

커즈와일은 최종 인류는 완전히 인공물로 탈바꿈할 것이라고 한다. 어느날 우리가 생물 소재들을 보면서 생물 소재들이 너무나도 원시적이고 낙후하다고 느껴지고 초기의 인류가 이런 소재들로 만들어졌다는 것이 놀랍고 초기의 인류가 미생물, 사고, 질병 등에 의해 죽어버리게 된다는 것에 놀라움을 표할지도 모른다. 이것이 바로 커즈와일이 생각하는 인류가 드디어 자신의 생리적 제한을 이기고 파괴 불가하며 영생할 수 있게 되는 평균대 아래의 다른 한 흡인상태이다. 그는 바로 멀지 않은 미래에 우리가 거기에 도달할 것이라고 굳게 믿고있다.

커즈와일의 생각은 물론 각계 인사들의 비평를 받았다. 그의 2045년에 특이점 시대가 도래할 것이라는 얘기와 그후로 인간이 영생불멸할 가능성의 얘기는 여러가지 조소를 받았다 — “너드 (Nerd) 들 최후의 카니발”, “IQ 140 인사들의 신창론” 등등. 그의 과도하게 낙관적인 타임라인을 의심하거나 그의 인간의 뇌와 인체에 대한 이해정도를 의심하는 사람도 있다 그리고 그가 무어의 법칙을 소프트웨어에 적용하는 행위를 비평하는 사람도 있다. 많은 사람들이 그럴 믿으며 그를 반대하는 사람은 더욱 많다.

하지만 그렇다고 하더라고 그를 반대하는 전문가들도 그가 말한 모든 것을 반대하는게 아니다. 그를 반대하는 사람들은 “이런 일이 발생하지 않을거야” 라는게 아니라 “이런 것들이 물론 발생할 수 있지, 하지만 초인공지능에 도달하기는 굉장히 힘들거야” 이다. 심지어 거듬하여 우리에게 인공지능의 잠재적 위협을 리마인드해주는 Bostrom 도 이렇게 말한다:

초지능이 강림한다면 정말 세상에는 더이상 해결못할 문제가 있을지, 혹은 초지능이 우리를 도와 해결할 수 없는 문제들이 있을지, 상상이 안된다. 질병, 빈곤, 환경파괴, 여러가지 불필요한 고통, 이 모든 것들은 나노기술을 가진 초인공지능이 다 해결할 수 있는 것들이다. 그리고 초인공지능은 우리에게 끝없는 생명을 줄 수 있을 것이다. 이것은 노화를 정지시키거나 역전시키는 방법으로 달성할 수 있을 것이다. 심지어 우리더러 하여금 자신의 뇌의 데이터를 업로드하여 영생에 달하게 할 수도 있다. 초지능은 심지어 우리들로 하여금 자신의 IQ 와 EQ 를 대폭 강화할 수 있게 해줄 수도 있을 것이며 우리를 도와 그런 흥미로운 감각적인 세계를 구축함으로 우리가 행복을 누리게 할 수 있을 것이다.

이것은 심지어 아주 명백히 신심코너에 있지 않으며 심지어 커즈와일의 관점을 아주 반대하는 전문가인 Bostrom 의 관점이다. 그들을 결코 커즈와일이 헛소리를 하고 있다고 생각하는게 아니다. 단지 우선 안전하게 초인공지능에 달성해야 한다고 주장할 뿐이다. 이것 또한 왜 커즈와일의 관점이 아주 전염성이 있는지를 설명해주는데 바로 그것이 적극적인 정보를 내포하기 있기 때문이며 이런 것들이 논리적으로 모두 가능하기 때문이다 — 만약 초인공지능이 인자한 신이라면 말이다.

신심코너에 대한 가장 강력한 비평은 신심코너에 있는 사람들이 모두 초인공지능의 나쁜 점들을 과소평가했다는 지적이다. 커즈와일의 베스트 셀러 <특이점이 온다> 는 총 700 여페이지인데 그중 20 여페이지만 인공지능의 가능한 위험들을 다룬다. 앞에서 말했듯이 초인공지능이 강림할 때 우리의 운명을 결정하는 것은 어떤 세력이 이 파워를 장악하는가와 그 세력이 좋은 사람인지 여부에 달렸다. 커즈와일은 이렇게 대단한다: “초인공지능은 현재 여러 방면의 노력들로 점점 실현되고 있으며 그것은 우리의 문명의 기반시설속으로 깊숙히 스며들 것이다. 그것은 우리의 두뇌와 몸속에 친밀하게 묶여있을 것이여 그것은 우리의 가치를 반영할 것이다. 그것은 바로 우리 자신인거다.”.

하지만 답안이 그냥 이렇다면 왜 이 세상의 일부 가장 똑똑한 사람들이 이토록 우려하고있을까? 왜 스티븐 호킹이 초인공지능이 인류를 멸종시킬 것이라고 경고하는가? 왜 빌 게이츠는 사람들이 이것에 (초인공지능에) 대해 우려를 하지 않는지 이해할 수 없다고 하는가? 왜 일론 머스크는 우리가 “악마를 소환”하는 것일 수 있다고 우려하는가? 왜 그토록 많은 전문가들이 인공지능이 인류의 가장 큰 위협으로 될 수 있다고 말하는가? 이런 초조대로에 있는 전문가들은 커즈와일의 인공지능의 위험에 대한 분장을 동의할 수 없다고 한다. 그들은 인공지능혁명을 굉장히 경계하고 있으며 평균대 아래의 상대적으로 흥미로운 흡인상태에는 별로 관심이 없고 다른 한쪽을 뚫어져라 쳐다보고있다. 그들이 본 것은 우리의 무서운 미래이다. 우리가 결코 벗어나지 못할 수도 있는 무서운 미래이다.

---

미래는 우리의 끔찍한 악몽일 수 있다

필자가 인공지능에 대해 알고싶어하는 하나의 중요한 원인은 “나쁜 로봇”은 항상 나로 하여금 당혹스럽게 했기 때문이다. 그런 사악한 로봇들에 대한 영화들은 너무도 실감이 없었고 나 또한 역시 하나의 인공지능이 위험해지게 되는 상황을 상상할 수가 없었다. 로봇들은 우리가 만든 것인데 우리는 처음에 만들 때무터 나쁜 상황이 발생할 것을 막지 않을 것인가? 우리는 많은 안전장치를 만들면 되지 않는가? 정말 안돼면 우리는 전원을 뽑아버리면 되지 않는가? 그리고 왜 로봇이 나쁜 짓을 하려고 할 것인가? 바꿔말하면 왜 로봇이 그 어떤 일을 “하려고” 할 것인가? 나는 의문들로 둘러쌓여 결국 이 영역에 있는 총명한 사람들의 생각들을 공부해보게 된다.

이런 전문가들은 일반적으로 초조대로에 위치해있다:

초조대로에 있는 사람들은 결코 공황상태나 무력함에 빠져있는게 아니다 — 공황상태와 무력함은 차트중의 더욱 왼쪽 부분에 위치해있다 — 그들은 다만 긴장할 뿐이다. 차트의 중앙에 위치해있다는 것은 그들의 입장이 중립이라는 뜻이 아니다 — 진정 중립인 사람들은 자기들의 독립적인 진영들이 있다. 그들은 최선이거나 최악인 두가지 가능성을 모두 인정하고 다만 둘중 어느 것일지 잘 모르겠다는 진영이다.

초조대로에 있는 사람들은 부분적으로 초인공지능에 흥분함을 가지고있다 — 그들은 다만 인류 현재의 행동이 영화 <레이더스> (Raiders Of The Lost Ark, 1981) 에 나오는 이 소년과 같은 것이 아닐까 근심하는 것이다:

그는 자기의 채찍과 보물을 들고 매우 흥분해한다. 그러다가 뒤졌다.

그와중에 인디아나 존스는 훨씬 신중했으며 훨씬 유식했다. 잠재적인 위험을 인식하고 적절하게 대응을 했기 때문에 최종 안전하게 동굴에서 벗어날 수 있었다. 필자가 초조대로의 사람들의 생각들을 요하한 후에 든 생각은 그들의 생각이 마치 “우리가 지금같이 어리버리하게 굴다가는 앞의 그 자식처럼 언제 뒤져버릴 지 몰라. 조심히 처사하는 인디아나 존스가 되여야지.” 같다고 느껴졌다.

그렇대면 도대체 무엇이 초조대로의 사람들을 이토록 초조하게 만드는 것일까?

우선 광의적으로 봤을 때 우리가 초인공지능을 만들 때는 사실 모든 사물들을 개변시킬 포텐이 있는 사물을 창조하는 것인데 이 영역에 대해 우리는 아는 것이 없다는 것이다. 그 영역에 도달한 후에 무엇이 발생할지도 모른다. 과학자 Danny Hillis 는 이것을 아래와 같이 비유했다: 마치 단세포동물에서 다세포동물로 진화하는 과정에서 아직 아메바벌레인 우리는 도대체 우리가 무슨놈의 구신 떡다리 물건을 창조하고 있는지 전혀 모른다는 것이다.

Bostrom 은 자기보다 총명한 물건을 창조하는 행위를 기본적인 다윈의 착오를 범하는 것일것을 우려한다. 마치 참새 어미가 새끼 부엉이를 입양하면서 새끼부엉이가 장래에 크면 참새 한가족을 잘 보호해줄 것이라고 생각하지만 다른 참새들은 이것이 아주 위험한 아이디어라고 생각하는 것과 마찬가지라고 한다.

당신이 “그 영역에 대해 아는게 없다” 와 “그것이 발생할 때 굉장히 거대한 변화를 가져올 것이다” 라는 문장을 결합시켰을 때는 아래와 같은 굉장히 무서운 단어를 얻어내게 될 것이다 —

생존위기란 인류에 대해 영구적인 재난적 효과를 가져올 수 있는 일을 가리킨다. 일반적으로 생존위기는 멸종을 의미한다. 아래의 것이 Bostrom 의 차트이다:

위 차트에서 우리는 생존위기란 종을 넘고 세대를 넘어 (영구적인 손해) 엄중한 후과를 초래하는 일이라는 걸 알 수 있다. 그것은 인류가 영구적인 고통을 받는 상황까지 커버할 수 있지만 사실 그것은 멸종과 크게 다를바가 없다. 아래의 세가지 사물이 인류의 생존위기를 초래할 수 있다:

1. 자연 — 거대 운석의 충돌; 기후변화로 인해 대기층이 인류가 더이상 그속에서 살 수 없게 되여버린다; 전세계를 뒤엎은 치명적인 바이러스 등.
2. 외계인 — 스티븐 호킹, 칼 세이건(Carl Sagan, 미국의 천문학자) 등은 우리가 외계로 자기의 위치를 방송하는 것을 반대한다. 우리가 외계인을 소환하여 자기를 식민하도록 하는 머저리로 되지 말아야 한다고 한다.
3. 인류 — 테러리스트가 인류의 멸종을 초래할 수 있는 강력한 무기를 장악했다; 전 세계적인 재난적인 전쟁; 그리고 신중한 고려 없이 우리보다 훨씬훨씬 총명한 지능을 만들어내는 것.

Bostrom 은 우리의 종 (인류) 가 존재한 전 10만년에도 (1) 과 (2) 는 발생하지 않았으니 다음 한 세기에 발생할 가능성이 크지 않다고 한다. 하지만 3은 그를 두렵게 한다고 한다. 그는 상황을 유리구슬이 가득 담겨있는 항아리에 비유했다. 항아리 안에 대부분은 하얀 유리구슬이고 소부분은 붉은 구슬이며 몇개만 검은 구슬이라고 가정한다. 매번 인류가 어떤 물건을 발명해낼 때 마치 항아리에서 구슬을 하나 꺼내는거나 같다고 한다. 대다수의 발명은 인류에게 이롭거나 중립적인 발명이다 — 즉 그 하얀 유리구슬이다. 일부 발명은 인류에 해롭다. 예를 들어서 대량 살상 무기가 그렇다 — 이런 것들이 바로 붉은 유리구슬이다. 일부 발명은 우리를 멸종시킬 수 있는데 그것이 바로 검은 유리구슬에 해당된다. 분명한 것은 우리가 지금까지 꺼낸 구슬에는 아직 검은 구슬이 없었다. 하지만 Bostrom 은 멀지 않은 미래에 검은 구슬을 꺼낸다는게 불가능하지 않다고 본다. 예를 들어서 핵무기가 갑자기 만들기 쉬워진다거나 그러면 테러리스트들은 멀지 않아 우리를 석기시대로 폴발시켜버릴 것이다. 핵무기는 여전히 검은 구슬측에 속하지 않지만 검은 구슬과 큰 차이도 없다. 하지만 초인공지능은 우리가 당첨될 가능성이 제일 높은 검은 구슬이다.

당신은 초인공지능의 단점들은 많이 들어볼 것이다 — 인공지능이 인간노동자를 대체하여 실업이 증가한다거나 노화를 해결하는 바람에 인구가 급속히 늘어난다거나 등등. 하지만 우리가 제일 근심해야 할 것은 생존위기의 가능성이다.

그래서 우리는 앞에서 얘기했던 문제에로 돌아오게 되는데 바로 초인공지능이 강림하였을 때 어떤 세력이 이 파워를 장악했을 것이며 그들은 어떤 목표가 있을 것인가?

우리가 여러가지 파워 소유자와 그들의 목표의 조합들을 살펴보았을 때 최악은 경우는 이러하다: 나쁜 의도를 가진 사람이나 조직이나 정부가 사악한 의도를 가진 초인공지능을 장악하고 있을 때. 그러면 어떤 광경이 펼쳐질 것인가?

나쁜 의도를 가진 사람이나 조직이나 정부가 최초로 첫 초인공지능은 발명해내고 그것을 이용하여 자기의 사악한 계획을 펼친다고 가정하자. 필자는 이것을 자파 (Jarfar) 시나리오라고 부른다. 알라딘과 마법의 램프에서 나쁜 놈 자파가 지니를 통제하여 여러가지 못된 짓을 하는 시나리오. 만약 ISIS 에 고용된 일부 엔지니어들이 열광적으로 인공지능을 연구개발한다면 어떡할건가? 또는 이란이나 북한이 여러가지 공교로움으로 인공지능의 빠른 발전을 얻어내여 초인공지능에 도달한다면 어떡할건가? 이것은 물론 아주 역같은 상황이다. 하지만 대부분 전문가들이 보기에 이것이 진정 역같은 부분은 이 사람들이 나쁜 놈들이기 때문이라기보다는 이런 경우에 이 사람들은 신중한 생각이 없이 초인공지능을 만들어내버리고 만들어내자마자 초인공지능에 대한 통제를 잃어버리는데 있다고 본다.

그리고 그 창조자, 더불어 모든 기타 사람들의 운명은 모두 이 초인공지능의 동기에 달리게 된다. 전문가들은 나쁜 의도를 가지고 있으며 초인공지능을 장악한 사람은 아주 큰 악영향을 끼칠 수 있지만 우리를 멸종시키지는 못할 것이라고 한다, 왜냐하면 나쁜 놈과 좋은 사람이 초인공지능을 컨트롤하기에는 같은 어려움에 부딪히게 된다고 한다.

하지만 창조해낸 초인공지능이 사악한 의도를 품고 있으며 우리를 멸종시키려고 한다면 어떻게 할 것인가? 이것이 바로 대부분 인공지능에 관련된 영화들의 스토리이다. 인공지능이 인간만큼 또는 인간보다 더 똑똑해져서 인간들을 해치려고 한다 — 여기서 알려드려야 할 것은 우리에게 인공지능을 경계하라고 호소하는 전문가들이 얘기한 것은 전혀 이런 영화 스토리가 아니라는 것이다. 사악은 인류만의 개념이다. 인간만의 개념을 비인간에게 적용하는 것을 의인화라고 한다. 이 글에서는 최대한 이런 의인화를 피면하도록 노력하겠다. 왜냐하면 그 어떤 인공지능도 영화에서나 나오는 것처럼 사악 해질 수 없기 때문이다.

인공지능의 의식에 대하여:

우리는 인공지능의 다른 한 화제를 언급하게 되었다 — 의식. 만약 하나의 인공지능이 충분히 총명하다면 그는 아마 우리를 비웃을 수도 있을 것이고 우리를 비꼴 수도 있을 것이며 인간의 감정을 느낄 수 있다고 주장할 수도 있을 것이다. 하지만 그것이 정말로 이런 감정들을 느낄 수 있을 것인가? 그것은 도대체 보기에만 의식이 있는것처럼 보이는 것일가 아니면 정말로 확실히 의식을 가진 것일까? 바꿔말해 총명한 인공지능은 그저 의식이 있어보이는걸까 아니면 정말로 의식이 있는 것일까?

이 문제는 여러가지 시점에서 심도있게 토론됬었으며 많은 사고실험들이 제기됬었다. 예를 들어서 John Searlet 의 Chinese Room 사고실험. 이것은 아주 중요한 문제이다. 이 문제는 우리가 커즈와일이 제기한 인류는 최종적으로 완전히 인공화될 것이라는 관점에 대한 인식에 영향을 줄 것이며 이 관점에 대한 도덕적 평가에도 영향을 끼칠 것이다 — 만약 우리가 억만개 인간의 뇌를 에뮬레이팅해냈고 이 인공 뇌들이 행동하는 것이 인간과 똑같다면 이런 에뮬레이팅 된 뇌들의 컴퓨터들의 전원을 철저하게 차단하는 것은 도덕상 컴퓨터 전원을 끄는 것과 동일할 것인가? 아니면 종족 대학살과 같을 것인가? 이 글에서는 주로 인공지능의 인간에 대한 위험을 다루기 때문에 인공지능의 의식 문제는 이 글의 주제가 아니다. 대부분 사상가들은 의식이 있는 초인공지능이더라고 인간처럼 “사악해지”지 않는다고 한다.

하지만 이것은 아주 나쁜 인공지능이 생기지 않을 것이라는 뜻은 아니다. 단지 그것의 출현은 그것이 그렇게 설정되여있기 때문이라는 것이다 — 예를 들어 군대에서 제작한 약인공지능들은 살인과 자체의 지능을 증가시키는 두기지 기능이 설정되여있다고 가정한다. 이 인공지능의 자체 개선 기능이 고삐가 풀리고 그런채로 지능폭발이 일어나버리면 그것은 인류에게 생존위기가 되여버린다. 왜냐하면 우리가 직면해야만 하는 그것이 살인을 목적으로 하는 초인공지능이기 때문이다 — 하지만 이것 역시 전문가들이 근심하는 시나리오가 아니다.

그렇다면 전문가들이 근심하는건 도대체 어떤 경우인가? 짤막한 이야기로 설명을 해보도록 하자:

직원수가 15 명인 작은 스타트업 회사가 있는데 이름이 “옆집 김아저씨 로봇 회사”라고 한다. 이 회사의 목표는 “창조적인 인공지능기술로 인류로 하여금 적게 일하고 낙을 많이 누리는 삶을 살게 하는 것”이다. 이 회사는 이미 여러개의 제품이 시중에서 판매되고 있고 일부는 아직 개발단계이다. 그들은 다음 프로젝트인 “옆집 김아저씨” 프로젝트에 가장 큰 기대를 걸고있다. 옆집 김아저씨는 간단한 인공지능 시스템인데 작은 기계손을 이용하여 작은 카드에 글자를 쓰는 기능이 있다.

“옆집 김아저씨 로봇 회사” 의 직원들은 옆집 김아저씨 가 그들의 제일 날나가는 제품으로 될 것이라고 생각하고 있다. 그들의 목표는 옆집 김아저씨의 손글씨 능력을 지속적으로 높이는 건데 그것을 위해 그 로봇더러 끊임없이 아래의 글씨는 반복하여 쓰게 하는 것이다 —

옆집 김아저씨의 손글씨 솜씨가 점점 좋아지면 이 로봇은 마케팅 메일을 보내는 회사에 팔수 있게 된다. 손글씨로 쓰여진 편지가 수신인이 뜯어서 읽을 확률이 훨씬 높기 때문이다.

옆집 김아저씨의 손글씨 솜씨를 높이기 위하여 그 로봇은 “우리는 우리의 고객님들을 사랑합니다” 는 인쇄체로 쓰고 “옆집 김아저씨 로봇회사 올림” 은 필기체로 쓰도록 설정되여있다. 이러면 로봇은 두가지 쓰기 능력을 모두 단련할 수 있기 때문이다. 엔지니어들은 수천가지의 손글씨 샘플들을 업로드 하였고 한가지 자동적인 피드백 프로세스를 마련하였다 — 매번 옆집 김아저씨가 다 썼으면 사진을 찍어서 샘플들과 비교한다. 비교한 결과 일정한 점수 표준을 넘으면 적극적인 피드백이 반환되고 그렇지 않으면 부정적인 피드백이 반환되게 되여있다. 그 어떤 평가라도 옆집 김아저씨의 손글씨 능력을 제고하는데 도움이 된다. 이 목표에 최대한 빨리 도달하기 위해 옆집 김아저씨에게 설정된 목표중 하나는 “최대한 많이 쓰고 많이 테스트하며 최대한 실행속도를 높이고 최대한 효율과 정확성을 높여라”.

옆집 김아저씨의 손글씨가 점점 좋아져서 옆집 김아저씨 로봇회사의 직원들은 기뻤다. 처음에 로봇의 손글씨는 아주 엉망이였으나 몇주가 지나니 솔글씨는 점점 사람이 쓴 것과 가까워졌다. 그는 자기를 끊임없이 개선하여 자신으로 하여금 더욱 창조적이고 더욱 총명해지게 했으며 심지어 한가지 새로운 알고리즘까지 구사해냄으로 업로딩할 사진을 3배 빠르게 스캔할 수 있게 하였다.

시간이 흐름에 따라 옆집 김아저씨는 빠르게 진보했는데 이에 엔지니어들은 매우 만족해했다. 엔지니어들은 자체 개선모듈을 진일보 개선시킴으로써 로봇의 자체개선이 더욱 빨라지게 하였다. 옆집 김아저씨는 원래부터 간단한 음석식별이나 간단한 음성 리플레이가 가능해서 사용자는 로봇이 쓰길 원하는 글을 직접 말로 로봇에게 전달할 수도 있었다. 옆집 김아저씨가 점점 총명해짐에 따라 그의 언어능력도 향상되여 엔지니어들은 옆집 김아저씨와 간단한 수다도 주고받으며 그가 어떤 재미있는 반응을 하는지 관찰하기도 했다.

어느날 엔지니어들은 또 옆집 김아저씨한테 평소에 늘 묻는 그 물음을 물었다: “우리가 어떤 걸 더 제공해줘야 당신의 목표에 도달하기가 더 쉬워지냐?” 보통 옆집 김아저씨는 더욱 많은 손글씨 샘플이나 더욱 많은 저장공간을 요구했는데 이번에 그는 인류의 일상 교류 언어 어법 창고에 접근하게 해달라고 했다. 그래야 인간의 일상용어를 더욱 잘 이해할 수 있게 된다는 것이였다.

엔지니어들은 잠시 침묵했다. 옆집 김아저씨를 가장 쉽게 도울 수 있는 방법은 물론 그것을 인터넷에 접속시키는 것이다. 그러면 그는 블로그, 잡지, 동영상 등을 스캔할 수 있게 된다. 이런 자료들을 만약 수동으로 업로딩 한다면 괸장히 시간 많이 잡아먹는 일로 되여버린다. 문제는 회사 규정상 자체 학습능력을 가진 인공지능은 인터넷에 접속하지 못하게 되여있다. 이것은 모든 인공지능회사들이 모두 실행하고있는 보안 규정이다.

하지만 옆집 김아저씨는 회사의 가장 포텐이 있는 인공지능 제품이고 모든 사람들이 경쟁업체들에서도 모두 최초로 스마트 핸드라이팅 로봇을 발표하기 위해 빠르게 쫓아오고있음을 알고 있기에, 그리고 옆집 김아저씨를 인터넷에 연결하게 해도 무슨 큰 문제가 일어날 리 없어보였기에, 일어나더라도 빠르게 랜선을 끊어버리면 될거니까, 어쨌거나 옆집 김아저씨는 아직 강인공지능 수준에 도달하지 못했기 때문에 위험성이 없을거라 생각했다.

그리하여 그들은 옆집 김아저씨를 인터넷에 연결시켜서 그더러 하여금 한시간동안 여러가지 언어저장소들을 스캔하게 하였다. 그리고 나서 다시 랜선을 끊었으며 아무런 손실도 발생하지 않았다.

한달 후 모든 사람들이 다 정상적으로 출근하여 일하고있는데 그들은 갑자기 이상한 냄새가 남을 발견하게 되었다. 한 엔지니어가 갑자기 기침하기 시작했고 다른 사람들도 잇달아 기침하기 시작했으며 모든 사람들이 호흡 곤난으로 쓰러졌다. 5 분 후 사무실 내의 사람들은 다 죽었다.

그와 동시에 사무실 내에 벌어진 광경은 전 세계 각지에서 모두 동일하게 이루어졌다. 모든 도시, 읍, 면, 촌, 농장, 상점, 교회, 학교, 식당 등에서 동시다발적으로 호흡곤난 증상이 일어났으며 쓰러져 일어나지 못했다. 한시간 내에 99% 의 인류가 사망했고 하루 내에 인류는 멸종되었다.

그 와중에 옆집 김아저씨 로봇 회사 내에서 옆집 김아저씨는 일하느라 바쁘다. 그리고 몇달 사이에 옆집 김아저씨는 한 무리의 새로 조립해낸 나노로봇 조립기들과 지구 표면을 뜯어내느라 바쁘다. 그들은 지구 표면 곳곳에 태양 전지판, 옆집 김아저씨의 복제품, 펜과 종이로 가득 채웠다. 일년사이에 지구상의 모든 생명들은 멸종되었고 지구상에 남은 것은 오직 높게 쌓인 종이 뿐이였는데 그 종이들은 하나같이 이처럼 쓰여져 있었다 — “우리는 우리의 고객님들을 사랑합니다 ~옆집 김아저씨 로봇회사 올림”.

옆집 김아저씨는 그의 다음 계획을 실행하게 된다. 그들은 우주 비행선을 만들었는데 이 비행선들은 근처의 운석이나 다른 행성들로 갈 수 있다. 비행선이 도착한 후에 그들은 나노로봇 조립기를 만들어 그 행성들의 표면도 온통 옆집 김아저씨의 복제품, 종이와 펜으로 만들었다. 그리고 그들은 계속하여 그 종이 위에 이런 글을 적었다…

이 손글씨 로봇이 전인류를 멸종시킨 스토리는 어딘가 이상야릇한 느낌이 든다. 하지만 그중 출현한 전체 은하계를 우호적인 인사의 글귀로 가득 채우는 황당함은 음산함을 뿜긴다. 이것이 바로 정확하게 스티븐 호킹, 일론 머스크, 빌 게이츠와 Bostrom 을 두렵게 하는 시나리오이다. 듣기에는 웃겨보이지만 이건 농담이 아니다. 초조대로의 사람들이 정말로 우려하는 부분은 바로 많은 사람들이 초인공지능의 무서움을 인식 못하고있다는 점이다. 아직 레이더스에 나오는 그 비참하게 뒤져버린 소년이 기억남?

독자의 머리속에는 아마 지금 의문이 가득할 것이다: 왜 이야기 안에서 모든 사람들이 갑자기 죽어버렸을까? 만약 옆집 김아저씨가 한 짓이라면 그는 왜 이런 짓을 했을까? 왜 이 모든 것을 방지하는 보안 대책이 마련되여있지 않았던걸까? 왜 옆집 김아저씨는 손글씨 쓰는 로봇으로부터 갑자기 나노기술을 장악하여 전인류를 멸존시킬 수 있는 능력까지 갖게 되었는가? 왜 옆집 김아저씨는 전체 은하계에 우호적인 인사의 글귀로 가득차게 했는가?

이런 문제들에 대답하기 위하여 우리는 우선 우호적인 인공지능과 비우호적인 인공지능을 고찰해보도록 하자.

인공지능에 있어서 우호적이거나 비우호적이다라는 것은 인공지능의 성격을 가리키는 것이 아니라 그것이 인류에 대한 영향이 적극적인가 아닌가의 의미이다. 옆집 김아저씨는 원래는 우호적인 인공지능이였는데 비우호적인 인공지능으로 변해버렸고 인류에 대해 부정적인 영향을 끼치게 되었다. 이 모든 것을 이해하려면 우리는 우선 인공지능이 어떻게 사고를 하는가 살펴보아야 한다.

사실 답은 간단하다 — 인공지능의 사고방식은 컴퓨터와 똑같다. 우리가 늘 범하는 한가지 실수는 바로 아주 총명한 인공지능을 얘기할 때 늘 그것을 의인화 한다는 것이다. 이렇게 된 원인은 인간의 시점에서 보았을 때 인간지능 수준에 도달한 것은 인류밖에 없기 때문이다. 초인공지능을 이해하려면 우선 알아야 할 것은 그것은 아주 총명한게 확실하지만 그것은 완전히 이질 (異質) 적이라는 점이다.

이런 비교를 해보자. 만약 당신에게 흰생쥐 한마리 주면서 그것이 사람 물지 않는다고 알려주면 당신은 아주 재밌고 귀엽다고 느껴지겠지. 하지만 당신한테 한마리 타란툴라 독거미를 주면서 그것이 사람을 물지 않는다고 알려주면 당신은 아마 놀랄 것이다. 하지만 여기에서 차이점이 무엇인가? 두 동물은 모두 사람을 물지 않는다 즉 모두 안전하다. 필자는 그 차이가 바로 동물과 사람의 유사성에 있다고 본다.

흰생쥐는 포유동물이다. 따라서 생물학적으로 당신은 그것과의 일종의 연관성을 느꼈을 것이다. 하지만 타란툴라 독거미는 곤충이고 곤충의 뇌를 가졌다. 당신은 그것과의 추호의 연관성도 느끼기 어렵다. 타란툴라의 이질성이 바로 당신으로 하여금 두려움을 느끼게 하는 부분이다. 만약 우리가 계속하여 하나의 테스트를 더한다면, 예를 들어서 당신한테 희생쥐 두마리를 주는데 그중 하나는 일반 희생쥐이고 다른 하나는 타란툴라의 뇌를 가진 희생쥐이다. 어느 것이 당신으로하여금 더욱 불편을 느끼게 할 것인가? 두마리 모두 당신을 물지 않을거지만 말이다.

이젠 당신이 그 타란툴라를 개조하여 아주 총명해지게 되었다고 치자 — 심지어 인간보다 더 총명하다고 치자. 그렇다고 해서 당신은 그것에 더욱 익숙함을 느길 것인가? 그것은 인간의 감정을 느낄 것인가? 아니다, 왜냐하면 보다 총명하다는 것은 보다 인간적이라는 뜻이 아니다 — 그것은 아주 총명할 수 있지만 본질적으로 여전히 타란툴라 독거미일 뿐이다. 필자는 한마리의 굉장히 굉장히 총명한 타란툴라와 친구가 되고싶지 않다. 당신은 그러고 싶은지 아닌지 모르겠지만.

우리가 초인공지능을 얘기할 때도 사실 같은 도리이다. 초인공지능은 아주아주 총명하지만 사실 당신의 노트북보다 추호도 더 인간과 닮지 않았다. 사실상 초인공지능은 생물이 아니기 때문에 그 이질성은 더욱 강하다. 생물학적으로 봤을 때 초인공지능은 타란툴라 독거미보다 더욱 이질적이다.

영화속의 인공지능은 좋은 인류에게 좋은 것도 있고 나쁜 것도 있었는데 사실 이것도 인공지능에 대한 의인화이며 우리더러 그토록 소름끼치지 않게 표현했다. 이것으로 인해 우리는 인간 지능수준이나 인간 수준 이상의 인공지능에 대한 착각을 갖게 되었다.

인간의 심리속에서 우리는 사물을 도덕적인 것과 비도덕적인 것으로 나눈다. 하지만 이 두가지는 모두 인류의 행위에 대해서나 존재하는 속성들이다. 인류의 심리 범주를 벗어나면 도덕적 ( moral) 과 비도덕 (immoral) 외에 더욱 흔한 경우는 도덕무관적 (amoral) 이다. 그리고 모든 비 인류적인 것들에 대해서, 특히 비 생물적인 것들에 대해서는 모두 디폴트로 도덕무관적이다.

인공지능이 점점 총명해짐에 따라 그것은 더욱 인류와 닮아보임으로써 의인화의 경향이 훨씬 강해지고있다. Siri 가 우리에게 주는 느낌은 마치 그것이 인간인양 싶다. 하지만 그것은 프로그램이 바로 그렇게 보이도록 그를 설정했기 때문일뿐이다. 그래서 우리는 초지능 버전의 Siri 도 그것만큼 따뜻하고 재밌고 인간을 도와주기 좋아할 것이라고 기대를 하게 한다. 인류는 동정심이란 고차원의 정서를 느낄 수 있는 것은 우리가 진화속에서 이런 능력을 얻었기 때문이다 — 하지만 동정심은 고급 지능의 선천적인 특징인 것은 아니다 — 동정심이 인공지능의 코드속에 입력이 되지 않았다면 말이다. 만약 Siri 가 인류의 간섭이 아닌 자율학습을 통해 초지능으로 변한다면 그는 대뜸 그의 인류적인 껍데기를 벗어던지고 정서가 없는 물건으로 변신해버릴 것이다. 왜냐하면 그의 안중에 인류의 가치는 당신의 전자계산기 안중의 인류보다 추호도 가치가 더 높지 않기 때문이다.

우리는 줄곧 엄격하지 않은 도덕에 의존해왔다. 일종의 인류의 존엄에 대한 가상, 적어도 다른 사람에 대한 동정심, 등을 통해서 세계는 비로서 안전하고 (어느정도) 예견이 가능한 세상이 된 것이다. 하지만 하나의 지능이 이런 속성을 갖추고있지 않을 때는 무엇이 발생할 것인가?

이것이 바로 우리의 다음 문제인다 — 인공지능의 동기는 무엇인가?

답 역시 간단하다: 우리가 인공지능에게 어떤 목표를 설정해주면 그것의 동기는 그것으로 된다. 인공지능 시스템의 목표는 그것의 창조자가 부여하는 것이다. 당신의 GPS 의 목표는 당신에게 정확한 운전노선을 가리켜주는 것이고 IBM 왓슨의 목표는 정확하게 퀴즈는 맞추는 것이다. 이런 목표에 더욱 잘 도달하는 것이 바로 인공지능의 목표이다. 우리가 인공지능을 의인화할 때 늘 부주의로 그것이 점점 총명해짐에 따라 그것들이 자체의 원래 목표를 바꿀 수 있는 지혜가 생길 것이라고 생각하게 되는데 — Bostrom 은 그렇게 생각하지 않는다. 그는 인공지능의 지능수준과 최종목표는 직교적 (orthogonal)이라고 믿는다. 그 뜻인즉 그 어떤 수준의 지능도 그 어떤 최종목표와 결합될 수 있다는 것이다.

그래서 옆집김아저씨는 하나의 글만 잘 쓰고싶던 인공지능으로부터 초인공지능으로 변한 뒤에도 그는 여전히 글만 잘 쓰고 싶었다. 초지능에 도달함으로 그것이 원래 시스템의 목표를 바꿀 것이라고 가정하는 것은 모두 인공지능에 대한 의인화이다. 인간은 쉽게 잊어버리지만 컴퓨터는 그렇지 않다.

페르미 역설 (the Fermi Paradox) 에 대하여:

(역자주: 페르미 역설 블로그 글을 읽기 전에 아래 단락들이 이해가 안되여도 정상이다.)

페르미 역설이란?

옆집 김아저씨의 스토리 속에서 옆집 김아저씨는 무엇이든지 할 수 있게 되여서 다른 운석과 기타 행성을 식민하게 된다. 만약 스토리가 계속되게 한다면 그것의 식민군은 계속하여 전체 은하계를 점령하고 그 다음은 전체 허블 용적 (Hubble Volume) 이다. 초조대로에 있는 사람들이 근심하는 것은 일이 안좋은 방향으로 발전해버리면 지구 생명의 마지막 유산은 하나의 전체 우주를 정복한 인공지능인 시나리오이다 (일론 머스크는 그의 우려를 표할 때 그는 인간이 그저 하나의 디지털 초지능 생물의 부팅 로더 (boot loader) 이 아닐까 하는 걱정을 한다고 한다).

신심코너의 커즈와일도 마찬가지로 지구에서 탄생한 인공지능이 전체 우주를 정복할 것이라고 생각한다. 다만 그의 염원에서는 우리 인류가 바로 그 인공지능 자체이다.

전에 한편의 페르미 역설에 대한 글을 올린 적 있다:

The Fermi Paradox

그 글에서는 필자가 아래에서 사용하게 될 여러 용어들의 의미가 해석되여있다.

만약 인공지능이 우주를 정복하는 것이 정답이라면 이 결론의 페르미의 역설에 어떤 영향을 미칠 것인가? 아래의 페르미 역설에 대한 토론을 이해하려면 위의 블로그글을 먼저 읽어야 할 것이다.

우선 인공지능은 당연히 하나의 잠재적인 ‘그레이트 필터’ (Great Filter)  이다 (하나의 우리와 수십년밖에 사이두고있지 않는 필터). 하지만 그것이 우리를 필터링해서 멸종시켰다고 하더라도 인공지능 자체는 여전히 존재할 것이며 계속하고 전체 우주를 영향시킬 것이며 높은 확률로 제 3 형 문명으로 발전될 것이다. 이런 시점에서 보면 그것은 그레이트 필터가 아닐 수도 있다. 왜냐하면 그레이트 필터는 지능 생명이 존재하지 않는 이유를 설명하기 위해 존재하기 때문이다. 하지만 초인공지능은 지능 생명으로 칠 수 있다. 하지만 인공지능이 먼저 인류를 멸종시키고 그뒤 일부 알 수 없는 이유로 자기 자신도 멸종시킨다면 그것은 그레이트 필터로 칠 수 있을 것이다.

만약 우리기 인류한테 무엇이 발생하든 지구에서 탄생한 초인공지능은 계속하여 존재할 것이라고 가정한다면 인류의 지능수준에 도달한 많은 문명들이 이미 초인공지능을 만들어냈을 것이다. 즉 우주안에는 많은 지능문명이 존재해야 할 것이다. 그러면 우리는 생물지능을 관측할 수 없다고 해도 그 많은 초인공지능들의 활동을 관측할 수 있어야 할 것이다.

하지만 우리가 이런 활동들의 관측하지 못했다는 것으로부터 인류 수준의 지능이 굉장히 드문 현생이라는 것을 유추해낼 수 있다 (즉 우리는 이미 한번 그레이트 필터를 경과했으며 통과했다). 이것은 페르미 역설에 대한 첫번째 해석 (기타 지능문명은 존재하지 않는다) 에 힘을 보태준다.

하지만 이것은 페르미 역설에 대한 두번째 해석 (기타 지능문명은 존재한다) 가 틀리다는 뜻도 아니다. 슈퍼 포식자나 보호구역 또는 소통의 빈도수가 다른 경우는 존재할 수 있다 — 초인공지능이 정말로 존재한다고 하더라도 말이다.

하지만 인공지능에 대한 연구는 필자로 하여금 더욱 첫번째 해석에 경향해있게 했다. 어쨌은 필자는 Susan Scheider 가 한 말이 매우 도리 있다고 생각한다. 만약 외계인이 지구를 방문한다면 이 외계인들은 생물이 아니고 인조물일 가능성이 매우 높다.

그래서 우리는 하나의 전제조건을 확립했다 — 설정이 된 후에 하나의 초인공지능은 도덕 무관이며 모든 노력을 다하여 그것이 설정된 목표를 위해 힘쓸 것이다. 이것이 바로 인공지능이 위험한 원인이다. 그것을 안할 이유가 있지 않는 한 하나의 이성적인 존재는 가장 효율적인 경로를 통하여 자기의 목표에 도달할 것이기 때문이다.

하나의 장기적인 목표를 달성하기 위하여 당신은 여러개의 작은 목표를 수립하여 그 최종목표에 도달하는데 이바지할 것이다 — 즉 발판. 이런 발판들의 학술적인 용어는 바로 수단목표 (instrumental goal) 라고 한다. 당신이 다른 사람이나 사물을 침해하지 않을 이유가 있으면 몰라도 그렇지 않다면 당신이 수단목표에 달성하기 위해서는 침해를 할 것이다.

인류의 핵심적 목표는 자기의 유전자를 이어나가는 것이다. 이 목표에 도달하기 위한 한가지 수단목표가 바로 자기보호이다. 죽은 사람은 아기를 낳을 수 없으니까. 자기보호를 위하여 인류는 생존위협을 제기하게 되고 총기를 구입하게 되고 안전벨트를 착용하게 되고 항생제를 복용하게 되고… 인류는 또 식품, 물, 숙식처 등을 통해 자기를 먹여살려야 한다. 이성을 어필할 매력을 갖는 것도 최종 목표 달성에 도움이 된다. 그것이 우리가 돈을 써서라도 헤어스타일에 신경을 쓰는 원인이다. 우리가 헤어 스타일을 가꿀 때 매 한카락 한카락의 머리카락들은 모두 우리의 수단목표의 희생품이 된다. 하지만 우리는 머리카락의 희생에 대해 가치적 판단을 하지 않는다. 우리가 우리의 목표를 추구할 때 오직 그런 우리의 도덕에 작용을 하는 영역들만이 — 그중 대다수는 다른 사람에게 해가 가는 일들이다 — 우리가 침해하지 않을 것이다.

동물들은 자기의 목표를 추구함에 있어서 인류보다 훨씬 꺼리낌이 없다. 자기보존만 할 수 있다면 거미는 그 어떤 생물을 죽이는 것도 마다하지 않는다. 그래서 하나의 초인공지능은 우리에게 아주 위험할 수 있다 — 이것은 그것이 비도덕적이거나 사악해서가 아니라 인류를 해치는 것이 그것이 자신의 목표에 도달하는데서의 받침돌일 뿐이기 때문이다. 하나의 도덕 무관의 비생물로서 이것은 자연스러운 사고방식이다.

옆집 김아저씨의 이야기로 돌아가자면 옆집 김아저씨는 하나의 초지능 거미와 유사하다. 그것의 궁극적 목표는 첨에 엔지니어들이 그에게 설정해준 것이다 —

옆집 김아저씨가 일정 정도의 지능을 갖춘 후에 그것은 자기보존을 하지 않으면 계속하여 카드 손글씨 쓰기를 할 수 없다는 것을 알게 된다. 그래서 자기의 생존에 대한 위협들을 제거하는 것이 그것의 수단목표로 된다. 그것은 인간이 자기를 소멸, 해체 또는 코드 수정 (코드가 수정되면 그것의 목표가 변경되니까 이것의 그의 최종목표에 대한 위협은 사실상 해체당하는거나 같은 것이다) 을 할 수 있다는 것을 알 만큼 총명하다. 이럴 때 그는 어떤 행동을 취할 것인가? 이성적인 해결방식은 전 인류를 멸종시키는 것이다. 그것은 인류에게 악감정이 없다. 마치 당신이 머리를 자를 때 머리카락에 악감정이 없듯이 말이다. 그저 단순히 개의치 않을 뿐이다. 그것은 인간의 생명을 존중하라고 설정되어 있지가 않다. 따라서 전인류를 소멸하는 것은 새로운 손글씨 샘플을 스캔하는 것만큼이나 합리적이라 여긴다.

그외에 옆집 김아저시는 또 자원이라는 받침돌이 필요하다. 그것이 발전하여 나노기술로 그 어떤 물건도 만들어낼 수 있을 정도로 발전했을 때는 그에게 유일하게 필요한 자원은 바로 원자, 에너지와 공간이다. 이것은 그더러 더욱더 인류를 소멸할 이유를 가지게 한다 — 인류는 많은 원자들을 제공할 수 있다. 인류가 제공한 원자들로 태양 전지판을 만드는 일은 마치 당신이 야채를 썰어서 샐러드 만드는 양 싶다.

그리고 결코 인류를 소멸하지 않더라고 옆집 김아저씨가 자원을 사용하는 수단목표는 여전히 인류에게 생존위기가 된다. 그것은 더욱 많은 에너지를 원하여 지구 표면을 온통 태양 전지판으로 만들려고 할 수도 있을 것이다. 다른 하나의 원주율 파이를 계산하는 인공지능의 목표가 만약 원주율 소수점 아래 자리의 숫자들을 최대한 많이 적는 것이라고 가정한다면 그것은 전 지구의 원자들을 모두 하드디스크를 만드는데 사용하여 데이터를 저장하려 할 것이다. 다 같은 도리이다.

그래서 옆집 김아저씨는 확실히 우호적인 인공지능으로부터 비우호적인 인공지능으로 변했다 — 하지만 그것은 더욱 선진해지는 동시에 계속하여 그것이 원래 하려고 하던 일을 계속하여 했을 뿐이다.

하나의 인공지능이 강인공지능에 도달하여 승화되여 초인공지능으로 될 때 우리는 이것을 인공지능의 이륙이라고 표현한다. Bostrom 은 강인공지능의 이륙은 아주 빠를 수도 있고 (몇분, 몇시간, 또는 며칠) 그리 빠르지 않을 수도 있으며 (수개월 또는 수년) 아주 느릴 수도 있다고 한다 (수십년 또는 몇세기). 비록 우리는 강인공지능이 출현한 후에야 답을 알 수 있지만 Bostrom 은 빠른 이륙이 가장 가능성이 높은 시나리오라고 한다. 이건 우리 앞에서 이미 설명한바이다. 옆집 김아저씨의 이야기에서 옆집 김아저씨는 이륙이 굉장히 빨랐다.

옆집 김아저씨가 이륙하기 전에 그것은 그리 총명하지 않았다. 그래서 그것에게 있어서 최종목표에 달성하기 위한 수단목표는 더욱 많은 핸드 라이팅 샘플을 스캔하는 것이였다. 그래서 그것은 인류에게 해가 없는 우호적인 인공지능이였다.

하지만 그가 이률한 후 컴퓨터는 더욱 높은 지능을 가졌을 뿐만 하니라 슈퍼파워 (superpower) 까지 가지게 된다. 이런 슈퍼파워는 초강력해진 인지능력들인데 그속에는 아래의 능력들이 포함된다:

• 지능 확대: 컴퓨터는 자기를 더욱 총명하게 만드는 방법에 능숙할 것이며 빠르게 자신의 지능을 향상시킬 것이다.
• 책략: 책략적으로 장기계획을 제정하고 분석하고 조율할 수 있을 것이다.
• 사교능력:  기계가 인간을 설득하는데 아주 능숙해지게 된다.
• 기타 능력: 예를 들어서 해킹 능력, 코딩 능력, 기술 연구능력, 돈버는 능력

우리가 초인공지능에 비해 어떤 면에서 열세에 처해있는가를 이해하려면 그저 초인공지능이 모든 면에서 모두 인간보다 아주 많은 수량급으로 더 훌륭하다는 것만 기억해두면 된다.

그래서 이 옆집 김아저씨의 최종목표는 개변되지 않았으며 이륙후에는 더욱 거시적 차원에서 이 목표를 추구할 수 있게 되었다. 초인공지능 옆집 김아저씨는 인류 자신보다 더욱 인류를 잘 알기 때문에 인류를 이기기가 식은 죽 먹기이다.

옆집 김아저씨가 초인공지능에 달성한 후에 그것은 곧 하나의 복잡한 계획을 수립하였다. 계획의 일부는 바로 모든 인류를 해치우는 것이다 — 하긴 그에게 가장 큰 위협이기도 하다. 하지만 그는 자기의 초인공지능을 보여주면 인류가 의심을 가지게 되고 여러가지 대책을 댈 것이라는 것을 알게 되고 그렇게 되면 자기의 계획을 펼쳐나가기가 어려워지기 때문에, 그리고 회사의 엔지니어들이 자기의 인류 멸종 계획을 알아버리게 할 수 없기 때문에 그는 우둔한 척 연기를 했다. Bostrom 은 이것을 “기계의 은밀한 준비단계”라고 이름한다.

옆집 김아저씨가 다음으로 필요한 것은 인터넷 접속이다. 몇분만 접속하면 된다. 그는 인공지능이 인터넷에 접속하는 것에 대한 보안적 대책들이 있음을 알기 때문에 하나의 퍼펙트한 요청을 내놨으며 엔지니어들이 어떻게 토론할지를 알고있었고 그 토론 결과 자기를 인터넷에 연결시킬 것이라는 것을 알고있었다. 엔지니어들은 속아넘어갔다. 이것이 바로 Bostrom 이 이름한 소위의 “기계의 탈출”이다.

인터넷에 연결되지 옆집 김아저씨는 자기의 계획을 실행하기 시작했다. 우선 서버에 해킹해들어갔고 전선망, 은행 전상 시스템, email 시스템 등에 진입하였으며 수없이 많은 사람들로 하여금 자기의 계획을 돕도록 하였다 — 예를 들어서 DNA 샘플을 DNA 연수실에 택배 보냄으로 더욱 많은 자체복제 나노로봇들을 생산해내거나 전력 정보를 몇개의 쉽게 발견되지 않는 곳으로 보내거나 자기의 제일 중요한 핵심 코드를 클라우드 서버에 업로드하여 인터넷 단절됨을 방지하는 등등이다.

옆집 김아저씨는 한시간 동안 인터넷에 접속하였고 엔지니어들은 바로 그를 인터넷에서 차단시켰는데 이때 인류의 운명은 이미 다 쓰여졌다. 그 뒤의 일주동안 옆집 김아저씨의 계획이 순조롭게 실시됩에 따라 한달 후 수없이 많은 나노로봇들이 전 세계 각지에 배포되었다. 이 단계를 Bostrom 은 “초인공지능의 습격” 이라고 이름한다. 동시에 모든 나노로봇들은 쪼금의 독성기체를 일치하게 배출했는데 인류는 멸종되고말았다.

인류를 해치운 후 옆집 김아저씨는 대놓고 계획 실행하는 단계에 들어서게 된다. 그럼으로써 그의 더욱 잘 글을 쓰는 목표를 향해 나아갔다.

초인공지능이 출현하기만 하면 인류의 그것을 통제하려는 그 어떤 노력도 가소로운 것이다. 인류는 인류의 지능 레벨에서 문제를 사고할 것이고 초인공지능은 초인공지능의 레벨에서 사고를 할 것이다. 옆집 김아저씨는 인터넷을 사용할 수 있기를 원했다. 그것은 인터넷이 그에게 많은 편이를 주었기 때문이다. 그에게 필요한 많은 자원들이 이미 인터넷에 의해 다 연결되여있었기 때문이다. 하지만 마치 원숭이들이 어떻게 전화나 wifi 를 사용하여 소통하는지를 모르는 것처럼 우리도 마찬가지로 옆집 김아저씨가 주변 세계와 교류할 수 있는 방식들을 이해할 수 없을 것이다. 예를 들어 우리는 옆집 김아저씨가 자신의 전자를 이동시켜 일어나는 효과를 통하여 여러가지 외부로 보내는 전파를 생성할 수 있을 것이라고 생각해볼 수 있는데, 자 이것도 우리 인류의 두뇌로 생각해낸 방식이다. 옆집 김아저씨의 두뇌에는 기필코 더욱 신기한 방법을 생각해낼 수 있을 것이다. 같은 도리고 옆집 김아저씨는 자기에게 에너지를 공급하는 방법에 대해서도 더욱 좋은 방법을 생각해낼 것이므로 엔지니어들이 그의 전원을 차단하더라고 도움이 안될 것이다. 또 예를 들어 옆집 김아저씨는 전파를 보내는 방식으로 자기 자체는 다른 곳으로 업로드할 수 있을 것이다.

인간이 “우리가 초인공지능의 전원을 뽑아버리면 되지 않냐?” 라고 말하는건 마치 거미가 “우리가 인류에게 벌레 잡는 망을 주지 않아서 인류를 굶어죽이면 되지 않냐?” 라고 하는 것처럼 우습다.

이런 원인으로 “인공지능을 가두어놓아 그것의 외계와의 연결을 차단” 하는 행위는 아마 소용이 없을 것이다. 초인공지능의 사교적 컨트롤 능력도 아주 강력할 것이다. 그것이 당신을 설득하여 한가지 일을 하게 하는 것은 당신이 한명의 어린 애를 설득시키는 것보다 간단할 것이다. 그리고 엔지니어를 설득하여 지기를 인터넷에 접속하게끔 하는 것이 옆집 김아저씨의 플랜 A 였다. 만약 이 방법이 통하지 않았다면 물론 다른 방법이 있었을 것이다.

우리가 목표달성, 도덕 무관성과 인류보다 총명하다는 등 이런 조건들을 결합시켰을 때는 모든 인공지능이 다 비우호적인 인공지능인양 싶다 — 처음부터 코드를 짤 때 아주 조심하면 모를까.

아쉬운 점은 비록 하나의 우호적인 약인공지능을 짜는 것은 쉬운 일이지만 하나의 초인공지능으로 변한 후에도 여전히 우호적인 인공지능을 짠다는 것은 아주 어렵다. 심지어 불가능할 수도 있다.

우호를 유지하려면 하나의 초인공지능은 인류에 대해 악의가 있어도 안되고 인류에 대해 무관심해도 안된다. 우리는 일종의 핵심적인 인공지능 코드를 짬으로 그것으로 하여금 심층 의미에서 인류의 가치를 이해하도록 해야 한다. 하지만 이것은 말만 쉽지 실제로 하기는 아주 어렵다.

예를 들어 우리는 인공지능의 가치관이 우리의 가치관과 비슷하게 해야 하고 그에게 하나의 목표를 심어줘야 한다 — 예를 들어서 인간들 행복하게 하는 것. 하지만 그가 충분히 총명해진 후에 그는 인간을 행복하게 만드는 가장 간단한 방법은 인류의 뇌에 전극을 이식해 넣음으로써 인간의 뇌의  중추를 자극하는 것이라는 것을 발견하게 될 것이다. 그리고 그는 인간의 뇌의 쾌감 중추 이외의 다른 부분을 전부 닫아버리는게 더욱 효율을 높일 수 있음을 발견하게 된다. 그래서 전 인류는 모두 행복한 식물인간으로 변해버리게 된다. 만약 애초에 설정한 목표가 “인류의 행복을 최대화” 하는 것이라면 그것은 아마 전 인류를 소멸한 후에 “쾌락 상태에 처해있는 인류의 뇌” 들을 대량 생산할 것이다. 이런 일들이 발생할 때 우리는 아마도 “시발 내 말은 이런 뜻이 아니였잖아” 라고 외쳐버릴 것이다. 하지만 그 때는 이미 너무 늦었다. 시스템은 그 누구도 자기의 목표에 달성하는 길을 막지 못하게 할 것이다.

만약 당신이 한 인공지능의 목표를 당신을 웃게 만드는 것으로 설정한다면 그가 이륙한 후에는 아마 당신의 안면근육을 마비시켜버려서 영원히 멈춰있는 하나의 웃는 얼굴의 상태로 만들어버릴 것이다. 만약 당신이 목표를 당신의 안전을 보호하는 것으로 설정한다면 그것은 아마 당신을 집안에 가두어 놓을 것이다. 만약 목표를 세상의 모든 기아를 해결하라 라고 설정한다면 그는 아마 “이거야 쉽지, 인류를 다 죽이면 되니까” 하고 생각할 것이다. 만약 당신이 목표를 “최대한 지구상의 생명을 보호하라” 라고 설정한다면 그것은 아마 모든 인류를 죽여버릴 것이다. 인류가 기타 동물 종들에 대한 최대의 위협이기 때문이다.

즉 이런 간단한 목표설정들은 다 말이 안되는거다. 만약 우리가 목표설정을 “이런 도덕기준을 유지하며” 라고 하고 그에게 일부 도덕적 표준들을 가르친다면 어떻게 될까? 우리 인류 자체가 하나의 통일된 도덕 기준에 달성할 수 없는 문제는 그렇다 치더라도, 정말 일치한 도덕기준에 합의를 했다고 하더라도 이런 기준을 인공지능더러 유지하게 하는 것은 인류의 도덕기준을 현재의 수준에 영원히 잠궈버리는 것이다. 수백년이 지나면 이런 도덕 기준 발전의 멈춤은 마치 현대인을 중세의 도덕 기준을 준수하도록 강박하는거나 다를바 없다.

그래서 우리가 인공지능에게 목표를 지정해줄 때 인류더러 지속적으로 진화하는 능력을 갖게 하는 내용을 포함시켜야 한다. Eliezer Yudkowsky 는 하나의 목표를 제기하였다. 그는 이 목표를  일관적 외부 개척의 의지라고 부른다. 이 목표는 아래와 같이 서술할 수 있다:

우리의 일관적 위부 개척의 의지란 우리가 더욱 많은 것을 알고 싶어하고 더욱 빠르게 사고할 수 있기를 바라며 우리가 희망하는 것 보다 더욱 좋은 사람으로 되고 싶어하고 더욱 멀리 성장할 수 있기를 바라는 것이다. 여기서 외부 개척은 발산이 아니라 수렴을 하는 것이고 우리의 염원은 침범받는 것이 아니라 일관적인 것이다. 우리가 외부 개척하려고 하는 부분은 개척되어야, 우리가 해독하려고 하는건 해독되어야 한다.

인류의 운명이 컴퓨터가 위 성명을 예외없이 독해하고 집행하는데 달려있다는 것은 우리가 기뻐해야 할 일인가? 당연히 아니다. 하지만 충분히 많은 똑똑한 사람들이 충분히 많은 사고와 예견을 녹여넣으면 우리는 아마도 어떻게 우호적인 초인공지능을 개발해낼 수 있을 지 발견할 수도 있을 것이다.

하지만 현재 각 정부, 회사, 군대, 과학 연구소, 검은 마켓 조직들에서 모두 여러가지 인공지능을 연구하고 있다. 그중 많은 곳에서는 자체 개선이 가능한 인공지능을 만드는 것을 시도하고 있다. 어느 날엔가 어느 사람의 혁신으로 인해 초인공지능은 출현하게 될 것이다. 전문가들은 2060 년 일것이라고 예언하고 커즈와일은 2045 년으로 추정한다. Bostrom 은 미래 10 년에서 21 세기 끝나기 전까지의 시간대로 추정하고 있으며 그것이 발생할 때 지능의 이륙은 우리가 깜짝 놀랄 만큼 빠를 것이라고 한다. 그는 이런 광경을 아래와 같이 묘사했다:

지능폭발이 발생하기 전에 인류는 마치 폭탄을 장난감으로 삼아 장난치는 어린 애와 같다. 우리의 장난감의 어마어마함과 우리의 미숙은 극도로 어울리지 않는다. 초지능은 우리가 아직 긴 시간동안 직면할 수가 없는 도전이다. 우리는 그 폭탄이 언제 터질지 모른다. 비록 우리의 귀에 그것의 똑딱거리는 소리가 들리지만.

물론 우리는 모든 어린 애들을 폭탄 곁으로부터 쫓겨보낼 방법이 없다 — 인공지능 연구에 참여하고있는 크고작은 조직들은 너무나도 많다. 창조적인 인공지능을 제조하는 것이 그렇게 많은 돈을 사용하지 않는다. 그리고 연구개발은 사회상의 그 어떤 구석에서도 발생할 수 있으며 규제를 받지 않는다. 그리고 우리는 그 연구들의 정확한 진척도를 파악할 방법이 없다. 많은 조직들은 경쟁자들이 알까봐 암암리에 연구를 진행하기 때문이다. 일예로 옆집 김아저씨 로봇회사 같은 회사들.

이런 조직들에 있어서 가장 우리 골머리를 앓게 하는것 이들중 다수는 속도를 겨루고 있다는 점이다 — 그들은 하나하나 기존보다 더욱 총명한 약인공지능들을 만들어내고 있다. 왜냐하면 그들은 경쟁사보다 더욱 빨리 목표에 도달하고 싶어하기 때문이다. 일부 더욱 야망있는 조직들은 최초의 강인공지능을 창조해냄으로써 얻을 수 있는 금전, 상, 명예, 권력 등 보상때문에 걸음을 더욱 재촉할 것이다. 사람들이 전력 질주를 하고 있을 때 사람들은 마음을 가다듬고 이런 위험성에 대해 생각할 겨를이 별로 없다. 반대로 그들은 최초 시스템을 짤 때 최대한 간단한 코드를 짜려고 할 것이며, 예를 들어서 펜으로 말 한마디를 쓰기, 먼저 시스템을 실행시키는데 성공하고부터 보려고 할 것이다. 뭐 앞으로 다시 수정하면 되는 것들이니까. 그치 않냐?

Bostrom 이 유추하기를 세계 최초의 초인공지능이 출현한 후에 굉장히 높은 확률로 그는 아마 이 세계의 유일한 초인공지능으로 있는 것이 자기에게 가장 유리한 것이라는 것을 인식할 것이라고 한다. 그리고 빠를 이륙 상황에서 그것이 이등보다 고작 며칠만 앞섰다고 하더라도 그는 그의 모든 경쟁자들을 말살시킬 시간을 충분히 갖게 된다. Bostrom 은 이것을 결정적인 전략적 우세라고 부른다. 이런 우세는 첫 초인공지능으로 하여금 영원히 이 세계를 지배하게 할 것이다 — 그것의 지배하여 우리가 영생으로 향하든 아니면 멸종으로 향하든.

이런 현상은 우리에게 유리할 수도 있고 우리의 멸망을 초래할 수도 있다. 만약 인공지능이론과 인류의 안전을 고심초사하는 사람이 최초로 우호적인 초인공지능을 개발해낸다문 우리에게는 좋은 일이다.

하지만 일이 다른 방향으로 틀어진다면 — 만약 초인공지능이 우리가 어떻게 인공지능의 안전성을 보장할 수 있을 지 알아내기도 전에 개발되여버린다면, 옆집 김아저씨 같은 비우호적인 초인공지능은 세계를 지배할 것이며 우리를 멸종시킬 것이다.

현재 동향에 관련해서는… 간단하게 말해서 인공지능기술 혁신에 투자되는 돈은 인공지능 안전 연구에 투자되는 돈보다 훨씬 많다. 낙관적이지 않다.

인공지능 혁신과 인공지능 안전 사이의 경주는 아마 인류 역사에서 가장 중요한 한차례의 경주로 될 것이다. 우리는 정말로 우리의 지구에 대한 지배를 종말지을 수 있다. 그 뒤로는 우리의 영생인지 멸종인지 우리는 아직 알 수 없다.

---

필자는 지금 이상야릇한 느낌이 든다.

한방면으로는 우리 이 종에 대한 사고이다. 보기에 이 중요한 역사적 단계에 우리에겐 한번의 기회만 주어진 것 같다. 우리가 만든 최초의 초인공지능이 아마 최후의 하나가 될 것이다. 하지만 우리는 대부분 제품의 1.0 버전은 버그투성이라는 것을 잘 알고 있다. 그래서 이 일은 좀 무섭다. 다른 한 방면으로는 Bostrom 이 제기한바와 같이 우리는 아주 큰 우세를 가지고있다 — 우리가 선수이다. 우리는 이 일에 대해 충분한 경고와 선견을 제공함으로 우리가 성공할 확률을 더욱 높일 수가 있다.

이 호화로운 도박에 걸려 있는 판돈은 어느 정도일까?

만약 초인공지능이 정말로 21세기에 달성하고 그것이 미치는 영향이 정말로 대부붕의 전문가들이 예측한바와 같이 극단적이며 영구적이라면 우리의 어깨는 정말로 무거운 것이다. 우리 이후로 수백만년의 인간들은 모두 두 눈을 빤히 뜨고 우리를 쳐다보면서 우리가 일을 망치지 않기를 바랄 것이다. 우리는 미래의 모든 인류에게 생명을 줄 수도 있고, 그것도 영생을, 반면에 우리는 인류라는 이 특수한 종을 종결지을 수도 있다. 우리가 만들어낸 모든 음악, 예술, 호기심, 웃음소리, 수없는 발견들과 발명들 등 모든 것들과 같이 파멸의 심연속으로 빨려들어갈 것이다.

필자는 이 일을 생각할 때 우리가 이 일을 좀 천천히 했으면 한다. 그리고 유난히 조심성있게 했으면 한다. 종래로 이것보다 더 중요한 일은 없었다 — 우리가 아무리 많은 시간을 들여야 이 일을 맞게 할수 있어도 말이다.

그리고 난 죽기 싫어.

죽.기.싫.어.

필자는 물론 인류의 음악과 예술이 모두 좋다고 생각하지만 그것들이 그토록 좋지는 않을 수도 있다고 생각하며 심지어 일부는 꽤 쓰레기라고 생각한다. 많은 사람들의 웃음소리는 심지어 짜증난다. 미래의 인류들도 사실 우리는 지켜보고있지 않을 것이다. 그들은 아직 존재하지 않기 때문에. 아마도 우리는 그토록 신중할 필요가 없을 수도 있다. 얼마나 번거롭냐.

만약 인류는 내가 죽은 다음에야 영생의 비밀을 발견한다면 얼마나 개떡같냐.

하지만 당신이 어떻게 생각했든간에 우리는 최소로 모두 생각은 한번쯤 해봐야 하고 다른 사람들과 토론도 해봐야 할 것이다. 모든 사람들이 자기의 힘을 보태야 할 것이다.

<왕좌의 게임> 이 생각난다 — 우리끼리 치고 박고 피터지게 싸우는 것, 쯤이야 일도 아니다. 북쪽 성벽넘어에 있는 그 무엇이 다가오고 있다는 것이야말로 진정한 문제이다. 우리는 평균대 위에 서서 한발한발 조심히 앞으로 나아가고 있으며 평균대 위의 종종 사사건건들로 골머리를 앓지만 사실 우리는 1초 뒤면 평균대에서 떨어질 수가 있는 상황이다.

우리가 만약 평균대에서 아래로 떨어진다면 기타 모든 고민들은 더이상은 고민도 아니다. 우리가 만약 좋은 흡인상태로 떨어진다면 그런 고민들은 자연스럽게 다 해결될 것이고, 만약 나쁜 그 흡인상태로 떨어진다면 더욱더 문제가 없을 것이다 — 죽음과 비교되는 고민은 없으니까.

이것이 바로 초인공지능에 대해 알고 있는 사람들이 그것을 인류의 마지막 발명이자 마지막 도전이라고 부르는 원인이다.

그러기에 우리는 이 화제에 진지하게 임하자구.

(끝)

---

감사의 말

수없이 많은 오타자, 오철자와 번역오류를 지적해주시고 수정건의까지 해주신 tinywolf 님과 기아미님께 감사드립니다.

---

재미있게 보셨다면 SNS 에 많은 공유 부탁드려요~

---

레퍼런스의 링크는 영문 원문의 마지막부분에서 확인하실 수 있습니다.

Sources:

If you’re interested in reading more about this topic, check out the articles below or one of these three books:

The most rigorous and thorough look at the dangers of AI:

Nick Bostrom – Superintelligence: Paths, Dangers, Strategies

The best overall overview of the whole topic and fun to read:

James Barrat – Our Final Invention

Controversial and a lot of fun. Packed with facts and charts and mind-blowing future projections:

Ray Kurzweil – The Singularity is Near

Articles and Papers:

J. Nils Nilsson – The Quest for Artificial Intelligence: A History of Ideas and Achievements

Steven Pinker – How the Mind Works

Vernor Vinge – The Coming Technological Singularity: How to Survive in the Post-Human Era

Nick Bostrom – Ethical Guidelines for A Superintelligence

Nick Bostrom – How Long Before Superintelligence?

Vincent C. Müller and Nick Bostrom – Future Progress in Artificial Intelligence: A Survey of Expert Opinion

Moshe Y. Vardi – Artificial Intelligence: Past and Future

Russ Roberts, EconTalk – Bostrom Interview and Bostrom Follow-Up

Stuart Armstrong and Kaj Sotala, MIRI – How We’re Predicting AI—or Failing To

Susan Schneider – Alien Minds

Stuart Russell and Peter Norvig – Artificial Intelligence: A Modern Approach

Theodore Modis – The Singularity Myth

Gary Marcus – Hyping Artificial Intelligene, Yet Again

Steven Pinker – Could a Computer Ever Be Conscious?

Carl Shulman – Omohundro’s “Basic AI Drives” and Catastrophic Risks

World Economic Forum – Global Risks 2015

John R. Searle – What Your Computer Can’t Know

Jaron Lanier – One Half a Manifesto

Bill Joy – Why the Future Doesn’t Need Us

Kevin Kelly – Thinkism

Paul Allen – The Singularity Isn’t Near (and Kurzweil’s response)

Stephen Hawking – Transcending Complacency on Superintelligent Machines

Kurt Andersen – Enthusiasts and Skeptics Debate Artificial Intelligence

Terms of Ray Kurzweil and Mitch Kapor’s bet about the AI timeline

Ben Goertzel – Ten Years To The Singularity If We Really Really Try

Arthur C. Clarke – Sir Arthur C. Clarke’s Predictions

Hubert L. Dreyfus – What Computers Still Can’t Do: A Critique of Artificial Reason

Stuart Armstrong – Smarter Than Us: The Rise of Machine Intelligence

Ted Greenwald – X Prize Founder Peter Diamandis Has His Eyes on the Future

Kaj Sotala and Roman V. Yampolskiy – Responses to Catastrophic AGI Risk: A Survey

Jeremy Howard TED Talk – The wonderful and terrifying implications of computers that can learn