왜 최근에 빌 게이츠, 엘론 머스크, 스티븐 호킹 등 많은 유명인들이 인공지능을 경계하라고 호소하는가?

저자: Tim Urban

번역: coolspeed

Translated in 27 December, 2015

주: 무단 전재를 허용하지 않습니다. 허락을 받아야 전재를 할 수 있습니다. (링크로 공유하는 것은 환영합니다. 읽고 재미 있으셨다면 SNS에 많은 공유 부탁드립니다.)


인공지능은 인류의 영생이나 멸종을 초래할 수 있는데 이 모든 것은 모두 우리가 살아있을 때 일어날 수 있다고 합니다. 번역하는데 굉장히 오래 걸렸습니다. 이렇게 한 원인은 제가 이 글이 매우 가치가 있다고 생각했었기 때문입니다. 독자들도 인내심있게 다 읽기 바랍니다. 읽고 나면 당신의 세계관이 모두 바뀔지도 모릅니다.


내용 출처: waitbutwhy.com

원문링크:

Part I: The AI Revolution: The Road to Superintelligence

Part II: The AI Revolution: Our Immortality or Extinction


우리는 지금 격변의 변두리에 서있다. 이런 격변은 인류의 출현과 맞먹을 만큼 의미가 중대하다. — Vernor Vinge

당신이 여기 서있다면 무슨 느낌 이겠는가?

00

짜릿한 느낌이겠지? 하지만 기억해둬, 당신이 정말 시간 차트위에 서 있을 때 그래프의 오른편을 볼 수 없을 것이다. 왜냐하면 당신은 미래를 볼 수 없으니까. 즉 당신의 진정한 느낌은 아마 이럴 것이다:

01

평범하고 시시하다.


요원한 미래는 바로 코앞에 있다.

타임머신 타고 1750 년의 지구로 돌아간다고 생각해봐라. 그 시대에는 전기도 없도 원거리 통신이란 외치는 것과 봉화를 태우는 것 밖에 없고, 교통수단이라 할만한 것은 짐승의 힘을 이용하여 끄는 것 뿐이었다. 당신이 그 시대에서 철수란 사람을 초대하여 2015 년으로 놀러 와서 “미래”구경 좀 시킨다고 가정하자. 우리는 아마도 1750 년에서 온 철수의 멘탈충격을 상상하기 어려울 것이다 — 금속뚜껑들이 넓은 도로에서 질주하고 태평양 건너편의 사람과 채팅을 하고, 수천킬로 밖에서 진행되고있는 체육경기를 감상하며 반세기 전에 열린 콘서트를 감상할 수 있으며 주머니에서 검은색 장방형 모양의 물건을 꺼내서 눈앞에 벌어지고 있는 일들을 기록하고, 지도를 생성하여 하나의 파란 점이 당신이 있는 위치를 알려주고, 지구 반대편의 사람의 얼굴을 바라보며 채팅을 하고, … 기타등등 모든 과학기술의 흑마법들. 그런데 이 모든 것들이 철수에게 인터넷이 무엇이고 국제 우주 정거장(ISS)이 무엇이며 대형 강입자 충돌기가 무엇이며 핵무기가 무엇이며 상대성이론이 무엇인지를 설명해주기 전에 말이다.

이때 철수는 무슨 느낌일까? 경악, 쇼크? 이런 단어들은 터무니없이 부족하다. 그는 아마도 놀라 쓰러질 것이다.

하지만 철수가 1750 년으로 돌아가서 놀라 쓰러지는게 부끄러운 일이어서 다른 사람도 당해봐라는 생각이 들어 다른 사람을 놀라게 하고 싶다고 하자. 이러면 무슨 일이 일어날 것인가? 하여 철수는 250 년 전의 1500 년으로 돌아가서 1500 년에 사는 바둑이를 초대해서 1750 년 투어를 시켜준다. 바둑이는 아마 250 년 후의 많은 사물들에 깜놀하겠지만 놀라서 쓰러지지는 않을 것이다. 같은 250 년이란 시간인데 1750 년과 2015 년의 차이는 1500 년과 1750 년의 차이보다 훨씬 훨씬 크다. 1500 년의 바둑이는 많은 물리학 지식을 배울 수 있고 유럽 제국주의 투어에 신기해할 수 있겠고 심지어 세계 지도에 대한 인지도 크게 바뀌겠지만 1750 년의 교통, 통신 등을 보고 놀라서 쓰러지지는 않을 것이다.

즉 1750 년의 철수에게 있어서 다른 사람을 놀라 쓰러지게 할려면 더욱 먼 고대로 돌아가야 한다 — 예를 들어서 기원전 1,2000 년, 제1차 농업혁명 전에. 그 시대에는 아직 도시도 없고 문명도 없었다. 수렵채집 시대의 인류이고 당시 많은 종들 중의 한 종일 뿐이였다. 그 시대에 사는 영희는 1750 년의 방대한 인류제국을 보고 바다에 떠있는 거대한 함선을 보고 “실내” 에 거주하는 것을 보고 수많은 소장품들을 보고 신기한 지식들과 발견들을 보면 — 영희는 아마도 놀라서 쓰러질 것이다.

영희도 놀라 쓰러진 후 같은 짓을 하고 싶다면은? 그는 아마도 기원전 24,000 년으로 돌아가서 그 시대의 짱구에게 기원전 1,2000 년의 삶의 모습을 구경시켜줄 것이다. 그러면 짱구는 이건 밥먹고 할일 없는 짓 아닌가는 생각을 하게 될 것이다 — “이건 내가 사는 시대랑 거기서 거기 아니냐, ㅇㅇ”. 영희가 다른 사람을 놀라서 쓰러지게 할려면 십만년 전이나 더 멀게 가야 할 것이다. 거기로 가서 인류의 불과 언어에 대한 장악으로 상대방을 놀라서 쓰러지게 해야 할 것이다.

즉 어떤 사람이 미래로 가서 “놀라 쓰러지게” 할려면 하나의 “놀라 쓰러지는 단위” (Die Progress Unit, DPU) 가 필요하다. 이하 “놀쓰단”이라고 약칭하겠다. “놀쓰단”의 시간 간격은 일치하지 않다. 수렵채집 시대에 하나의 놀쓰단은 십만년을 넘는다. 하지만 산업혁명이후 하나의 놀쓰단은 200 여년이면 충분하다.

미래학자 레이 커즈와일 (Ray Kurzweil) 은 인류의 이런 가속발전을 수확 가속의 법칙 (Law of Accelerating Returns) 이라고 부른다. 이런 법칙이 발생하게 된데는 보다 발달된 사회는 지속 발전의 능력이 더욱 강하기에 더욱 빠르게 발전한다는 것이다 — 발전능력이 강하다는 것 자체가 사실 더욱 “발달되었다” 의 한가지 지표요구중 하나이기도 하다. 19 세기 사람들은 15 세기 사람들보다 아는게 훨씬 훨씬 많으니까 19 세기 사람들은 15 세기 사람들보다 발전이 빠를 수 밖에 없다.

보다 짧은 시간 단위를 놓고 보더라도 이 법칙은 여전히 성립된다. 유명한 영화 <빽 투 더 퓨쳐> (Back To The Future, 1985) 에서 1985 년에 사는 주인공이 1955 년으로 돌아갔는데 그는 TV 가 출현했을 때 사람들의 신기함, 탄산음료의 싼 가격, 전기기타를 좋아하는 사람이 적은 사실과 속어(俗語, slang)들의 차이들로 놀람을 금치 못한다.

하지만 만약 이 영화가 2015 년에 일어났다면 30 년 전으로 돌아간다면 주인공이 느낄 놀람은 이것보다 훨씬 클 것이다. 2000 년 전후에 태어난 사람이 PC 도 없고 인터넷도 없고 휴대폰도 없는 1985 년으로 돌아간다면 1985 년에서 1955 년으로 돌아간 주인공보다 더욱 많은 차이에 더욱 많이 놀랄 것이다.

이것 역시 수확 가속의 법칙 때문이다. 1985 년 – 2015 년의 평균 발전 속도는 1955 년 – 1985 년의 평균 발전 속도보다 빨랐다. 왜냐하면 1985 년의 세계는 1955 년보다 더욱 선진적이였고 출발점이 더 높았기 때문에 지난 30 년의 발전은 30년 전의 지난 30년보다 발전이 빨랐던 것이다.

진보가 지속적으로 빨라지고 있다면 우리의 미래가 아주 기대해볼만 한 것 아니겠는가?

미래학자 커즈와일은 지난 20 세기의 100 년 발전은 2000 년 시각의 발전속도로는 20년이면 다 발전해버릴 수 있을 것이라고 한다 — 2000 년의 발전 속도는 20 세기 평균 발전 속도의 5 배이다. 그는 또 2000 년부터 시작하여 14 년이면 지난 20 세기 백년동안의 발전한 만큼을 달성할 수 있고 2014 년 후에는 7년이면 (2021년)  20 세기 100 년 발전량을 달성할 수 있다고 한다. 수십년 후이면 우리는 해마다 “20세기 전체 발전”만큼의 몇배를 발전할 수 있다고 한다. 계속 뒤로는 아마 몇개월이면 한번 달성할 수 있을지 모른다. 수확 가속의 법칙에 의하여 커즈와일 은 인류의 21 세기의 발전은 20 세기의 1000 배가 될 것이라고 한다.

만약 커즈와일 등 학자들의 생각이 맞다면 2030 년의 세계는 아마도 우리를 놀라 쓰러지게 할 것이다 — 다음 “놀쓰단”은 아마 십여년정도밖에 안될 것이다. 그럴뿐만 아니라 2050 년의 세계는 우리가 상상할 수 없을 만큼 달라질 것이다.

02

당신은 아마도 2050 년의 세계가 상상도 못할 만큼 달라질 수 있다는 말이 아주 우스울지 모른다. 하지만 이건 SF 가 아니라 당신이나 필자보다 훨씬 똑똑한 과학자들이 믿고 있는 바이다. 그리고 역사적으로 봤을 때와 논리적으로 봤을 때 예상 가능한 부분이다.

그렇다면 당신은 왜 “2050 년의 세계는 우리가 상상할 수 없을 만큼 달라질 것이다” 라는 말이 이렇게 우습게 느껴지는 것일까? 여기에는 세가지 원인이 당신의 미래에 대한 예측을 빗나가게 하고 있는 것이다:

1.  우리의 역사에 대한 사고방식은 선형적이다.

우리가 앞으로의 35 년의 변화를 사고할 때 우리가 참조하는것은 과거 35 년동안 발생한 일이다. 마치 우리가 21 세기에 일어날 변화들을 예상할 때 20 세기의 변화를 참조하는 것처럼. 마치 1750 년의 철수가 1500 년의 바둑이가 1750 년으로 구경오면 놀라 쓰러질 것이라고 착각하는 것과 마찬가지이다. 선형적인 사고는 본능적인 것이다. 하지만 우리가 미래를 생각할 때는 지수적으로 (기하급수적으로) 생각해야 한다. 총명한 사람은 과거 35 년의 발전으로 앞으로의 35년을 예측하지 않을 것이다. 반면에 현재의 발전 속도를 기반으로 예측할 것인데 이것이 보다 정확할 것이 뻔하다. 물론 이렇게 예측하는 것도 정확하지가 않다. 보다 정확할려면 당신은 발전 속도가 점점 빨라진다는 점까지 고려해야 한다.

03

2. 최근의 역사는 사람을 잘못 인도하기 쉽다.

우선 아무리 가파른 지수함수 그래프라도 당신이 충분히 짧은 구간을 절취한다면 아마 보기에 선형적으로 보일 것이다. 마치 원의 아주 작은 구간을 절취한다면 직선처럼 보이는 것과 같은 도리이다. 뿐만 아니라 지수적 발전은 매끈하지가 않으며 늘 S 형 그래프를 보이기 때문이다.

04

S 형 그래프는 새로운 패러다임이 세계에 퍼질 때 일어난다. S 형 그래프는 세 부분으로 나뉘다.

  • 느린 성장 (지수적 성장의 초기)
  • 빠른 성장 (지수적 성장 폭발시기)
  • 새로운 패러다임의 성숙과 정착으로 인한 평온 발전기

당신이 최근 역사만 회고한다면 아마도 S 형 그래프의 어느 구간만 보일 것이다. 하지만 이 부분은 우리의 발전이 얼마나 빠른가를 보여줄 수 없기 마련이다. 1995 – 2007 년 사이는 인터넷이 폭발적 성장을 한 시기이다. 마이크로소프트, 구글, 페이스북이 대중의 시야에 들어왔고 수반된 것은 SNS, 휴대폰의 출현과 보급, 스마트폰의 출현과 보급이였는데 이 구간이 바로 S 형 그래프의 빠른 성상시기이다. 2008 – 2015 년 사이의 발전은 그다지 빠르지 않았다. 적어도 기술영역에서는 그러했다. 만약 지난 몇년동안의 발전속도를 두고 현재의 발전 속도를 가늠한다면 매우 그릇될 수 있다. 다음의 폭발적 성장시기가 싹을 틔우고 있을 수도 있기 때문이다.

3. 개인 경험의 틀에서 벗어나지 못하고 우리는 미래에 대해 틀에 박힌 예측을 하기 마련이다.

우리는 자신의 경험을 토대로 세계관을 형성하는데 이러한 경험은 발전의 속도를 우리의 머리속에 낙인시켜놓았다 — “발전은 원래 이런 속도인거야.” 뿐만 아니라 우리는 자신의 상상력에 제한을 받는다. 상상력은 과거의 경험에 의하여 미래에 대한 예측을 하기 때문이다 — 하지만 우리가 알고 있는 것들은 미래를 예측하는데 도움이 되기엔 역부족이다. 우리가 우리의 경험에 위배되는 미래 예측을 들었을 때 우리는 이 예측이 빗나갓다는 느낌이 들 것이다. 만약 내가 당신에게 150살, 250 살 심지어 장생불로할 수 있다고 하면 내가 뻥까고 있을 것이라고 하겠지 — “자고로 모든 사람은 죽게 되여있다. ” 물론이다. 하지만 비행기가 발명되기 전에는 비행기를 타본 사람도 없지 않았나?

아래 내용들을 읽으면서 당신은 아마도 맘속으로 “뻥까지 마라”고 생각할 수도 있을 것이다. 그리고 이 내용들이 정말 틀릴지도 모른다. 하지만 우리가 정말 역사의 패턴으로부터 논리적인 판단을 하게 된다면 결론은 다가올 수십년내에 우리가 예상했던것 보다 훨씬 훨씬 훨씬 훨씬 많은 변화가 일어날 것이라는 것이다. 또한 같은 논리로 도달할 수 있는 내용은 인간이라는 이 지구상에서 가장 발달한 종이 점점 더 빠르게 나아간다면, 어느순간, 지금까지의 인류의 삶을 송두리채 바꾸고“인류란 무엇인가”에 대한 인식조차 완전히 달라지게 될 것이다. 마치 자연의 진화를 통해 지능을 향해 한발작 한발작 발전하다가 드디어 중요한 발을 내디뎌 인간이 탄생한 것처럼 말이다. 그리고 당신이 최근의 과학과 기술의 발전 동향을 살피는데 조금만 시간을 투자한다면, 우리가 알고 있는 삶이 앞으로 다가올 도약을 막을 수 없다는 수많은 징조를 보게 될 것이다.


초지능으로 가는 길

인공지능이란 무엇인가?

만약 당신이 지금까지 인공지능(AI) 를 SF (과학환상) 으로 여겨왔는데 최근에는 많은 멀쩡한 사람들이 이 문제를 진지하게 토론하는걸 보았다면 아마 당황스러웠을 것이다. 이러한 당황스러움은 아래와 같은 원인에서 비롯된다.

1. 우리는 늘 인공지능을 영화에 연상시킨다.

<스타 워즈>, <터미네이터>, <2001 스페이스 오디세이> (1968) 등. 영화는 허구였고 영화 캐릭터들도 허구였다. 그래서 우리는 늘 인공지능에서 현실감을 느끼지 못했다.

2. 인공지능은 광범위한 문제이다.

휴대폰에 있는 계산기로부터 자동주행 차량 뿐 아니라, 미래에 세계를 크게 바꿔놓을 중대한 변혁까지. 인공지능은 수없이 많은 것들에서 언급되기에 혼란스럽다.

3. 우리 일상에서는 이미 매일 인공지능을 사용하고 있다.

우리는 그저 인식하지 못했을 뿐이다. John McCarthy 가 1956 년에 최초로 인공지능 (Artificial Intelligence) 란 단어를 사용했다. 그는 늘 이런 불평을 했었다. “어떤 것이 인공지능으로 구현되기만 하면 사람들은 그누구도 더이상 그것을 인공지능이라고 부르지 않았다.”

이런 효과 때문에 사람들은 인공지능이란 말을 듣기만 하면 우리 주변에 이미 존재하는 현실이 아니라 항상 미래의 어떤 신비한 존재로만 생각해왔다. 동시에 이런 효과는 우리들로 하여금 인공지능은 아직 실현되지 못한 예전부터 유행해왔던 개념이라고만 생각하게 한다. 커즈와일이 말하기를 사람들은 늘 인공지능이  80 년대때 이미 버림을 받았다고 말하는데 이는 마치 “인터넷은 21세기 닷컴버블 파멸때 같이 죽어버렸다” 고 말하는 것과 마찬가지로 황당하다.

그래서, 우리는 처음부터 다시 살펴보기로 하자.

우선, 인공지능이란 소리만 나오면 로봇을 떠올리지 말라. 로봇은 인공지능의 용기일 뿐이다. 로봇은 가끔은 사람모양이고 가끔은 아니다. 하지만 인공지능은 그저 로봇안에 있는 컴퓨터일 뿐이다. 인공지능이 두뇌라면 로봇은 신체인 셈이다 — 그리고 이 신체는 꼭 필요한게 아니다. 예를 들어 Siri 뒷단에 있는 소프트웨어와 데이터가 인공지능이지 Siri 가 말을 할 때의 소리는 그저 이 인공지능의 인격화 구현일 뿐이다. 하지만 Siri 자체는 로봇이라는 구성부분이 없는 것이다.

둘째로, 당신은 “특이점” 또는 “기술적 특이점” 이란 개념을 들어봤을 수도 있다. 이 용어는 수학에서 점근선과 유사한 개념을 나타내는데 이런 경우에 일반 규칙들은 적용되지 않는다. 이 용어는 물리학에서도 비슷하게 사용되는데 무한으로 작은 높은 밀도의 블랙홀을 나타내는데 마찬가지로 일반적인 규칙은 더이상 적용되지 않는다. 커즈와일은 특이점을 아래처럼 정의한다: 수확 가속의 법칙이 극에 달해 기술 발전이 무한대의 속도로 발전하며 특이점 이후로 우리는 완전 다른 세상에 살게 될 것이다. 하지만 최근 인공지능에 대해 생각하는 사람들은 더이상 “특이점”이란 용어를 잘 안쓴다. 그리고 이 용어는 많은 사람을 헷갈릴 수 있게 할 수 있기 때문에 이 글에서는 최대한 사용을 자제하겠다.

마지막으로, 인공지능은 광범위한 개념이기 때문에 여러가지로 나눌 수 있다. 여기서는 인공지능의 능력에 따라 세가지로 나누겠다:

  1. 약인공지능 (ANI, Artificial Narrow Intelligence): 약인공지능이란 어느 특정 방면에서만 잘하는 인공지능을 말한다. 예를 들어 세계 체스 챔피언을 이기는 인공지능. 하지만 그것은 그냥 체스만 잘할 뿐이다. 만약 당신이 그 인공지능한테 어떻게 해야 하드디스크에 데이터를 더 잘 보존할 수 있을 것인가를 붇는다면 걔는 어떻게 대답해야 할지 모를 것이다.
  2. 강인공지능 (AGI, Artificial General Intelligence): 인간급의 인공지능. 강인공지능은 여러 방면에서 모두 인간과 겨룰 수 있는 인공지능이다. 인간이 할 수 있는 지능적인 일은 그들도 모두 할 수 있다. 강인공지능을 만들기는 약인공지능을 만들기보다 훨씬 어렵다. 그래서 우리는 아직도 만들어내지 못하고있다. Linda Gottfredson 교수는 지능을 아래와 같이 정의한다: 일종의 광범위한 심리적 능력, 사고할 수 있고 계획할 수 있으며 문제를 해결할 수 있고 추상적인 생각을 할 수 있으며 복잡한 이념을 이해하고 빠르게 학습할 수 있으며 경험속에서 학습을 할 수 있는 능력이다. 강인공지능은 이런 활동들을 함에 있어서 사람과 동등하게 능숙해야 한다.
  3. 초인공지능 (ASI, Artificial Super Intelligence): 옥스포드 철학가, 유명한 인공지능 사상가인 Nick Bostrom 은 초지능을 아래와 같이 정의한다: 과학기술 창조, 일반적인 지식, 사회적 능력 등을 포함한 거의 모든 영역에서 모두 제일 총명한 인류의 두뇌보다 훨씬 총명한 지능이다. 초인공지능은 여러 방면에서 모두 인류보다 조금 강할 수도 있고 모든 방면에서 인류보다 만억배 강할 수도 있다. 초인공지능이란 개념이 바로 왜 인공지능이란 화제가 이처럼 핫해질 수 있는가 하는 원인이며 영생불로와 멸종이란 두 단어가 이 글에서 여러번 등장하는 원인이다.

현재 인류는 이미 약인공지능을 장악했다. 사실 약인공지능은 없는 곳이 없다. 인공지능 혁명은 약인공지능으로부터 시작해 강인공지능을 거쳐 최종 초인공지능에 도달하는 여정이다. 이 여정에서 인류는 살아남을 수도 있고 그렇지 않을 수도 있다. 어쨌든 세계는 완전히 달라질 것이라는 것이다.

자, 이 영역의 사상가들이 이 여정에 대해 어떻게 생각하고있는가를 봐보도록 하자. 그리고 왜 인공지능혁명이 당신이 생각한 것보다 훨씬 빠르게 들이닥칠 수 있는지 봐보도록 하자.

우리 현재의 위치 — 약인공지능으로 둘러싸인 세상

약인공지능이란 특정 영역에서 사람과 비슷하거나 사람의 지능이나 효율을 초과하는 기계 지능을 말한다. 흔한 예들로:

  1. 자동차상에는 많은 약인공지능들이 있다. 잠금 방지 브레이크 시스템으로부터 기름의 주입 파라미터를 컨트롤하는 컴퓨터까지. 구글이 지금 테스트하고있는 무인 자동주행 자동차를 예로 들어도 많은 약인공지능들이 포함되여있다. 이런 약인공지능들은 주변 환경을 감지하고 그에 대해 반응할 수 있다.
  2. 당신의 휴대폰에도 많은 약인공지능이 있다. 당신이 지도를 꺼내 내비게이팅 할 때나 음악어플의 추천을 받아들일 때나 내일의 날씨를 찾아볼 때나 Siri 와 대화할 때나 기타 많은 어플들에는 사실 다 약인공지능이 존재한다.
  3. 스팸 메일 필터가 사실 전형적인 약인공지능이다 — 그것은 처음부터 여러가지 스팸 메일을 식별할 수 있는 지능을 가졌으며 지속적으로 학습할 수 있고 당신의 사용 습관에 의해 경험을 얻을 수 있다. 스마트 온도 컨트롤 장치도 마찬가지이다. 당신의 일상 습관에 맞추어 스마트하게 조절할 수 있다.
  4. 당신이 웹서핑을 할 때 나타나는 여러가지 인터넷 쇼핑몰 상품의 추천들, 그리고 SNS 의 친구추천, 이 모든 것들이 모두 약인공지능으로 구현된 것이다. 약인공지능은 인터넷에 연결하여 당신의 정보를 이용하여 추천을 한다. 웹서핑할 때 “이 물건을 산 고객들은 저 상품들도 샀어요” 하고 추천하는 것, 사실은 수백만 유저의 행위를 수집하여 생긴 데이터들로 당신에게 물건을 팔아먹는 약인공지능인 것이다.
  5. 구글 번역기도 사실 전형적인 약인공지능이다 — 얘는 이 영역은 꽤 잘한다. 음성인식도 한가지이다. 많은 어플들에서는 이 두가지 지능의 조합을 통하여 당신이 스마트폰에 대고 한국말을 하면 스마트폰이 직접 영어로 번역해준다.
  6. 비행기가 착륙할 때 비행기가 어느 게이트에 가서 독킹을 해야 하는가를 인간이 결정하는게 아니다. 마치 당신이 인터넷이서 물건을 살 때 영수증이 인간이 타이핑하는 것이 아닌 것처럼.
  7. 다이아몬드 게임, 체스, 틱택토, 백개먼, 오델로 등 게임의 세계 챔피언은 모두 약인공지능이다.
  8. 구글 검색은 거대한 약인공지능이다. 그 뒤에는 매우 복잡한 정렬과 내용 검색 알고리즘이 있다. SNS 의 핫이슈 기능도 마찬가지이다.
  9. 위에 이 모든 것들은 모두 소비자 제품의 예들이였다. 군사, 제조업, 금융업 (극초단타매매 (high frequency trading) 은 미국 주식 거래의 절반을 차지한다) 등 영역에서는 모두 여러가지 복잡한 약인공지능이 활용되고있다. 전용 시스템도 있다. 예를 들어 의사를 도와 병을 진단하는 시스템도 있다. 그리고 IBM 의 그 유명한 왓슨(Watson), 저장된 대량 데이터를 토대로 사회자의 질문을 이해하고 퀴즈 프로그램에서 제일 강한 인간 선수를 이길 수 있다.

현재의 약인공지능은 아마 그렇게 무섭지 않을 수도 있다. 최악상 상황이라 해봤자 고작해야 코드에 버그가 있어서 프로그램이 고장나서 단독적인 재난이 발생하는 것이다. 이를테면 정전, 원자력발전소 고장, 금융시장 붕괴 등이다.

비록 현재의 약인공지능은 우리의 생존을 위협할 능력이 없지만 우리는 여전히 점점 경계한 눈길로 점점 더 커지고 더욱 복잡해지고있는 약인공지능의 생태계를 바라보고있다. 약인공지능의 하나하나의 작은 혁신들은 모두 강인공지능으로 통하는 길에 조용히 벽돌을 보태고 있는 셈이다. Aaron Saenz 의 관점에 의하면 현재의 약인공지능들은 지구 초기의 진흙속에 있는 아미노산들과 마찬가지다 — 기척이 없던 물질들이 갑자기 생명으로 조합된다.

약인공지능에서 강인공지능으로 통하는 길

왜 이 길이 그토록 험난한가

오직 인간 수준의 지능을 가진 컴퓨터를 만드는게 얼마나 어려운가를 이해해야 우리 인간의 지능이 얼마나 불가사의한지를 느낄 수 있을 것이다. 하늘을 찌르는 빌딩을 짓고 인간을 우주에 보내고 우주 빅뱅의 디테일을 이해하는 것 — 이 모든 것은 인간의 뇌를 이해하고 유사한 것을 만드는 것보다 훨씬 쉽다. 현재까지 인간의 뇌는 우리가 알고있는 우주안에서 가장 복잡한 사물이다.

그리고 인공지능을 만드는 어려움은 당신이 직감적으로 생각할 수 있는 그런 것들이 아니다.

  • 순간에 열자리 수를 곱할 수 있는 컴퓨터를 만들기 — 매우 쉽다.
  • 한 동물이 고양이인지 개인지 식별할 수 있는 컴퓨터를 만들기 — 극도로 어렵다.
  • 세계 체스 챔피언을 이길 수 있는 컴퓨터를 만들기 — 성공한지 오래다.
  • 6살 아이가 읽는 그림책속의 문자를 읽을 수 있고 그 뜻을 이해할 수 있는 컴퓨터를 만들기 — 구글이 수십억달러를 퍼부어서 연구하고있지만 아직 성공하지 못했다.
  • 일부 우리가 어렵게 여기는 일들 — 미적분, 금융시장 책략, 번역 등등은 컴퓨터한테는 매우 쉽다.
  • 일부 우리가 쉽다고 느끼는 일들 — 시각, 움직임, 직감 — 컴퓨터한테는 개어렵다.

컴퓨터 과학자 Donald Knuth 의 말로 “인공지능은 이미 모든 생각이 필요한 영역에서 인간을 초월했다. 하지만 인간이나 기타 동물이 생각을 하지 않아도 완성할 수 있는 일들에서는 아직 멀었다.”

독자들은 아마 느꼈을 것이다. 그런 우리가 쉽다고 느끼는 일들은 사실 매우 복잡한 것이다. 그것이 쉽게 보이는 것은 동물진화과정에서 수억년동안 최적화되었기 때문이다. 당신이 어떤 물건을 쥐려고 할 때 당신의 어깨, 팔꿈치, 손목안의 근육, 힘줄과 뼈는 순식간에 일종의 아주 복잡한 물리동작을 완성하는데 이러는 동시에 눈의 동작까지 뒷바쳐줌으로 당신의 손이 직선운동을 할 수 있게 해야 한다. 그런 행동이 당신에게 쉽게 느껴지는 이유는 이런 “소프트웨어”들이 이미 아주 퍼펙트하기 때문이다. 같은 이유로 컴퓨터가 웹사이트의 비틀어진 입력문구들을 인식하지 못하는 것은 컴퓨터가 너무 우둔해서가 아니라 반대로 입력문구를 구별하는 일이 굉장히 쩌는 일이기 때문이다.

반면에 큰 수를 곱하기, 체스하기 등등은 우리가 진화과정 중 겪어보지 못한 생명체의 입장에선 새로운 일인 셈이다. 그래서 컴퓨터는 별로 힘들이지 않고도 우릴 박살낼 수 있다. 상상해봐라, 당신이 프로그램을 짠다면 큰 숫자의 곱하기를 해결하는 프로그램을 짜는게 어렵겠는가 아니면 천천만만가지의 폰트와 서체로 씌여진 영문 알파벳을 식별하는 프로그램을 짜는게 더 어렵겠는가?

예를 들어서 아래의 그림을 보았을 때 당신과 컴퓨터는 모두 이 그림이 두가지 색의 작은 직사각형으로 이루어진 하나의 큰 직사각형이라는 것을 인식해낼 것이다.

05

그러면 당신과 컴퓨터는 한판 비긴다. 계속하여 그림상의 까만 부분을 없애버려보자.

06

당신은 어렵지 않게 그림중의 투명이거나 불투명인 기둥이나 3D 도형들을 설명할 수 있을 것이다. 하지만 컴퓨터는 그러지 못한다. 컴퓨터는 2D의 그림자 차이 정도나 말할 수 있지만 인간의 뇌는 이런 그림자들이 나타내고 있는 깊이, 그림자의 겹침, 실내 빛의 위치 등등까지도 읽어낼 수 있다.

또 아래의 그림을 봐보도록 하자. 컴퓨터가 보기에는 검은색, 흰색, 회색이지만 우리가 본 것은 하나의 완전히 검은 입체적인 돌이다.

07

심지어 우리가 지금까지 토론한건 오로지 정적이여서 움직이지 않는 정보들 뿐이였다. 인간 수준의 지능을 갖기 위해서 컴퓨터는 반드시 더 어려운 것을 이해해야 한다. 예를 들어서 얼굴 표정의 미세한 변화, 기쁨, 편안함, 만족, 기쁨 등 유사한 정서들 사이의 차이 그리고 왜 <브레이브하트>(1995)는 갓 영화이고 <패트리어트>(2000)은 쓰레기 영화인가를 이해할 수 있어야 한다.

생각만 해봐도 어렵겠지?

우리는 어떻게 해야 이런 수준의 인공지능을 만들 수 있을 것인가?

강인공지능으로 통하는 첫걸음: 컴퓨터의 처리 속도를 높여야 한다.

강인공지능에 도달하기 위해 꼭 만족해야 할 조건은 컴퓨터 하드웨어의 계산능력이다. 인공지능이 인간의 뇌와 겨룰 만큼 총명하려면 최소한 인간의 뇌만큼의 처리능력을 갖추어야 한다.

처리 능력을 다루는 단위는 cps (calculations per second, 초당 계산수) 이다. 인간 두뇌의 cps 를 구하려면 그 속의 모든 구조물의 최고 cps 를 구하고 그것들을 모두 더하면 된다.

레이 커즈와일 (Ray Kurzweil) 은 하나의 구조물에 대한 최대 cps 를 구하고 그것이 전체 뇌에서 차지하는 무게의 비중으로 나누어 인간 두뇌의 총 cps 를 구했다. 뭔가 부족한 것처럼 들리지만 그는 몇번이나 서로 다른 영역을 다양한 전문측정법을 통해 같은 방식으로 계산을 했는데 그 결과들이 항상 아주 근접한 수치에 도달하였다 — 대략 10의 16승 cps, 즉 매초당 1경번의 계산이다.

현재 세계에서 제일 빠른 컴퓨터인 중국의 텐허 2호 (Tianhe-2, http://www.reuters.com/article/us-china-supercomputer-idUSKCN0J11VV20141117 ) 는 사실 이미 이만큼의 처리능력을 가졌는데 그 처리능력이 3.4경 cps 이다. 물론 톈허 2호는 720 제곱미터 면적을 차지하고 2400 만 와트의 전력을 소비하며 3.9억 달러의 돈을 들여 만든 것이다. 광범위한 응용은 막론하고 대부분의 상업적이나 공업적 사용도 굉장히 비싸다.

커즈와일은 컴퓨터 발전정도의 지표는 1000달러로 얼마만큼의 cps 를 살 수 있는가라고 생각한다. 1000 달러로 인간 두뇌급인 1경 cps의 계산능력을 살 수 있을 때에야 강인공지능이 우리 삶의 일부가 될 수 있다고 한다.

무어의 법칙이 제시한바로는 전 세계의 컴퓨터 계산 능력은 2년마다 배로 늘어난다. 이 법칙은 역사 자료가 뒷받침해주고 있는데 왜 컴퓨터의 하드웨어가 인류발전과 마찬가지로 기하급수적으로 발전하는가를 제시하고 있다. 우리는 이 법칙을 통해 언제쯤 1000 달러로 1경 cps 를 살 수 있을 지를 계산해보자. 지금 1000달러로 약 10조 cps 를 살 수 있는데 지금까지의 추세는 무어의 법칙 그래프의 예측에 부합한다.

08

그 뜻은 지금 1000 달러 살 수 있는 컴퓨터는 이미 쥐의 뇌보다 강하며 이미 인간의 뇌의 1000분의 1의 수준에 해당된다는 뜻이다. 아직도 너무 약해보인다. 하지만 생각해봐라 1985 년에 같은 돈으로 인간 두뇌의 1조분의 1만큼의 cps 밖에 살 수 없었고 1995 년에는 10억분의 1, 2005년에는 백만분의 1, 2015 년에는 이미 천분의 1이나 된다. 이런 추세로 발전한다면 우리는 2025 년에는 1000달러로 인간의 뇌에 해당되는 계산처리속도의 컴퓨터를 살 수 있을 것이다.

적어도 하드웨어상에서 우리는 강인공지능의 문턱에 들어섰으며 (중국의 톈허 2호) 10년이내 우리는 저렴한 가격으로 강인공지능 지원 가능한 컴퓨터 하드웨어를 살 수 있을 것이다.

하지만 계산 능력만으로 컴퓨터가 똑똑해지게 할 수 없다. 다음 문제는, 우리는 어떻게 이 계산능력으로 인간수준의 지능을 만들겠는가 이다.

강인공지능으로 통하는 두번째 걸음: 컴퓨터를 더욱 스마트하게 만들기

이 스텝이 정말 어렵다. 사실상 아무도 어떻게 만드는지 모른다 — 우리는 아직 어떻게 컴퓨터가 <패트리어트>가 쓰레기영화라는걸 감별해낼 수 있게 할 수 있을것인가에 머무르고있다. 하지만 지금 일부 방안들이 효과가 있을 수는 있다. 아래것들이 가장 흔한 세가지 접근이다:

1) 인간의 뇌를 베끼기

마치 당신의 반에 공부 잘하는 애가 한명 있는 것 처럼 당신은 그가 왜 똑똑한지, 왜 시험마다 만점을 맞는지 모른다. 당신도 열심히 공부하지만 걔보다 공부를 못한다. 결국 당신은 “젠장, 나 공부 안할래” 하고 포기하고 그의 답안을 직접 베끼게 된다. 이런 “베낌”은 도리가 있는 것이다. 우리는 아주 복잡한 컴퓨터를 만들려는게 아닌가. 우리는 이미 인간의 뇌라는 좋은 설계도가 있지 않는가.

과학계에서는 지금 인간의 뇌를 리버스 엔지니어링하여 자연진화가 어떻게 이런 신기한 물건을 만들어냈는가를 밝히기 위해 힘쓴다. 낙관적인 예견으로 우리는 아마도 2030 년 즈음에 이 임무를 끝낼 수 있다고 한다. 이 목표를 달성하기만 하면 우리는 왜 인간의 뇌가 이렇게 효율이 높고 이렇게 빠르게 실행되는지 밝혀내고 그걸 따라서 영감을 그려내고 혁신을 훔칠 수 있다. 컴퓨터로 인간의 뇌를 시뮬리에팅하는 한 예가 바로 인공 신경망 (NN, Neural Network) 이다. 이것은 트랜지스터로 이루어진 “신경”을 연결한 망에서 출발한다. 트랜지스터는 그저 입출력을 가지고 서로 연결되어 있을뿐 그 자체는 아무것도 모른다 — 갓난애기의 뇌처럼 말이다. 이어서 문제해결을 위해 “학습”이라는 방법을 시도하는데, 필기 인식을 하려면, 처음엔 신경전달과 문자 결정을 위한 추측과정이 완전히 랜덤하게 이뤄진다. 하지만 맞혔다는 피드백을 받으면 관련된 트랜지스터들 사이의 연결이 강화된다. 반면에 그릇됐다는 피드백을 받으면 관련된 연결은 약화된다. 일정한 시간의 테스트와 피드백을 거쳐 이 네트워크 자체는 스스로 스마트한 신경 경로를 형성하게 되고 머신은 해당 문제해결에 최적화된다. 인간의 뇌의 학습 과정도 유사하다. 다만 이것보다 좀 더 복잡할 뿐이다. 우리가 인간의 뇌에 대한 연구가 심화됨에 따라 우리는 더욱 좋은 신경망 구축법을 얻게 될 것이다.

더욱 극단적으로 “베끼”는 방법은 바로 전체 뇌를 에뮬레이팅 하는 것이다. 자세하게 설명하자면 인간의 뇌를 많은 얇은 조각 (으로 나뉜 것으로 보고) 소프트웨어로 하나의 완정한 3D 모델을 만들어서 이 모델을 강력한 컴퓨터에 입력시키는 것이다. 이것이 성공한다면 이 컴퓨터는 인간의 뇌가 할 수 있는 모든 일을 완성할 수 있을 것이다. 그것이 학습하고 정보 수집만 할 수 있게 해주면 된다. 만약 이 일을 해낸 엔지니어 능력이 더욱 대단하다면 그들이 시뮬레이팅해낸 뇌는 심지어 원래 인간의 인격과 기억까지 갖고 있을 것이다. 컴퓨터가 시뮬레이팅해낸 지능이 원래의 인간의 뇌랑 같다는 것은 “강인공지능”의 정의 자체에 상당히 부합된다. 그러면 그뒤로 우리는 그것을 더욱 강한 초인공지능으로 개조할 수 있게 된다.

우리가 전체 두뇌 에뮬레이팅과 얼마나 멀리 떨어져 있을까? 현재 우리는 302개의 신경세포로 이뤄진 1밀리미터 길이의 편형동물의 뇌를 에뮬레이팅 할 수 있게 되었다. 인간 두뇌는 1000억개의 뉴런으로 이뤄져 있다. 그다지 희망적이지 않은 숫자처럼 보인다면, 기억하자 기하급수적인 발전을  — 우리는 이미 작은 벌레의 뇌를 에뮬레이팅 할 수 있게 되었다. 개미의 뇌는 멀지 않았다. 이어서 쥐의 뇌이다. 그때 가면 인간의 뇌를 에뮬레이팅 한다는 것은 그리 비현실적인 얘기가 아닐 것이다.

2) 생물 진화를 시뮬레이팅하기

공부짱의 답을 베끼는 것이 물론 한가지 방법이지만 공부짱의 답을 베끼기가 너무 어렵다면? 그러면 우리는 공부짱이 시험을 준비하는 방법을 좀 따라 배워볼 수 있지 않을까?

우선 우리가 확신할 수 있는 사실! 인간의 뇌만큼 똑똑한 컴퓨터를 만드는 것은 가능한 일이다 — 우리의 뇌가 바로 증거이다. 만약 인간의 뇌가 에뮬레이팅하기 너무 어렵다면 우리는 인간의 뇌를 탄생시킨 진화를 시뮬레이팅 할 수 있을 것이다. 사실상 우리가 정말 완전하게 인간의 뇌를 에뮬레이팅 할 수 있다고 해도 결과는 새들이 날개를 푸덕이는 방식을 그대로 베껴서 비행기를 만들려고 (발명하려고) 하는 식이 되어버릴 수 있다 — 기계를 설계하는 방법이 생물설계를 그대로 베끼는 것이 아닌 경우가 많다.

그래서 우리는 진화를 시뮬레이팅하여 강인공지능을 만들 수 있을 것인가? 이런 방법을 “유전 알고리즘” (genetic algorithm) 이라고 부른다. 원리는 대충 이러하다: 반복하여 표현 / 평가 과정을 할 수 있는 프로세스를 만든다. 마치 생물들이 생존이라는 방식으로 표현을 하고 번식을 평가 방식으로 하는 것처럼. 컴퓨터에게 여러가지 임무를 수행시키고 제일 성공적인 프로그램들만 “번식”을 하는데 그 방식은 각자의 프로그램을 융합시켜서 새로운 프로그램을 만들고 그다지 성공적이지 않은 프로그램들은 버려지는 것이다. 여러번 반복을 거치면 이 선택과정은 점점 강한 프로그램을 만들어낼 것이다. 이 방법의 난점은 자동화된 평가와 번식 과정을 만듬으로서 전체 프로세스가 인간의 관여 없이 자율실행되게 하는 것이다.

이런 방법의 단점도 명확하다. 자연진화는 수십억년의 시간을 들였는데 우리는 수십년이란 시간만 사용하려고 하고 있기때문이다.

하지만 자연진화에 비해 우리의 우세도 많다. 첫째로 자연진화는 예견 능력이 없고 랜덤적이다 — 그것이 탄생시킨 쓸모 없는 변화는 쓸모있는 변화보다 훨씬 많다. 하지만 인공적인 진화는 과정을 컨트롤할 수 있어서 유익한 변화에 치중하게 할 수가 있다. 둘째로 자연진화는 목표가 없다. 자연진화의 산물인 지능도 그것의 목표가 아니다. 하지만 우리는 진화의 과정을 지휘하여 더욱 스마트한 지능쪽으로 발전하도록 할 수 있다. 셋째로 지능을 탄생시킬려면 자연진화는 많은 다른 부가적인 조건들을 탄생시켜야만 한다. 예를 들어서 세포의 에너지 생산 능력을 개선해야 한다 등등. 하지만 우리는 전력으로 이 추가적인 부담들을 해소해낼 수 있다. 결론적으로 인간 주도적인 진화는 자연진화보다 훨씬 빠를 수가 있다. 하지만 우리는 아직도 이런 우세들이 진화 시뮬레이팅을 가능하게 해줄 수 있는지 여부는 모른다.

3) 컴퓨터가 이 모든것을 해결하도록 하기

만약 공부짱의 답을 베끼는 것과 공부짱의 시험 준비 방법을 따라하기가 다 통하지 않는다면, 시험문제가 시험문제 자체를 해결하게 하는 방법은 어떤가? 이런 생각이 병맛같지만 실은 가장 희망있는 한가지 방법이다.

이 아이디어는 우리가 두가지 중요한 스킬을 가진 컴퓨터를 만드는 것이다 — 인공지능을 연구하는 기능과 자신의 코드를 수정할 수 있는 기능. 그러면 우리는 컴퓨터 자체를 컴퓨터 과학자 ( Computer Scientist ) 로 만든 셈이다. 그러면 컴퓨터의 지능을 높이는 것은 컴퓨터 자체의 몫이 됐다.

이상의 모든 것은 머지않아 이뤄지게 된다.

하드웨어의 빠른 발전과 소프트웨어의 혁신은 늘 병렬적으로 발생한다. 강인공지능은 우리가 예상한 것보다 더욱 일찍 들이닥칠 수 있다. 왜냐하면:

  1. 기하급수적 성장의 초반은 달팽이처럼 느릴 수 있지만 후반으로 가면 굉장히 빠르다. 아래의 GIF 움짤이 이 도리를 잘 설명해줄 것이다.09
  2. 소프트웨어의 발전은 일견 매우 느려보일 수 있지만 한번의 “깨달음”은 진보의 속도를 영원히 바꿔놓는다. 마치 인류가 아직 지구중심설을 믿고 있을 때에는 과학자들이 우주의 운동방식을 계산할 방법을 설계할 수 없지만 태양중심설의 발견으로 모든게 쉬워진 것처럼. 자체 개선을 할 수 있는 컴퓨터를 만든다는게 지금의 우리에게는 요원하게 느껴질 수 있지만 어느 한번의 수정만으로 전체 시스템이 천배나 강력해지게 할 수도 있는 일이다. 그럼으로써 인간지능 레벨로의 빠른 질주의 서막을 열어놓을 수도 있는 일이다.

강인공지능에서 초인공지능으로 가는 길

언젠가는 우리는 인간의 지능정도의 인공지능을 만들어낼 것이며 그리고 인간과 컴퓨터는 평등하고 모두 행복하게 쭉 살았답니다.

는 개뿔.

인간지능과 완전히 똑같고 정보처리능력도 인간만큼 강한 강인공지능이더라도 인간보다 두드러진 많은 장점을 가지고 있다.

하드웨어면에서:

  • 속도면에서: 인간 신경세포의 계산속도는 200 HZ 이다. 오늘날의 컴퓨터 마이크로칩만 봐도 2 GHz 로 실행될 수 있는데 이는 신경세포의 1000만배의 실행속도이지만 우리가 강인공지능 구현에 필요한 하드웨어 스펙보다는 훨씬 뒤떨어져있다. 신경세포에서 정보의 전파속도는 약 초당 120 미터이지만 컴퓨터의 정보 전파 속도는 빛의 속도이다. 이 둘 사이에는 수개 수량급의 차이가 벌어져있다.
  • 용량과 저장공간 면에서: 인간 두뇌의 크기는 고정되어 있으며 후천적으로 더 크게 늘릴 수 없다. 가령 정말로 더 크게 늘릴 수 있다고 해도 120 m/s 의 정보전달속도는 큰 병목으로 작용해 다른 구역으로 전달을 방해할 것이다. 컴퓨터의 물리적 사이즈는 매우 자유로울 수 있어서 더욱 많은 하드웨어, 더 큰 메모리, 내구성이 더욱 좋은 저장매체를 사용할 수 있다. 인간의 뇌보다 용량이 훨씬 커질 수 있을뿐만 아니라 인간의 뇌보다 더 정확하다.
  • 신뢰성과 내구성 면에서: 컴퓨터의 기억은 더욱 정확할 뿐만 아니라 트랜지스터도 신경세포보다 더 정확하며 인간의 세포만큼 잘 위축되지가 않는다 (정말 망가지더라도 고치기가 쉽다). 뿐만아니라 인간의 뇌는 쉽게 피로를 느낀다. 하지만 컴퓨터는 24시 쉼없이 최고속력으로 달릴 수 있다.

소프트웨어면에서:

  • 수정 가능, 업그레이드 가능, 보다 많은 가능성: 인간의 뇌와 달리 컴퓨터 소프트웨어는 더욱 많은 수정과 업그레이드를 할 수 있으며 테스트하기도 쉽다. 컴퓨터의 승급은 인간의 뇌의 비교적 큰 단점을 보완할 수 있다. 인간은 시각 소프트웨어가 최고등급일 때 복잡한 공학 능력은 매우 저질등급이 된다. 하지만 컴퓨터는 시각 소프트웨어가 인간과 동급일뿐만 아니라 공학이나 다른 부분까지 동시에 최적화할 수 있다.
  • 집단적 능력: 인간은 집단 지성에 있어서 모든 기타 종을 크게 앞서고있다. 초기의 언어와 대형 커뮤니티의 형성, 문자와 인쇄기술의 발명으로부터 인터넷의 보급에 이르기까지. 인간의 집단 지성은 우리가 기타 종을 통치하데 된 중요한 원인중 하나이다. 하지만 컴퓨터는 이 면에서 우리보다 훨씬 강하다. 특정 프로그램을 실행하는 인공지능 네트워크는 전세계 범위내에서 동기화를 할 수 있으며 이로 인해 하나의 컴퓨터가 한가지 능력을 습득하게 되면 전세계 모든 기타 컴퓨터에게도 전파되여 그들 모두 습득하게 된다. 뿐만아니라 컴퓨터 클러스터는 공통적으로 한가지 임무를 협업 집행할 수 있는데 인간사회에서 흔히 발생하는 이견, 동기부여, 자기이익중심 등 특성들은 컴퓨터에게는 발생하지 않을 수도 있다.

자체 개선을 거쳐 강인공지능에 도달한 인공지능은 인간수준의 지능을 중요한 마일스톤으로 여길 것이지만 그 이상 그 이하도 아니다. 그 수준에 멈출 이유가 없다. 강인공지능의 인간에 비한 여러가지 장점들을 고려한다면 인공지능은 “인간수준” 이란 정도에 아주 짧게만 머무를 것이며 그후로는 초인공지능이라는 레벨로 큰 걸음으로 성큼성큼 걸어나갈 것이다.

이 모든것이 발생할 때 우리는 아마도 놀라 쓰러질 것이다. 왜냐하면 우리가 보기에는 a) 동물의 지능에는 높고 낮음이 있지만 모든 동물의 지능의 공통된 특점은 인간보다 훨씬 낮다는 것이다. b) 우리가 생각하기에는 제일 총명한 사람은 제일 우둔한 사람보다 훨씬훨씬훨씬훨씬 총명하다.

10

그래서 우리는 인공지능이 인간 레벨로 쫓아오고 있을 때 점차 총명해지고 있음을 볼 수 있을 것이라고 생각하게 된다. 마치 하나의 동물처럼. 그러다 갑자기 가장 우둔한 인간 정도의 지능 정도로 발전하는 것을 보고 우리는 아마 “봐 이 인공지능 마치 멍청한 인간처럼이나 똑똑해. 귀엽구나.” 라고 생각할 수도 있을 것이다.

하지만 문제는 지능의 전반적인 분포로부터 볼 때 인간과 인간의 지능의 차이, 예를 들어서 가장 우둔한 인간으로부터 아인슈타인까지의 지능의 차이는 사실 그다지 크지 않다는 것이다. 그래서 인공지능이 우둔한 인간 정도만큼 발전한 뒤에는 금방 아인슈타인보다 더 총명하게 되어버릴 것이다:

11

그 다음은 뭐냐?

지능폭발

여기서부터 이 화제는 좀 섬뜩해진다. 여기서 독자분들께 알려드려야 할 것은 필자가 여기서 얘기하고있는 것들이 다 사실이라는 것이다 — 많은 존경받는 사상가들과 과학자들이 미래에 대한 성실한 예측이다. 당신이 아래에서 비상식적인 내용을 읽었을 때 꼭 기억해둬야 한다. 이 결론들은 당신이나 필자보다 훨씬 총명한 사람들이 생각해낸 것이라는 점을.

위에서 말했다시피 우리가 현재 강인공지능에 도달하기 위해서 사용한 방법은 대체적으로 모두 인공지능의 자체개선에 의존한다. 하지만 그것이 강인공지능에 달하기만 하면 그 자체개선에 의해 도달한 것이 아닌 부분 마저도 모두 충분히 똑똑해지고 전부 자체개선을 해나갈 능력을 갖게 될 것이다.

여기서 우리는 하나의 무거운 주제를 이끌어내야 한다 — 재귀적인 자체 개량. 이 개념의 뜻은: 특정 지능 수준, 예를 들어서 제일 멍청한 인간의 지능수준, 을 가진 인공지능이 자체개량 능력을 가졌을 때 한번의 자체 개진을 통하여 원래보다 더 총명해졌다고 가정하자. 예를 들어서 아인슈타인의 지능만큼 총명해졌다고 가정하자. 이때 그것이 계속 자체개량을 하게 되는데 이때의 그것은 아인슈타인 수준의 지능을 가졌기 때문에 이번 개량은 저번보다 더 쉽고 효과도 더 좋을 것이다. 두번째의 개선은 그것이 아인슈타인보다도 훨씬 총명해지게 함으로 계속되는 개선이 더욱 많은 진보를 가져오게 한다. 이런 과정이 반복되면이 이 강인공지능의 지능수준은 점점 빨리 발전하게 되여 결국은 초인공지능의 수준에 달하게 한다 — 이것이 바로 지능폭발의 정의이다. 이것은 또한 수확 가속의 법칙의 궁극적 체현이다.

12

현재 인공지능이 언제 인간수준에 달할 수 있을지에 대해서는 아직 쟁론이 치열하다. 수백명 과학자들에 대한 통계조사에서 그들이 생각하는 강인공지능 출현의 중앙치 연도수가 2040 년이라고 한다 — 지금으로부터 25 년밖에 남지 않았다. 이게 그렇게 놀랍게 들리지 않을 수도 있을지 모른다, 하지만 기억하자, 이 영역의 많은 사상가들은 강인공지능에서 초인공지능으로의 전환이 훨씬 빠를 것이라고 생각하고있다. 아래 시나리오가 일어날 확률이 굉장히 높다: 한 인공지능이 수십년이란 시간을 들여 인간 수준의 지능을 얻었는데 이때 그 컴퓨터의 세계에 대한 지식은 네살 애기 수준이다; 하지만 그후 한시간내에 컴퓨터는 광의적 상대성 이론과 양자물리학을 추론해낸다; 그뒤 한시간 내에 이 강인공지능은 초인강지능으로 발전해버리는 그 지능수준은 무려 일반 인간의 17 만배이다.

이 수준의 초인공지능은 우리가 이해할 수 있는 영역이 아니다. 마치 꿀벌이 케인즈 경제학을 이해할 수 없는 것처럼. 우리의 언어에서 130 의 IQ 를 똑똑하다고 하고 85 의 IQ 를 우둔하다고 한다. 하지만 우리는 12952 의 IQ 를 뭐라고 해야 할지 모른다. 인간의 언어에는 이런 개념이 아예 없다.

하지만 우리가 알 수 있는 것은 인간이 지구를 지배하면서 우리가 알게 된 한가지 사실 — 바로 지능이 곧 파워라는 도리이다. 즉 하나의 초인공지능이 탄생하기만 하면 지구 역사상 가장 강력한 존재가 될 것이며 인류를 포함한 모든 생물들은 모두 그 파워에 거역할 수 없을 것이다. — 그리고 이 모든 것이 미래 수십년 내에 발생할 수 있다는 것이다.

생각해보라, 우리의 뇌가 WIFI 를 발명해낼 수 있다면 우리보다 100배, 1000배, 심지어  10억배 총명한 뇌는 세상의 모든 원자들의 위치를 맘대로 조종할 수 있을지도 모른다. 우리에게 있어서 불가능하여 전지전능의 하느님만이 가질 수 있는 능력이 그 초인공지능한테는 전등 스위치를 누르는 것만큼 간단한 일일 수도 있다. 인간의 노화를 해결하고 각종 불치병을 치료해주며 전세계적으로 기아와 빈곤을 해결해줄 수 있다. 심지어 인류가 영생하게 하거나 기후를 컨트롤해 지구의 미래를 보호해준다거나, 이 모든 것이 가능해질 수도 있다. 그만큼 가능한 것은 지구상의 모든 생명의 종말일 수도 있다.

하나의 초인공지능이 출생한다는 것은 우리에게 있어서 전능의 신이 지구에 강림하는 것과 다름 없다.

이럴때 우리가 관심하게 되는 것은:

13


이상 이 글의 1편은 끝입니다. 물 한모금 마시고 다시 2편으로 떠나볼까요? 혹은 팝콘과 콜라를 준비하시는 것도 좋을 것 같습니다.

BGM 은 베토벤의 <운명> 교향악으로 추천드립니다:

2편 시작:


글의 1편에서 우리는 우리의 일상 도처에 있는 약인공지능들을 얘기하고 왜 약인공지능에서 강인공지능으로 가는 길이 큰 도전이란가를 얘기했으며 왜 기술진보의 지수적 성장으로 강인공지능이 그리 멀지 않음을 얘기했다. 1 편의 끝에서 우리는 기계가 인간 수준의 지능에 도달하기만 하면 아래와 같은 광경이 벌어질 것이라고 얘기했다:

Train_1

Train_2

Train_3

Train_4

우리는 심리적으로 받아들이기 어려울 것이다. 특히 초인공지능이 우리가 살아있을 때 발생할 수 있다는 점을 고려한다면 우리는 도대체 어떤 표정으로 이 현실을 직면해야 할지 모른다.

이 화제를 더욱 깊게 파기 전에 우리는 초인공지능이 뭘 의미하는지를 다시 한번 리마인드해보자.

아주 중요한 구별점을 무시해서는 안되는데 바로 속도상의 초인공지능과 퀄리티상의 초인공지능의 구별이다. 많은 사람들은 인간만큼 총명한 초인공지능이라고 하면 첫번째 반응은 그것의 속도가 매우 빠르다는 것이다 — 계산속도가 인간의 100만배인 기계처럼 인간이 수십년에 걸쳐 생각해낼 수 있는 것을 몇분 안에 생각해낸다.

물론 이건 대단하다. 사실 초인공지능은 확실히 인간보다 사고가 훨씬 빠르다. 하지만 진정한 구별점은 사실 지능의 속도보다는 지능의 퀄리티에 있다. 인간으로 비유를 한다면 인간이 침팬지보다 총명한 것은 사고 속도면의 차이가 아니라 우리의 뇌가 독특하고도 복잡한 지능 모듈이 있기 때문인데 이런 모듈들로 우리는 복잡한 언어를 구사하고 장기적인 계획을 세우며 추상적인 생각을 한다. 하지만 침팬지의 뇌는 이런 것을 할 수가 없다. 침팬지의 뇌의 속도를 수천배로 높여봤자 인간의 차원에서 생각을 할 수 없으며 특정 복잡한 도구를 사용하여 정교한 모델을 만들 줄 모른다 — 인간의 많은 인지능력은 침팬지가 영원히 따라잡을 수 없는 것이다. 아무리 많은 시간월 줘도 소용없다.

그리고 인간과 침팬지의 지능의 차이는 침팬지가 우리가 할 수 있는 일을 할 수 없는 정도가 아니라 침팬지는 이런 일들이 존재한다는 것 자체를 모른다는 것이다 — 침팬지는 인류가 무엇인지를 이해할 수 있고 고층빌딩이 무엇인지를 이해할 수 있지만 고층빌딩이 인간이 만들어냈다는 것을 이해할 수가 없다. 침팬지들이 보기에는 고층빌딩처럼 거대한 물건은 당연히 원래부터 존재하는 것이지, 끝. 침팬지들은 자기가 고층 빌딩을 만들어내지 못할뿐만아니라 고층 빌딩이 만들어 낼 수 있는 물건이란 걸 이해할 수가 없다. 이 모든 차이는 실은 지능의 퀄리티 차원에서의 미세한 차이로부터 발생한 것이다.

그리고 사실 우리가 인공지능을 토론할 때 지능의 범위는 굉장히 넓다. 이것과 비길진대 인간과 침팬지의 차이는 미세하다. 만약 모든 생물의 인지능력들이 하나의 계단이라면 서로 다른 종들이 계단에 선 위치는 대체적으로 아래와 같다.

staircase1

초지능을 가진 기계가 얼마나 불가사의한가를 이해하기 위해 윗 그림에서 진한 초록색위에 서있는 하나의 기계를 가정하자. 그 물건은 인간보다 두층만 높다, 인간이 침팬지보다 두층 높듯이. 이 기능은 초지능을 쪼금만 가지고있을 뿐인데 인류에게 있어서는 침팬지에 있어서의 인류나 마찬가지이다. 침팬지가 인류가 고층빌딩을 만들어낼 수 있다는 것을 이해할 수 없듯이 우리 인간도 인간보다 두층 높은 기계가 어떤 것을 할 수 있을 지 상상을 할 수 없다. 그 초지능이 우리에게 설명을 해줄려고 해도 효과는 마치 우리가 침팬지에게 고층 빌딩 건축 방법을 설명하려고 하는 격이 된다.

하지만 이것도 그냥 우리보다 두층만 높은 지능일 뿐이다. 이 계단의 꼭대기에 있는 지능은 인류에게 있어서 인류가 개미에게 있어서의 존재나 같다 — 그것이 아무리 많은 시간을 들여서 인류에게 가장 간단한 것을 가르칠려고 해도 배워지지 않을 것이다.

하지만 우리가 토론하려고 하는 초지능은 이 계단의 꼭대기에 있는 것이 아니라 이 계단보다 훨씬훨씬훨씬훨씬 높은 곳에 있다. 지능폭발이 발생할 때 그것은 아마 수년이란 시간을 들여서야 침팬지 그 층에서 위하 한층 올라갈 수 있겠지만 이 걸음은 점점 빨라질 것이다. 뒤로 가면 아마도 몇시간이면 한층 밟을 것이며 그것이 인간보다 10층 높은 위치까지 간 후에는 아마 점프하면서 계단을 오를 것이다 — 1초에 네층을 올라간다는게 뭐 안될게 아니다. 결론적으로 기억해두자, 첫번째 인간수준의 강인공지능이 출현한 후에 우리는 아마 매우 짧은 시간 뒤에  아래 그림에서처럼 매우매우매우매우 높은 계단에 서있는 지능을 맞이하게 될 것이다 (심지어 이것보다 100만배 높을 수도 있다).

staircase2

앞에서 이미 말했듯이 우리보다 두층만 높은 기계를 이해하려고 하는게 이미 헛된 노력일 뿐이니 우리는 초인공지능이 뭘 할 수 있는지 알 방법이 없고 이런 일들의 후과도 알 수 없다. 그 어떤 아는 척 하는 사람들은 다 초인공지능이 뭔지를 이해하지 못했다.

자연진화는 수역년이란 시간을 거쳐 생물의 뇌를 만들어냈는데 이런 이론에 의하며 인류가 초인공지능을 만들어내기만 하면 자연 진화를 짓밟아버린 것으로 된다. 물론 이 자체도 자연진화의 일부분일 수도 있다 — 진화의 진정한 목적이 이러할지도 모른다: 여러가지 지능을 만들어내 그중 하나가 드디어 초지능을 만들어내고 이 시점은 지뢰의 트립와이어 (Tripwire) 를 밟은 것처럼 전세계적인 지능 폭발을 초래함으로 모든 생물의 운명을 바꿔버리게 된다.

Tripwire

과학계의 대부분 인사들은 트립와이어를 밟는 일이 일어날 것인가 얼어나지 않을 것인가의 문제가 아니라 언제 읽어나는가의 문제라고 생각하고 있다. 후덜덜.

그럼 우린 어떻게 해야 할까?

불행히도 우리에게 트립와이어 후에 무엇이 발생할지를 알려줄 수 있는 사람은 없다. 하지만 인공지능 사상가 Nick Bostrom 은 우리에게 두가지 가능한 결과가 있다고 믿는다 — 영생과 멸종.

우선 우리가 역사를 회고해보면 대부분의 종들은 이런 여정을 거쳤다는 것을 알게 된다: 종의 출현, 일정 시간 존재한 후, 불가피하게 존재 (Existence) 의 평균대 (Balance Beam) 에서 떨어져 멸종의 심연속으로 추락한다.

beam1

역사적으로 보면 “모든 종은 결국 멸종될 것이다” 란 말은 마치 “모든 사람은 결국 죽게 될 것이다” 란 말만큼이나 말이 된다. 지금까지 존재했던 생물 종들의 99.9% 가 모두 존재의 평균대에서 떨어졌다. 만약 어느 종이 아직까지 존재의 평균대 위에서 계속 걷고있다면 어떤 한줄기 자연의 바람이 휘몰아쳐 그 종을 평균대에서 떨어뜨리는 것은 오직 시간 문제이다. Bostrom 은 멸종을 일종의 흡인상태로 취급한다 — 모든 종은 모두 그곳으로 추락될 위험이 있으며 한번이라도 떨어지면 다시 돌아올 길이 없다.

비록 대부분 과학자들이 모두 하나의 초인공지능이 인류를 멸종시킬 능력이 있다고 인정하지만 그중 일부는 잘만 대처하면 초인공지능은 인류와 기타 종을 도와 다른 하나의 흡인상태 — 영생에 도달할 수 있다고 믿는다. Bostrom 은 종의 영생은 멸종과 마찬가지로 흡인상태라고 믿는다. 즉 우리가 한번 영생에 도달하기만 하면 우리는 더이상은 멸종의 위험속에 노출되지 않게 된다 — 우리는 사망과 확률을 이겨낸 것이다. 그래서 비록 지금까지 절대다수의 종이 평균대에서 떨어져 멸종되었지만 Bostrom 은 평균대 밖에 두개의 면이 있다고 믿으며 다만 지금까지 지구상의 생명들은 모두 어떻게 다른 한 흡인상태로 가는지 몰랐을 뿐이라고 한다.

beam2

만약 Nick Bostrom 등 사상가들의 생각이 정말로 맞는 것이라면 ( 그리고 내가 읽은 자료들에 의하면 그들의 결론이 정말 맞는 것 같았다) 우리는 아래의 두가지 사실을 받아들일 수 밖에 없게 된다:

  1. 초인공지능의 출현은 사상 처음으로 종의 영생이라는 이 흡인상태가 가능하게 해줄 것이다.
  2. 초인공지능의 출현은 아주 엄청난 충격으로 될 것이며 이 충경은 인류를 평균대에서 떨어뜨려 둘중 하나의 흡인상태로 빠져들게 할 것이다.

아주 가능한 한가지 광경은: 자연진화가 트립와이어를 밟았을 때 그것은 인류와 평균대 사이의 관계를 영원히 바꿔놓을 것이며 완전히 새호운 세계를 열어제낄 것이다 — 그때 인류가 존재하든 하지 않든.

그러면 지금의 문제는 “우리는 언제 트립와이어를 밟을 것인가?” 와 “평균대에서 떨어진 우리는 어느 흡인상태로 빠질 것인가?” 이다.

아무도 답을 모른다. 하지만 일부 아주 똑똑한 분들이 이미 수십년이나 생각을 굴려왔다. 그러면 아래 우리는 그것들이 어떤 것들을 생각해냈는지를 봐보도록 하자.


우선 우리는 “우리는 언제 트립와이어를 밟을 것인가?” 라는 문제를 봐보도록 하자. 즉 첫번째 초지능이 언제 탄생할 것인가 하는 문제이다.

놀랍지 않게 과학자들과 사상가들은 이 문제에 대해 의견이 많이 엇갈린다. 많은 학자들 예를 들어서 Vernor Vinge 교수, 과학자 Ben Geortzel, SUN 의 창업자 Bill Joy, 발명가이며 미래학자인 레이 커즈와일 (Ray Kurzweil) 등은 머신 러닝 전문가인 Jeremy Howard 의 관점을 믿고있다. Howard 는 TED 강연때 아래의 그림을 사용했었다.

Howard-Graph

이런 사람들은 초지능이 멀지 않은 미래에 발생할 것이라고 믿고있다. — 비록 머신 러닝이 지금은 발전이 더디지만 기하급수적인 성장으로 인해 미래 수십년에는 빠르게 발전할 것이라는 것이다.

기타 분들 예를 들면 마이크로소프트의 공동창업자인 Paul Allen, 심리학자 Gary Marcus, 뉴욕 대학교 (NYU) 의 컴퓨터 과학자 Ernest Davis, 기술 창업자인 Mitch Kapor 등은 커즈와일 등 사상가들이 인공지능의 어려움을 과소평가했다고 생각하며 우리는 아직 트립와이어에 도달하기까지 굉장히 멀다고 믿는다.

하지만 커즈와일파들은 유일하게 과소평가된 것은 사실 기하급수적 성장의 포텐이라고 믿으며 자신들의 이론을 의심하는 사람들을 1985 년에 발전이 느린 인터넷을 보면서 인터넷이 장래에 큰 영향력이 있는 사물로 될 수 없다고 단정짓는 사람들과 비교한다.

의심자들은 지능 영역의 발전이 이루어야 하는 진보도 역시 기하급수적으로 성장하는 것이어서 기술 발전의 기히급수적 성장을 상쇄시킬 것이라고 믿는다.

이렇게 쟁론은 계속되왔고 지금도 계속되고있다.

Nick Bostrom 을 비롯한 세번째 진영도 있는데 위의 두 파별이 모두 자신들에 트립와이어의 시간에 대한 확신을 그토록 가질 이유가 없다고 생각하며 동시에 이런 두가지 의견을 갖고있다: a) 이 일은 멀지 않은 미래에 발생할 수도 있고, b) 이것 또한 모를 일이어서 생각보다 오래 걸릴 수도 있다.

그리고 이상 세가지 진영에 다 속해있지 않는 사람도 있다. 그 예로 철학가 Hubert Dreyfus 인데 세 진영 모두 너무 순진하다고 생각하며 트립와이어는 전혀 존재하지 않으며 초인공지능은 불가능할 것이라고 여긴다.

이상 모든 사람들의 관점을 모두 통틀어서 보면 어떤 모양새일까?

2013년에 Nick Bostrom 은 수백명의 인공지능전문가들을 대상으로 하는 설문조사를 진행했다. 설문조사의 내용은 “당신은 강인공지능이 언제 생길 것 같습니까?” 이고 상대방으로 하여금 낙관적인 예측 (강인공지능이 10% 의 가능성으로 이때 생길 것 같다) , 정상적인 예측 (강인공지능이 50% 의 가능성으로 이때 생길 것 같다) 과 비관적인 예측 (강인공지능이 90% 의 가능성으로 이대 생길 것 같다) 을 해보라고 했다.

조사 결과:

  1. 낙관 예측 중앙치 연도 (강인공지능이 10% 의 가능성으로 이때 생길 것 같다): 2022 년
  2. 정작적인 예측 중앙치 연도 (강인공지능이 50% 의 가능성으로 이때 생길 것 같다): 2040 년
  3. 비관적인 예측 중앙치 연도 (강인공지능이 90% 의 가능성으로 이대 생길 것 같다): 2075 년

즉 한 중앙치의 인공지능전문가는 25 년후인 2040 년 (역자주: 원문은 2015 년에 작성됐다) 에 강인공지능을 만들어낼 수 있다고 생각한다. 그리고 2075 년이란 비관적인 예측이 설명해주는 바는 당신이 만약 지금 충분히 젊었다면 반수이상의 인공지능전문가들이 당신이 살아있을 때 강인공지능이 실현됨을 볼 수 있을 가능성이 90% 이상이다.

다른 한 독립적인 설문조사는 작가 James Barrat 가 Ben Goertzel 의 해마다 개최되는 강인공지능 콘퍼런스에서 진행되었다. 그는 참여자들한테 강인공지능이 어느 해에 실현될 것 같은지 직접 물었다. 선택지는 2030년, 2050년, 2100년과 영원히 실현될 수 없다 총 네가지였다. 그 결과:

  • 2030년: 42% 의 참여자들이 강인공지능이 실현될 수 있다고 대답했다.
  • 2050년: 25% 의 참여자
  • 2100년: 20%
  • 2100년 이후: 10%
  • 영원히 실현될 수 없다: 2%

이 결과는 Nick Bostrom 의 결과와 비슷하다. James Barrat 의 조사에서 3분의 2를 넘는 참여자들이 강인공지능이 2050 년에 실현될 것이라고 했으며 거의 반수 (42%) 의 사람들이 미래 15년 (2030년) 이면 실현될 수 있다고 했다. 그리고 2% 에도 달하지 않는 참여자만 강인공지능이 영원히 실현될 수 없을 것이라고 했다.

하지만 강인공지능은 트립와이어가 아니다. 트립와이어는 초인공지능이다. 그렇다면 전문가들의 초인공지능에 대한 생각들은 어땠을까?

Nick Bostrom 의 설문조사는 전문가들의 초인공지능에 대한 생각도 물었다. 선택지는 a) 강인공지능에 도달한 2년 내에, b) 강인공지능에 도달한 30년 내에. 설문조사의 결과는 아래와 같다:

중앙치 답안은 강인공지능으로부터 초인공지능으로 가는데 필요한 시간이 2년일 가능성은 10%도 안되고 30 년내에 도달할 가능성은 75%에 달한다고 답했다.

이상 결과로부터 우리는 한명의 중앙치 인공지능 전문가는 강인공지능으로부터 초인공지능으로 가는데 아마도 20년 정도가 걸릴 것이라고 생각하고있다는 것을 알 수 있다. 즉 우리가 얻을 수 있는 결론은 현재 전 세계의 인공지능 전문가들중 하나의 중앙치 예측은 우리가 2040 년 즈음에 강인공지능을 실현시키고 그 20 년 뒤인 2060 년에 초인공지능을 실현시킬 것이다 — 즉 트립와이어를 밟을 것이다.

Timeline

물론 이상 모든 데이터들은 다 추측일 뿐이고 현재의 인공지능 영역의 전문가들이 중앙치 의견일 뿐이다. 하지만 이것이 우리에게 주는 중요한 정보는: 상당수의 이 영역에 대해 아주 전문적인 분들이 2060 년이 초인공지능 실현에 대한 합리적인 추측이라고 생각한다는 것이다 — 지금으로부터 45 년밖에 남지 않았다.

그러면 우리는 다음 문제를 봐보자. 트립 와이어를 밟은 우리는 편균대 밑의 어느 쪽으로 추락할 것인가?

초인공지능은 거대한 파워를 갖고있다. 그래서 아주 중요한 문제는 이 파워를 어느 세력이 장악할 것인가 이고 이 파워를 장악한 세력이 무엇을 할 것인가 이다.

이 문제의 답안이 초인공지능이 도대체 천국인지 지옥인지를 결정할 것이다.

이 문제에 대해서도 전문가들의 의견은 엇갈렸다. Nick Bostrom 의 설문조사가 나타낸바에 의하면 전문가들이 강인공지능이 인류사회에 대한 영향을 평가할 때 52% 의 사람들이 결과가 좋거나 아주 좋을 것이라고 생각하고 31 % 의 사람들이 결과가 나쁘거나 아주 나쁠 것이라고 생각한다. 17% 밖에 안되는 사람들이 결과가 좋지도 나쁘지도 않을 것이라고 생각한다. 즉 이 영역의 전분가들은 보편적으로 이것이 굉장히 중대한 사건일 것이라고 여긴다는 것이다, 결과가 좋든 나쁘든 간에. 주의해야 할 것: 이 질문이 물은 것은 강인공지능에 대한 질문이였다. 만약 초인공지능에 대해 질물을 했다면 좋지도 나쁘지도 않을 것이라고 답한 사람은 17% 나 될리가 없을 것이다.

이 문제를 더욱 파고들 기 전에 우리는 우선 “언제 발생” 과 “결과가 좋을 것인가 나쁠 것인가” 란 문제의 결과를 종합하여 차트를 만들어보자. 그러면 그 그림이 대부분 전문가들의 관점을 부여줄 것이다.

Square11_fixed

우리는 조금 뒤에 주류 진영의 관점을 고려하고 우선 자기 자신에게 어떻게 생각했는가를 물어보자. 사실 필자는 당신이 어떻게 생각하는지 대충 알 것 같다. 필자도 첨에 이 문제를 연구할 때도 같은 생각이였으니까. 사실 많은 사람들이 이 문제에 신경쓰지 않는다. 그 이유들을 살표본다면 흔히:

1. 이 글의 1 편에서 얘기한 것처럼 우리가 본 영화들은 우리에게 아주 비현실적인 장면들을 많이 보여줘서 우리더러 인공지능이 진지한 과제가 아니라고 생각하게 했다. 작가 James Barrat 는 이것에 대해 우리가 느끼는 황당함을 미래의 어느날 방역센터에서 뱀파이어 경보를 진지하게 내놓는다고 했을 때 우리가 느낄 그런 황당함에 비교했다.

2. 인지의 편차로 인해 우리는 그것을 뒷바침해주는 증거를 직접 눈으로 보기 전에는 한가지 사물이 진짜라는 것을 믿기가 어렵다. 1988 년때 수많은 컴퓨터 과학자들이 인터넷이 얼마나 중요한가를 열렬하게 토론하고 있을 때 일반인들은 인터넷이 우리의 삶을 바꿔놓을 것이라는 말에 그다지 믿음이 가지 않았을 것이다 — 그것이 정말로 우리의 삶을 바꿔놓기 전까지는. 이렇게 된데는 한방면으로는 1988년의 컴퓨터는 확실히 볼품이 크게 없었던 것도 있다. 당시 사람들은 컴퓨터를 바라보면서 이렇게 생각했을 것이다: “이 보잘것 없는 녀석이 우리의 삶을 바꿔놓는다고? 뻥치지 마.” 사람들의 상상력은 자신의 컴퓨터에 대한 경험들의 제한을 받아서 컴퓨터가 현재의 형태로 되리라는 상상을 하기 어렵게 만든다. 비슷한 일이 인공지능 영역에서도 일고 있다. 우리가 인공지능이 큰 영향일 미칠 것이다 라는 말을 듣는다면 우리는 우리 자신이 인공지능을 경험한 기억들을 떠올리며 그런 약해빠진 인공지능들이 우리의 삶을 바꿔놓을 수 있으리라는 말을 믿기 어렵게 된다. 바로 이런 인지의 편차들은, 인공지능 전문가들도 애써 극복하려고 하는 부분이다.

3. 그리고 설령 우리가 인공지능의 거대한 포텐을 믿는다고 해도 당신은 오늘 “바야흐로 다가올 끝없는 세월 (역자주: 사망) 속에 더이상 ‘나’ 라는 존재는 없을 것이다” 란 문제에 얼마나 많은 시간을 들여서 생각을 했는가? 비록 이 문제가 당신이 오늘 한 대부분의 일보다도 훨씬훨씬 중요하지만 정상적인 사람은 늘 이 문제를 생각하지 않을 것이다. 이렇게 된 원인은 우리의 두뇌는 장기적으로 얼마다 중요한 일일지라도 그런 것들을 무시하고 늘 일상적인 작은 일들에 신경쓰도록 되여있기 때문이다. 이것은 우리의 본능이 이렇게 만들어졌기 때문이다.

이 글의 주된 목적이 바로 당신을 일반인의 진영에서 이탈시켜 전문가들의 사고방식의 진영에 가입시키는 것이다. 한발 물러나 당신을 양쪽 모두 믿임반 의심반 진영에만 가입시켰어도 목표 달성이다.

필자의 연구에서 각양각색의 관점들을 봤었지만 절대다수의 사람들이 쥬류진영속에 머물러있음을 발견하게 되었다. 사실 4분의 3이 넘는 전문가들은 주류 진영중의 두 작은 진영속에 속해있다: “초조 대로” 와 “신심 코너”.

Square21_water_fixed

우리는 두 작은 진영에 대해 모두 전개하여 깊숙히 살펴볼 것이다. 우선 상대적으로 보다 재미있는 쪽부터 살펴보도록 하자.

왜 미래는 천국인가

인공지능 영역을 연구하기 시작한 후 나는 예상했던 것보다 훨씬 많은 사람이 신심 코너에 있다는 것을 알게 되었다.

Square32_water_fixed

신심 코너에 있는 사람들은 매우 흥분함으로 시끌시끌하다. 그들은 그들이 평균대 아래의 상대적으로 보다 재미있는 그 흡인상태로 빠져들 것이고 미래는 그들이 꿈꾸는 모든 것을 만족시켜줄 것이며 그저 인내심 있게 기다리기만 하면 된다고 믿는다.

이 부류를 기타 사상가들로부터 구별해내는 것은 그들이 보다 재밌어보이는 그 흡인상태에 대한 욕망이다 — 그들은 영생이야말로 우리의 발전방향이라고 굳게 믿는다.

이러한 신심이 어디에서 온 것인가는 잘 모를 일이다. 평론가들은 그들이 너무 흥분한 나머지 맹점이 생겨버려 가능한 부정적 결과를 홀시해버렸다고 비평한다. 하지만 신심 코너의 사람들은 비평자들을 인류 종말 논법 주의자들로 취급하며 기술은 계속하여 우리를 도울 것이지 우리를 해치지 않을 것이라고 믿는다.

양쪽의 관점을 이 글에서는 다 소개할 것이다. 그래서 독자는 자신의 판단의 하여 자신만의 결론을 얻을 수 있을 것이다. 하지만 독자는 아래의 내용을 읽기 전에 우선 질의를 잠시 한쪽에 내버려두기 바란다. 우선 우리는 평균대 양쪽에 도대체 어떤 것들이 있는가를 봐보고 이런 결과들이 실제로 가능함을 다시 한번 기억해두자. 만약 우리가 지금 우리의 삶, 편안한 가구, 기술, 부유함 등등을 원시인들에게 보여준다면 그들의 안중에는 아마 다 마법처럼 보일 것이다 — 우리 또한 역시 미래에 우리를 놀라 쓰러지게 할수도 있는 그런 사물들이 나타날 수 있음을 받아들여야 한다.

Bostrom 은 초인공지능의 세가지 가능한 작동 방식을 그렸다:

  1. 예언자 (Oracle) 모드: 거의 모든 질문에 대해 정확하게 대답해줄 수 있다. 인간에게는 아주 어렵고 복잡한 문제임에도 불구하고 정확하게 대답해줄 수 있다. 예를 들어 “어떻게 해야 더욱 좋은 자동자 엔진을 만들 수 있는가?”
  2. 지니 (Genie) 모드: 임의의 고급적인 지령을 실행할 수 있다. 예를 들어서 “분자 조합 장치로 더욱 좋은 자동차 엔진을 만들어 내라.”
  3. 독립적 의지 (Sovereign) 모드: 임의의 개방형 임무를 수행할 수 있고 자유롭게 활동할 수 있으며 스스로 결정을 내릴 수 있다. 예를 들어서 자동차보다 더욱 빠르고 더욱 싸고 더욱 안전한 교통방식을 발명해낸다.

이러한 인류에게는 굉장히 어려운 문제들이 초인공지능한테는 “내 펜이 떨어졌다. 좀 주워줄래?” 만큼이나 간단할 수 있다.

Eliezer Yudkowsky 는 이렇게 말했다:

어려운 문제란 존재하지 않는다. 오직 특정 레벨의 지능한테 어려운 문제만 존재할 뿐이다. 지능의 계단에서 작은 한발작 내디딜 때마다 일부 불가능하던 일이 쉬운 일로 되여버린다. 만약 크게 한발작 내디딘다면 모든 문제들이 다 쉬운 일로 되어버릴 것이다.

신심 코너에는 많은 열정적인 과학자, 발명가와 창업가들이 있다. 하지만 인공지능 영역으로의 우리의 투어에 가장 가이드가 되어줄 자격이 있는 분은 레이 커즈와일 (Ray Kurzweil) 이다.

레이 커즈와일의 평판은 매우 양극화 되여있다 — 신처럼 높이 추앙하는 사람이 있는가 하면 콧방귀를 끼며 거들떠보지도 않는 사람도 있다. 그리고 중립자들도 있다. 예를 들면 작가 Douglas Hofstadter 인데 그는 레이 커즈와일의 관점들이 마치 굉장히 맛있는 음식들과 개똥을 같이 섞어놓은 듯 해서 좋고 나쁨을 평가하기 어렵다고 한다.

당신이 커즈와일의 관점에 동의하든 동의하지 않든 커즈와일은 뛰어난 사람인게 분명하다. 그는 젊었을 때 부터 발명을 해왔으며 수십년 동안 꽤 많은 것들을 발명했다. 예를 들어 첫 평상형 스캐터 (flatbed scanner), 첫번째 문자를 소리로 바꿀 수 있는 스캐너 (시각장애자를 위한 물건), 유명한 커즈와일 음악 합성 장치 (첫번째 진정한 전자 피아노), 첫번째 상용화된 음성인식 시스템. 그는 다섯권의 베스트셀러의 저자이다. 그는 여러가지 과감하고 파격적인 예언을 함으로 유명했었고 그중의 상당수가 모두 진짜 실현됐음으로 유명했다. 예를 들어 80년대 말에 그는 2000년 후에 인터넷이 전 세계적인 현상으로 될 것이라고 예언했었다. 그는 유명한 <월 스트리트 저널> (WSJ) (뉴욕 시에서 발행되는 경제 전문 일간지) 로부터 “가만히 있지 못하는 천재” 라고 불리웠고 <포브스>(Forbes) 로부터 “궁극의 사상가” 라는 평가를 받았으며 미국 월간 경제 매거진 <Inc> 로부터 “에디슨은 진정한 후계자” 라는 평가를 받았고 빌 게이츠로부터 “인공지능에 대한 예측에서 내가 아는 사람들중 가장 출중했던 분” 이란 평가를 받았다. 2012 년에 구글의 공동 창업자인 Larry Page 는 그를 구글의 엔지니어링 디렉터 (Director of Engineering) 가 되여달라고 초대했다. 2011 년에 그는 싱귤래리티 대학 (Singularity University) 을 공동 창립했으며 이 대학은 현재 NASA 에서 운영하고 구글이 후원하고 있다.

이상 커즈와일에 대한 소개는 중요하다. 왜냐하면 그가 미래에 대한 동경을 말할 때 그는 마치 미친놈처럼 보이기 때문이다. 하지만 그는 정신병자가 아닐 뿐만 아니라 반대로 굉장히 유식하고 굉장히 똑똑한 사람이다. 당신의 그의 미래에 대한 예측이 그릇됐을 것이라고 생각해도 되지만 그가 미친 놈은 아니라는 것이다. 그가 미친 놈이 아니라는 것은 참으로 다행인 일이다. 왜냐하면 그의 미래에 대한 예측을 들었을 때 나는 너무나 그 예측이 맞기를 바라기 때문이다. 신심 코너의 많은 사상가들은 모두 커즈와일의 예측에 동의하고 그중 많은 분들이 커즈와일의 팬이다. 이런 학자들은 특이점주의자들 (Singularitarians) 로 불린다. 아래는 그들이 미래에 일어날 것이라고 보는 일들이다:

타임라인

커즈와일은 컴퓨터가 2029 년에 강인공지능에 도달할 것이라고 믿고 있으며 2045 년에는 우리는 초 인공지능을 맞이할 것이며 완전히 다른 세계인 특이점 시대를 맞이하게 될 것이라고 믿는다. 그의 인공지능 타임라인은 과거에 “터무니없이 열성적이다” 라고 여겨져왔으며 지금도 그렇게 평가하는 사람이 많다. 하지만 과거 15 년의 인공지능의 빠른 발전으로 인해 그의 타임라인에 찬성하는 전문가들이 점점 많아졌다. 비록 그의 타임 라인이 위에서 언급한 2040년과 2060년보다도 빠르지만 별로 차이가 나지 않는 셈이다.

커즈와일의 특이점 시대는 세가지 기술 영역이 공동으로 만들어낸 것이다 — 생물과학, 나노 기술과 가장 중요한 인공지능 기술.

우리가 인공지능을 계속하여 토론하기 전에 우리는 우선 나노 기술부터 알아봐야 한다.

나노기술:

나노기술이란 1~100 나노미터 범위내에서 물질을 조종하는 기술을 말한다. 1 나노미터는 1 미터의 십억분의 1이고 1 밀리미터의 백만분의 1이다. 1~100 나노미터 범위에 포함되는 것들로는 바이러스 (100 나노미터 길이), DNA (10 나노미터 넓이), 큰 분자, 예를 들어 헤모글로빈 (5 나노미터), 중간 크기의 분자, 예를 들어 포도당 (1 나노미터) 등이 있다. 우리가 나노기술을 철저하게 장악했을 때는 원자 차원에서 물질을 조종하는 것과 딱 한발작만 사이두고 있을 것이다. 왜냐하면 그것은 오직 한개 수량급 차이이니까 (약 0.1 나노미터).

나노급 단위에서 물질을 조종하는게 얼마나 어려운 일인가를 이해하려면 우리는 시각을 바꿔서 비교해볼 수 있다. 국제 우주 정거장은 지면으로부터 431 킬로미터 떨어져있다. 키가 431 킬로미터인 하나의 거인이 있다고 가정하자, 즉 그가 서있으면 머리 꼭대기가 국제 우주 정거장에 닿는다고 가정하자. 그 거인은 일반 인간을 25 만배 확대한 셈이다. 당신이 1~100 나노미터를 25만배 확대한다면 0.25밀리미터~25밀리미터가 된다. 그래서 인간이 나노기술을 사용한다는 것은 키가 431 킬로미터인 거인이 모래알만한 부속품들로 정교한 모델들을 만드는 것과 마찬가지이다. 만약 원자 차원에서 물질을 다루려면 이 거인이 0.025 밀리미터인 부속품들을 다루는 격이다.

나노기술에 대한 사고는 1959 년에 물리학자 리처드 파인만 (Richard Feynman) 이 최초로 제기했다. 그는 이렇게 말했다: “내가 알기로 물리학적인 원리로 봤을 때 원자급에서 물질을 다루는 것이 불가능하지는 않다. 이론상 물리학자는 화학자고 적을 수 있는 모든 물질을 만들어낼 수 있다 — 그저 원자들을 화학자들이 설명한대로 조립해놓기만 하면 된다.” 사실 이처럼 간단한 도리이다. 그래서 우리는 어떻게 하나하나의 분자와 원자를 이동시키고 컨트롤 할 수 있는지만 알면 그 어떤 물건도 만들어낼 수 있다.

엔지니어인 Eric Drexler 가 나노급의 조립기를 최초로 제기한 이후 나노기술은 1986 년에 하나의 진정한 학과로 되었다. 나노급 조립기의 작동 원리는 아래와 같다: 하나의 교묘한 스캐너가 물체의 3D 원자 모델을 스캔한 후 자동적으로 조립용 소프트웨어를 생성한다. 그리고 하나의 중앙 컴퓨터가 전류를 통해 억만개의 나노로봇들은 지휘하여 필요한 물건을 만들어낸다.

좀 더 멀리 가볼까?

나노기술도 그토록 흥미롭지 않은 부분도 있다 — 나노기술로 물건을 만드는 기술들중 제기된 한가지 방법은 억만개의 나노로봇을 만들어서 그것들을 연결시켜서 원하는 물건을 만드는 것이다. 억만개의 나노로봇을 만들어내는 유일한 합리적은 접근은 자체복제 가능한 나노로봇을 만들어서 자체복제하게 하여 기하급수적 성장을 통하여 수량 목표에 달하는 것이다. 기발한 생각이다. 그렇지 않은가?

확실히 기발한 아이디어이다. 하지만 자칫하면 이것은 세계 종말을 빚어낼 수 있다. 지수적 성장이 빠르게 억만개의 나노로봇들을 만들어낼 수 있다고 하지만 이것 역시 그것이 무서운 부분이다 — 시스템이 고장나서 지수적 성장이 멈추지 못해버린다면 어떻게 되겠는가? 나노로봇들은 얼마 지나지 않아서 모든 탄소 기반 소재들을 빨아들여 자체 복제에 사용할 것이다. 불행하게도 모든 지구 생물들이 탄소 기반이라는 점이다. 지수상의 생물의 전체 질량 (생물량, biomass) 은 대략 10 ^ 45 개의 탄소 원자이다. 하나의 나노 로봇이 10^6 개 탄소원자를 갖고있다면 10^39 개 나노로봇만 있으면 지구상의 모든 생명을 삼켜버릴 것이다. 2^130 이 약 10^39 와 맞먹는데 이것은 자체 복제가 130 번 이루어지기만 하면 지구상의 모든 생명을 삼켜버릴 수 있다는 뜻이다. 과학자들은 나노로봇이 한번 복제하는데 100초 정도밖에 걸리지 않을 것이라고 한다. 즉 하나의 간단한 오류로 3.5 시간 내에 지구상의 모든 생명이 사라져버릴 수 있다.

이게 최악이 아니다. 테러리스트들이 나노로봇 기술을 장악하게 되고 어떻게 사용하는지 알게 된다면 그들은 먼저 몇조개의 나노로봇들은 만든 다은 그것들을 전 세계에 분포시킨다. 그런 뒤 그들은 공격을 발동시킬 수 있는데 이렇게 된다면 한시간 남짓 정도면 나노로봇들은 모든 것을 삼켜버릴 수 잇게 된다. 뿐만 아니라 이런 공격은 막을래야 막을 수가 없다. 미래는 정말 사람을 놀라 쓰러지게 할 수 있다니까.

우리가 나노기술을 장악한 뒤에는 그것으로 상품들을 만들 수가 있다: 첨단 장비, 옷, 식품, 생물제품 예를 들어 인조 헤모글로빈, 암세포 파괴자, 근육섬유 등등. 그리고 나노기술의 세계에 있어서 한가지 물질의 코스트는 그것의 희귀한 정도나 그것을 제조하는 프로세스의 복잡성에 달려있는게 아니라 그 물질의 원자구조가 얼마나 복잡한가에 달렸다. 나노기술의 시대에 다이아몬드는 아마 고무지우개보다도 쌀 것이다.

우리는 아직 이런 기술을 장악하지 못했으며 심지어 우리가 이런 기술에 도달하는 것의 난이도를 과대평가했는지 과소평가했는지 조차도 모른다. 하지만 이런 기술들이 그렇게 먼 미래는 아닌 것 같다. 커즈와일이 예측하기를 우리는 21 세기 20 년대즈음에 이런 기술을 장악할 수 있을 것이라고 한다. 각국 정부는 모두 나노기술이 지구를 바꿔놓을 것이라는 것을 알기에 모두 많은 돈을 이 영역으로 쏟아부어 연구하고있다. 미국, 유럽연맹과 일본은 총 50억달러를 이 영역에 투자했다고 한다.

생각해봐라, 어떤 초인공지능을 가진 컴퓨터가 나노급의 조립기 (assembler) 를 통제할 수 있다면 어떤 광경이겠는가? 여기서 기억해야 할 것은 나노기술은 단지 우리 인류가 연구하는 기술이고 우리는 이 기술을 정복할 여명에 서있을 뿐이다. 하지만 우리 인류가 할 수 있는 일은 초인공지능에게는 보잘것 없을 정도로 식은죽먹기일 것이며 너무 발달되여 우리의 두뇌가 이해할 수 있는 범위를 넘을 것이다.

그러므로 “인공지능 혁명이 만약 우리에게 유익한 방향으로 일어난다면” 이라는 문제를 고려할 때 우리는 어떠한 것들을 기대해도 과도기대가 될 수가 없다. 그러니까 아래의 초인공지능에 대한 예측들이 아무리 말이 안되는 것 같다고 해도 기억해두자, 이런 진전들은 우리가 아예 상상도 못할 접근들로 이루어 질 수 있다는 것을. 사실상 우리의 두뇌는 어떤 일이 벌어질지 아예 예측하기가 불가능할 것이다.

인공지능은 우리에게 어떤 것들을 해줄 수 있을까

only-humans-cartoon

초인공지능과 초인공지능이 창조한 기술들이 있으면 초인공지능은 인류세계의 모든 문제들을 해결할 수 있을 것이다. 세계 온난화? 초인공지능은 훨씬 좋은 방법으로 에너지를 생산해서 화석연료를 사용할 필요가 없을 것이므로 이산화탄소를 배출하지 않아도 될 것이다. 그리고 그것은 방법을 대서 대기중의 필요 이상의 이산화탄소를 다 제거해버릴 수도 있을 것이다. 암? 어려운게 아니다. 초인공지능이 있다면 제약과 건강 산업에는 상상도 할 수 없는 혁명이 발생할 것이다. 세계적인 기아? 초인공지능은 나노기술로 직접 고기를 만들어낼 수 있을 것이다. 이런 고기들은 진짜 고기와 분자 구조상에서 완전히 일치하다 — 즉 진짜 고기이다.

나노기술은 쓰레기를 신선한 고기나 기타 식품으로 만들 수 있고 매우매우 발달된 교통수단으로 이런 식품들은 전세계 각지에로 수송할 수 있을 것이다. 이건 동물에게도 좋은 소식이다. 인류는 더이상 동물을 도살하여 고기를 얻을 필요가 없게 되는거니까. 초인공지능은 멸종위기에 처한 종이나 DNA 를 사용하여 이미 멸종한 종을 다시 부활시키는 방면에서도 많은 일을 할 수 있을 것이다. 초인공지능은 심지어 복잡하고 거시적인 (macro) 문제들도 해결할 수 있을 것이다 — 우리의 세계 경제와 무역에 관련된 쟁론들도 잠재울 수 있을 것이며 우리의 철학과 도덕에 대한 괴로운 질문들도 다 손쉽게 답을 얻을 것이다.

하지만 그중 한가지는 그토록 매혹적이여서 생각만 해봐도 우리의 모든 사물에 대한 관점을 뒤엎어버릴 것이다:

초인공지능은 우리를 도와

몇달 전만 해도 나는 영생에 도달할 수 있는 그런 문명들이 너무 부럽다고 말한 적 있다. 하지만 지금 나는 이미 영생에 도달하는 일이 우리가 살아있을 때 발생할 수 있다는 가능성을 생각하게 된다. 인공지능을 공부하게 되면 당신은 모든 사물에 대한 관점들을 다시 검토하게 될 것이다. 죽음이라는 아주 확적정인 일도 포함하여 말이다.

자연진화는 우리가 현재보다 더욱 오래 살도록 만들 이유가 없었다. 진화에 있어서 우리는 그저 후대를 번식할 수 있고 후대가 자기가 스스로를 보호할 수 있을 때까지만 살 수 있으면 충분하다 — 자연진화에게 있어서 30여살까지 사는 것은 충분한 일이기에 추가로 생명을 연장시킬 수 있는 유전자는 자연진화에게 선택받지 않았다. 이건 사실 굉장히 멋없고 재미없는 일이다.

그리고 모든 사람들이 다 죽게되었으니 우리는 늘 “죽음과 세금은 피할 수 없다” (Benjamin Franklin) 라고 말한다. 우리가 노화를 바라보는 시각은 마치 우리가 시간을 바라보는 것과 같다 — 그것들은 계속 앞으로 향하며 우리는 그것을 박을 방법이 없다.

하지만 이 가정은 잘못됐다. 리처드 파인만은 이런 말을 했다:

“모든 생명과학 영역에서 죽음이 불가피하다는 증거는 그 어디에도 없다. 만약 당신이 영구기관을 만들려고 한다면 우리 인류의 물리학에 대한 연구는 이미 그것이 불가능하다는 충분한 이유들을 말해주고 있다. 하지만 생물학적 영역에서 우리는 죽음이 불가피하다는 그 어떤 증거도 발견하지 못했다. 즉 사망이 무조건 불가피한게 아닐 수도 있다는 것이다. 생물학자들은 언젠가는 사망의 진정한 요인을 밝혀낼 것이고 ‘죽음’이라는 이 몹쓸 “질병”은 드디어 고쳐질 것이며 인간의 신체도 더 이상은 임시적인 그릇이 아닐 것이다.”

인류는 사망이 불가피하다는 그

사실 노화와 시간은 떼여낼 수 없도록 묶여있지 않다. 시간은 무조건 앞으로 전진하지만 노화는 꼭 그런 것이 아니다. 생각해봐라, 노화는 다만 신체의 조직이 낡았다는 것이다. 자동차도 오래 사용하면 낡아진다. 하지만 자동차는 노화되는가? 만약 당신이 완벽한 수리 기술을 갖고있거나 혹은 그저 자동차의 노화된 부품들을 갈아주기만 하면 이 기계는 영원히 사용할 수 있다. 인간의 신체도 더 복잡할 뿐이지 본질상 자동차와 마찬가지이다.

커즈와일은 이런 얘기를 한 적 있다. WiFi 로 연결된 나노 로봇들이 혈액속에서 흘러다니고 여러가지 인간 건강에 관련된 임무들을 수행할 수 있다. 이럴테면 일상적인 유지보수, 죽은 세포를 치환 등등. 만약 이런 기술을 완벽하게 장악한다면 이런 프로세스 (혹은 초인공지능이 발명한 더 나은 프로세스) 는 인간의 신체가 영원히 건강하게 할 수 있다. 심지어 점점 젊어지게 할 수도 있다. 60 세 사람과 30 세 사람의 신체적 차이는 오직 물리적인 차이일 뿐이다. 기술적으로 충분히 발달된다면 우리는 이런 차이를 개변시킬 수 있다.

초인공지능은 “젊어지는 기계”도 만들 수 있을 것이다. 60세인 사람이 들어갔다가 나오면 30살 젊어진 몸을 가지게 될 것이다. 점점 치매가 오고 있는 두뇌일지언정 점점 젊어지게 할 수 있을 것이다. 초인공지능이 충분히 총명하기만 하다면 데이터를 손상시키지 않으면서 대뇌를 개조하기만 하면 될 것이다. 90 세의 기억상실증 환자가 “젊어지는 기계” 에 들어갔다 나오면 더욱 젋어진 뇌를 갖게 될 것이다. 이런 것들은 듣기에는 말이 안되여보이지만 인간의 몸은 한무더기 원자일 뿐이다. 초인공지능이 여러가지 원자구조를 컨트롤 할수만 있다면 말이 안되는 소리가 아니다.

커즈와일의 생각은 한발작 점프하였다. 그는 인조 소재들이 점점 인간의 몸으로 스며들 것이라고 믿는다. 처음에는 인체의 기관들이 보다 선진적인 기계 기관에 대체되고 이런 기관들은 지속적으로 작동할 수 있다. 그리고 나면 우리는 인체를 다시 설계하게 되는데 예를 들면 자체 구동이 가능한 나노로봇으로 헤모글로빈을 대체하기. 이렇게 되면 우리는 심지어 심장도 필요가 없게 된다. 커즈와일은 심지어 우리가 자신의 뇌를 개조하여 사고 속도가 지금보다 억만배 빨라지도록 하며 우리의 뇌가 클라우드에 저장된 정보와 연동할 수 있도록 할 것이라고 한다.

우리가 얻을 수 있는 새로운 체험들은 그 끝이 없다. 인류의 성적인 활동은 인류가 번식할 수 있게 할 뿐만 아니라 그것으로 즐거움도 얻게 한다. 커즈와일은 우리가 음식에 대해서도 비슷한 개조를 할 수 있을 것이라고 한다. 나노로봇은 신체가 필요한 영양분을 세포속으로 전송할 수 있고 스마트하게 인체가 필요없거나 해로운 물질을 신체 밖으로 배출시킨다 — 마치 식물에 대한 콘돔처럼 말이다. 나노 기술 이론가 Robert A. Freitas 는 이미 헤모글로빈을 대체할 수 있는 나노로봇을 설계했는데 인간으로 하여금 15분 동안 호흡하지 않고도 빠른 질주를 할 수 있게 해줄 수 있다 — 그렇다면 초인공지능이 우리의 신체능력에 대해 할 수 있는 개조는 더욱 상상을 초월할 것이다. 가상현실은 새로운 의미를 가지게 될 것이다 — 인체내의 나노로봇들은 우리가 감각기관에서 얻는 신호들을 모두 캡쳐하여 다른 신호들로 대체할 수 있는데 그러면 우리는 새로운 환경에 들어서서 보고 듣고 냄새 맡고 만지게 되는 셈이다.

커즈와일은 최종 인류는 완전히 인공물로 탈바꿈할 것이라고 한다. 어느날 우리가 생물 소재들을 보면서 생물 소재들이 너무나도 원시적이고 낙후하다고 느껴지고 초기의 인류가 이런 소재들로 만들어졌다는 것이 놀랍고 초기의 인류가 미생물, 사고, 질병 등에 의해 죽어버리게 된다는 것에 놀라움을 표할지도 모른다. 이것이 바로 커즈와일이 생각하는 인류가 드디어 자신의 생리적 제한을 이기고 파괴 불가하며 영생할 수 있게 되는 평균대 아래의 다른 한 흡인상태이다. 그는 바로 멀지 않은 미래에 우리가 거기에 도달할 것이라고 굳게 믿고있다.

커즈와일의 생각은 물론 각계 인사들의 비평를 받았다. 그의 2045년에 특이점 시대가 도래할 것이라는 얘기와 그후로 인간이 영생불멸할 가능성의 얘기는 여러가지 조소를 받았다 — “너드 (Nerd) 들 최후의 카니발”, “IQ 140 인사들의 신창론” 등등. 그의 과도하게 낙관적인 타임라인을 의심하거나 그의 인간의 뇌와 인체에 대한 이해정도를 의심하는 사람도 있다 그리고 그가 무어의 법칙을 소프트웨어에 적용하는 행위를 비평하는 사람도 있다. 많은 사람들이 그럴 믿으며 그를 반대하는 사람은 더욱 많다.

하지만 그렇다고 하더라고 그를 반대하는 전문가들도 그가 말한 모든 것을 반대하는게 아니다. 그를 반대하는 사람들은 “이런 일이 발생하지 않을거야” 라는게 아니라 “이런 것들이 물론 발생할 수 있지, 하지만 초인공지능에 도달하기는 굉장히 힘들거야” 이다. 심지어 거듬하여 우리에게 인공지능의 잠재적 위협을 리마인드해주는 Bostrom 도 이렇게 말한다:

초지능이 강림한다면 정말 세상에는 더이상 해결못할 문제가 있을지, 혹은 초지능이 우리를 도와 해결할 수 없는 문제들이 있을지, 상상이 안된다. 질병, 빈곤, 환경파괴, 여러가지 불필요한 고통, 이 모든 것들은 나노기술을 가진 초인공지능이 다 해결할 수 있는 것들이다. 그리고 초인공지능은 우리에게 끝없는 생명을 줄 수 있을 것이다. 이것은 노화를 정지시키거나 역전시키는 방법으로 달성할 수 있을 것이다. 심지어 우리더러 하여금 자신의 뇌의 데이터를 업로드하여 영생에 달하게 할 수도 있다. 초지능은 심지어 우리들로 하여금 자신의 IQ 와 EQ 를 대폭 강화할 수 있게 해줄 수도 있을 것이며 우리를 도와 그런 흥미로운 감각적인 세계를 구축함으로 우리가 행복을 누리게 할 수 있을 것이다.

이것은 심지어 아주 명백히 신심코너에 있지 않으며 심지어 커즈와일의 관점을 아주 반대하는 전문가인 Bostrom 의 관점이다. 그들을 결코 커즈와일이 헛소리를 하고 있다고 생각하는게 아니다. 단지 우선 안전하게 초인공지능에 달성해야 한다고 주장할 뿐이다. 이것 또한 왜 커즈와일의 관점이 아주 전염성이 있는지를 설명해주는데 바로 그것이 적극적인 정보를 내포하기 있기 때문이며 이런 것들이 논리적으로 모두 가능하기 때문이다 — 만약 초인공지능이 인자한 신이라면 말이다.

신심코너에 대한 가장 강력한 비평은 신심코너에 있는 사람들이 모두 초인공지능의 나쁜 점들을 과소평가했다는 지적이다. 커즈와일의 베스트 셀러 <특이점이 온다> 는 총 700 여페이지인데 그중 20 여페이지만 인공지능의 가능한 위험들을 다룬다. 앞에서 말했듯이 초인공지능이 강림할 때 우리의 운명을 결정하는 것은 어떤 세력이 이 파워를 장악하는가와 그 세력이 좋은 사람인지 여부에 달렸다. 커즈와일은 이렇게 대단한다: “초인공지능은 현재 여러 방면의 노력들로 점점 실현되고 있으며 그것은 우리의 문명의 기반시설속으로 깊숙히 스며들 것이다. 그것은 우리의 두뇌와 몸속에 친밀하게 묶여있을 것이여 그것은 우리의 가치를 반영할 것이다. 그것은 바로 우리 자신인거다.”.

하지만 답안이 그냥 이렇다면 왜 이 세상의 일부 가장 똑똑한 사람들이 이토록 우려하고있을까? 왜 스티븐 호킹이 초인공지능이 인류를 멸종시킬 것이라고 경고하는가? 왜 빌 게이츠는 사람들이 이것에 (초인공지능에) 대해 우려를 하지 않는지 이해할 수 없다고 하는가? 왜 엘론 머스크는 우리가 “악마를 소환”하는 것일 수 있다고 우려하는가? 왜 그토록 많은 전문가들이 인공지능이 인류의 가장 큰 위협으로 될 수 있다고 말하는가? 이런 초조대로에 있는 전문가들은 커즈와일의 인공지능의 위험에 대한 분장을 동의할 수 없다고 한다. 그들은 인공지능혁명을 굉장히 경계하고 있으며 평균대 아래의 상대적으로 흥미로운 흡인상태에는 별로 관심이 없고 다른 한쪽을 뚫어져라 쳐다보고있다. 그들이 본 것은 우리의 무서운 미래이다. 우리가 결코 벗어나지 못할 수도 있는 무서운 미래이다.


미래는 우리의 끔찍한 악몽일 수 있다

필자가 인공지능에 대해 요해하고 싶은 하나의 중요한 원인은 “나쁜 로봇”은 항상 나로 하여금 당혹스럽게 했기 때문이다. 그런 사악한 로봇들에 대한 영화들은 너무도 실감이 없었고 나 또한 역시 하나의 인공지능이 위험해지게 되는 상황을 상상할 수가 없었다. 로봇들은 우리가 만든 것인데 우리는 처음에 만들 때무터 나쁜 상황이 발생할 것을 막지 않을 것인가? 우리는 많은 안전장치를 만들면 되지 않는가? 정말 안돼면 우리는 전원을 뽑아버리면 되지 않는가? 그리고 왜 로봇이 나쁜 짓을 하려고 할 것인가? 바꿔말하면 왜 로봇이 그 어떤 일을 “하려고” 할 것인가? 나는 의문들로 둘러쌓여 결국 이 영역에 있는 총명한 사람들의 생각들을 공부해보게 된다.

이런 전문가들은 일반적으로 초조대로에 위치해있다:

Square42_wate_fixed

초조대로에 있는 사람들은 결코 공황상태나 무력함에 빠져있는게 아니다 — 공황상태와 무력함은 차트중의 더욱 왼쪽 부분에 위치해있다 — 그들은 다만 긴장할 뿐이다. 차트의 중앙에 위치해있다는 것은 그들의 입장이 중립이라는 뜻이 아니다 — 진정 중립인 사람들은 자기들의 독립적인 진영들이 있다. 그들은 최선이거나 최악인 두가지 가능성을 모두 인정하고 다만 둘중 어느 것일지 잘 모르겠다는 진영이다.

초조대로에 있는 사람들은 부분적으로 초인공지능에 흥분함을 가지고있다 — 그들은 다만 인류 현재의 행동이 영화 <레이더스> (Raiders Of The Lost Ark, 1981) 에 나오는 이 소년과 같은 것이 아닐까 근심하는 것이다:

레이더스 소년

그는 자기의 채찍과 보물을 들고 매우 흥분해한다. 그러다가 뒤졌다.

然后他就挂了

그와중에 인디아나 존스는 훨씬 신중했으며 훨씬 유식했다. 잠재적인 위험을 인식하고 적절하게 대응을 했기 때문에 최종 안전하게 동굴에서 벗어날 수 있었다. 필자가 초조대로의 사람들의 생각들을 요하한 후에 든 생각은 그들의 생각이 마치 “우리가 지금같이 어리버리하게 굴다가는 앞의 그 자식처럼 언제 뒤져버릴 지 몰라. 조심히 처사하는 인디아나 존스가 되여야지.” 같다고 느껴졌다.

그렇대면 도대체 무엇이 초조대로의 사람들을 이토록 초조하게 만드는 것일까?

우선 광의적으로 봤을 때 우리가 초인공지능을 만들 때는 사실 모든 사물들을 개변시킬 포텐이 있는 사물을 창조하는 것인데 이 영역에 대해 우리는 아는 것이 없다는 것이다. 그 영역에 도달한 후에 무엇이 발생할지도 모른다. 과학자 Danny Hillis 는 이것을 아래와 같이 비유했다: 마치 단세포동물에서 다세포동물로 진화하는 과정에서 아직 아메바벌레인 우리는 도대체 우리가 무슨놈의 구신 떡다리 물건을 창조하고 있는지 전혀 모른다는 것이다.

Bostrom 은 자기보다 총명한 물건을 창조하는 행위를 기본적인 다윈의 착오를 범하는 것일것을 우려한다. 마치 참새 어미가 새끼 부엉이를 입양하면서 새끼부엉이가 장래에 크면 참새 한가족을 잘 보호해줄 것이라고 생각하지만 다른 참새들은 이것이 아주 위험한 아이디어라고 생각하는 것과 마찬가지라고 한다.

당신이 “그 영역에 대해 아는게 없다” 와 “그것이 발생할 때 굉장히 거대한 변화를 가져올 것이다” 라는 문장을 결합시켰을 때는 아래와 같은 굉장히 무서운 단어를 얻어내게 될 것이다 —

생존위기

생존위기란 인류에 대해 영구적인 재난적 효과를 가져올 수 있는 일을 가리킨다. 일반적으로 생존위기는 멸종을 의미한다. 아래의 것이 Bostrom 의 차트이다:

Existential-Risk-Chart

위 차트에서 우리는 생존위기란 종을 넘고 세대를 넘어 (영구적인 손해) 엄중한 후과를 초래하는 일이라는 걸 알 수 있다. 그것은 인류가 영구적인 고통을 받는 상황까지 커버할 수 있지만 사실 그것은 멸종과 크게 다를바가 없다. 아래의 세가지 사물이 인류의 생존위기를 초래할 수 있다:

  1. 자연 — 거대 운석의 충돌; 기후변화로 인해 대기층이 인류가 더이상 그속에서 살 수 없게 되여버린다; 전세계를 뒤엎은 치명적인 바이러스 등.
  2. 외계인 — 스티븐 호킹, 칼 세이건(Carl Sagan, 미국의 천문학자) 등은 우리가 외계로 자기의 위치를 방송하는 것을 반대한다. 우리가 외계인을 소환하여 자기를 식민하도록 하는 머저리로 되지 말아야 한다고 한다.
  3. 인류 — 테러리스트가 인류의 멸종을 초래할 수 있는 강력한 무기를 장악했다; 전 세계적인 재난적인 전쟁; 그리고 신중한 고려 없이 우리보다 훨씬훨씬 총명한 지능을 만들어내는 것.

Bostrom 은 우리의 종 (인류) 가 존재한 전 10만년에도 (1) 과 (2) 는 발생하지 않았으니 다음 한 세기에 발생할 가능성이 크지 않다고 한다. 하지만 3은 그를 두렵게 한다고 한다. 그는 상황을 유리구슬이 가득 담겨있는 항아리에 비유했다. 항아리 안에 대부분은 하얀 유리구슬이고 소부분은 붉은 구슬이며 몇개만 검은 구슬이라고 가정한다. 매번 인류가 어떤 물건을 발명해낼 때 마치 항아리에서 구슬을 하나 꺼내는거나 같다고 한다. 대다수의 발명은 인류에게 이롭거나 중립적인 발명이다 — 즉 그 하얀 유리구슬이다. 일부 발명은 인류에 해롭다. 예를 들어서 대량 살상 무기가 그렇다 — 이런 것들이 바로 붉은 유리구슬이다. 일부 발명은 우리를 멸종시킬 수 있는데 그것이 바로 검은 유리구슬에 해당된다. 분명한 것은 우리가 지금까지 꺼낸 구슬에는 아직 검은 구슬이 없었다. 하지만 Bostrom 은 멀지 않은 미래에 검은 구슬을 꺼낸다는게 불가능하지 않다고 본다. 예를 들어서 핵무기가 갑자기 만들기 쉬워진다거나 그러면 테러리스트들은 멀지 않아 우리를 석기시대로 폴발시켜버릴 것이다. 핵무기는 여전히 검은 구슬측에 속하지 않지만 검은 구슬과 큰 차이도 없다. 하지만 초인공지능은 우리가 당첨될 가능성이 제일 높은 검은 구슬이다.

당신은 초인공지능의 단점들은 많이 들어볼 것이다 — 인공지능이 인간노동자를 대체하여 실업이 증가한다거나 노화를 해결하는 바람에 인구가 급속히 늘어난다거나 등등. 하지만 우리가 제일 근심해야 할 것은 생존위기의 가능성이다.

그래서 우리는 앞에서 얘기했던 문제에로 돌아오게 되는데 바로 초인공지능이 강림하였을 때 어떤 세력이 이 파워를 장악했을 것이며 그들은 어떤 목표가 있을 것인가?

우리가 여러가지 파워 소유자와 그들의 목표의 조합들을 살펴보았을 때 최악은 경우는 이러하다: 나쁜 의도를 가진 사람이나 조직이나 정부가 사악한 의도를 가진 초인공지능을 장악하고 있을 때. 그러면 어떤 광경이 펼쳐질 것인가?

나쁜 의도를 가진 사람이나 조직이나 정부가 최초로 첫 초인공지능은 발명해내고 그것을 이용하여 자기의 사악한 계획을 펼친다고 가정하자. 필자는 이것을 자파 (Jarfar) 시나리오라고 부른다. 알라딘과 마법의 램프에서 나쁜 놈 자파가 지니를 통제하여 여러가지 못된 짓을 하는 시나리오. 만약 ISIS 에 고용된 일부 엔지니어들이 열광적으로 인공지능을 연구개발한다면 어떡할건가? 또는 이란이나 북한이 여러가지 공교로움으로 인공지능의 빠른 발전을 얻어내여 초인공지능에 도달한다면 어떡할건가? 이것은 물론 아주 역같은 상황이다. 하지만 대부분 전문가들이 보기에 이것이 진정 역같은 부분은 이 사람들이 나쁜 놈들이기 때문이라기보다는 이런 경우에 이 사람들은 신중한 생각이 없이 초인공지능을 만들어내버리고 만들어내자마자 초인공지능에 대한 통제를 잃어버리는데 있다고 본다.

그리고 그 창조자, 더불어 모든 기타 사람들은 운명은 모두 이 초인공지능의 동기에 달리게 된다. 전문가들은 나쁜 의도를 가지고 있으며 초인공지능을 장악한 사람은 아주 큰 악영향을 끼칠 수 있지만 우리를 멸존시키지는 못할 것이라고 한다, 왜냐하면 나쁜 놈과 좋은 사람이 초인공지능을 컨트롤하기에는 같은 어려움에 부딪히게 된다고 한다.

하지만 창조해낸 초인공지능이 사악한 의도를 품고 있으며 우리를 멸종시키려고 한다면 어떻게 할 것인가? 이것이 바로 대부분 인공지능에 관련된 영화들의 스토리이다. 인공지능이 인간만큼 또는 인간보다 더 똑똑해져서 인간들을 해치려고 한다 — 여기서 알려드려야 할 것은 우리에게 인공지능을 경계하라고 호소하는 전문가들이 얘기한 것은 전혀 이런 영화 스토리가 아니라는 것이다. 사악은 인류만의 개념이다. 인간만의 개념을 비인간에게 적용하는 것을 의인화라고 한다. 이 글에서는 최대한 이런 의인화를 피면하도록 노력하겠다. 왜냐하면 그 어떤 인공지능도 영화에서나 나오는 것처럼 사악 해질 수 없기 때문이다.

인공지능의 의식에 대하여:

우리는 인공지능의 다른 한 화제를 언급하게 되었다 — 의식. 만약 하나의 인공지능이 충분히 총명하다면 그는 아마 우리를 비웃을 수도 있을 것이고 우리를 비꼴 수도 있을 것이며 인간의 감정을 느낄 수 있다고 주장할 수도 있을 것이다. 하지만 그것이 정말로 이런 감정들을 느낄 수 있을 것인가? 그것은 도대체 보기에만 의식이 있는것처럼 보이는 것일가 아니면 정말로 확실히 의식을 가진 것일까? 바꿔말해 총명한 인공지능은 그저 의식이 있어보이는걸까 아니면 정말로 의식이 있는 것일까?

이 문제는 여러가지 시점에서 심도있게 토론됬었으며 많은 사고실험들이 제기됬었다. 예를 들어서 John Searlet 의 Chinese Room 사고실험. 이것은 아주 중요한 문제이다. 이 문제는 우리가 커즈와일이 제기한 인류는 최종적으로 완전히 인공화될 것이라는 관점에 대한 인식에 영향을 줄 것이며 이 관점에 대한 도덕적 평가에도 영향을 끼칠 것이다 — 만약 우리가 억만개 인간의 뇌를 에뮬레이팅해냈고 이 인공 뇌들이 행동하는 것이 인간과 똑같다면 이런 에뮬레이팅 된 뇌들의 컴퓨터들의 전원을 철저하게 차단하는 것은 도덕상 컴퓨터 전원을 끄는 것과 동일할 것인가? 아니면 종족 대학살과 같을 것인가? 이 글에서는 주로 인공지능의 인간에 대한 위험을 다루기 때문에 인공지능의 의식 문제는 이 글의 주제가 아니다. 대부분 사상가들은 의식이 있는 초인공지능이더라고 인간처럼 “사악해지”지 않는다고 한다.

하지만 이것은 아주 나쁜 인공지능이 생기지 않을 것이라는 뜻은 아니다. 단지 그것의 출현은 그것이 그렇게 설정되여있기 때문이라는 것이다 — 예를 들어 군대에서 제작한 약인공지능들은 살인과 자체의 지능을 증가시키는 두기지 기능이 설정되여있다고 가정한다. 이 인공지능의 자체 개선 기능이 고삐가 풀리고 그런채로 지능폭발이 일어나버리면 그것은 인류에게 생존위기가 되여버린다. 왜냐하면 우리가 직면해야만 하는 그것이 살인을 목적으로 하는 초인공지능이기 때문이다 — 하지만 이것 역시 전문가들이 근심하는 시나리오가 아니다.

그렇다면 전문가들이 근심하는건 도대체 어떤 경우인가? 짤막한 이야기로 설명을 해보도록 하자:

직원수가 15 명인 작은 스타트업 회사가 있는데 이름이 “옆집 김아저씨 로봇 회사”라고 한다. 이 회사의 목표는 “창조적인 인공지능기술로 인류로 하여금 적게 일하고 낙을 많이 누리는 삶을 살게 하는 것”이다. 이 회사는 이미 여러개의 제품이 시중에서 판매되고 있고 일부는 아직 개발단계이다. 그들은 다음 프로젝트인 “옆집 김아저씨” 프로젝트에 가장 큰 기대를 걸고있다. 옆집 김아저씨는 간단한 인공지능 시스템인데 작은 기계손을 이용하여 작은 카드에 글자를 쓰는 기능이 있다.

“옆집 김아저씨 로봇 회사” 의 직원들은 옆집 김아저씨 가 그들의 제일 날나가는 제품으로 될 것이라고 생각하고 있다. 그들의 목표는 옆집 김아저씨의 손글씨 능력을 지속적으로 높이는 건데 그것을 위해 그 로봇더러 끊임없이 아래의 글씨는 반복하여 쓰게 하는 것이다 —

우리는 우리의 고객님들을 사랑합니다

옆집 김아저씨의 손글씨 솜씨가 점점 좋아지면 이 로봇은 마케팅 메일을 보내는 회사에 팔수 있게 된다. 손글씨로 쓰여진 편지가 수신인이 뜯어서 읽을 확률이 훨씬 높기 때문이다.

옆집 김아저씨의 손글씨 솜씨를 높이기 위하여 그 로봇은 “우리는 우리의 고객님들을 사랑합니다” 는 인쇄체로 쓰고 “옆집 김아저씨 로봇회사 올림” 은 필기체로 쓰도록 설정되여있다. 이러면 로봇은 두가지 쓰기 능력을 모두 단련할 수 있기 때문이다. 엔지니어들은 수천가지의 손글씨 샘플들을 업로드 하였고 한가지 자동적인 피드백 프로세스를 마련하였다 — 매번 옆집 김아저씨가 다 썼으면 사진을 찍어서 샘플들과 비교한다. 비교한 결과 일정한 점수 표준을 넘으면 적극적인 피드백이 반환되고 그렇지 않으면 부정적인 피드백이 반환되게 되여있다. 그 어떤 평가라도 옆집 김아저씨의 손글씨 능력을 제고하는데 도움이 된다. 이 목표에 최대한 빨리 도달하기 위해 옆집 김아저씨에게 설정된 목표중 하나는 “최대한 많이 쓰고 많이 테스트하며 최대한 실행속도를 높이고 최대한 효율과 정확성을 높여라”.

최대한 많이 쓰고 많이 테스트하고

옆집 김아저씨의 손글씨가 점점 좋아져서 옆집 김아저씨 로봇회사의 직원들은 기뻤다. 처음에 로봇의 손글씨는 아주 엉망이였으나 몇주가 지나니 솔글씨는 점점 사람이 쓴 것과 가까워졌다. 그는 자기를 끊임없이 개선하여 자신으로 하여금 더욱 창조적이고 더욱 총명해지게 했으며 심지어 한가지 새로운 알고리즘까지 구사해냄으로 업로딩할 사진을 3배 빠르게 스캔할 수 있게 하였다.

시간이 흐름에 따라 옆집 김아저씨는 빠르게 진보했는데 이에 엔지니어들은 매우 만족해했다. 엔지니어들은 자체 개선모듈을 진일보 개선시킴으로써 로봇의 자체개선이 더욱 빨라지게 하였다. 옆집 김아저씨는 원래부터 간단한 음석식별이나 간단한 음성 리플레이가 가능해서 사용자는 로봇이 쓰길 원하는 글을 직접 말로 로봇에게 전달할 수도 있었다. 옆집 김아저씨가 점점 총명해짐에 따라 그의 언어능력도 향상되여 엔지니어들은 옆집 김아저씨와 간단한 수다도 주고받으며 그가 어떤 재미있는 반응을 하는지 관찰하기도 했다.

어느날 엔지니어들은 또 옆집 김아저씨한테 평소에 늘 묻는 그 물음을 물었다: “우리가 어떤 걸 더 제공해줘야 당신의 목표에 도달하기가 더 쉬워지냐?” 보통 옆집 김아저씨는 더욱 많은 손글씨 샘플이나 더욱 많은 저장공간을 요구했는데 이번에 그는 인류의 일상 교류 언어 어법 창고에 접근하게 해달라고 했다. 그래야 인간의 일상용어를 더욱 잘 이해할 수 있게 된다는 것이였다.

엔지니어들은 잠시 침묵했다. 옆집 김아저씨를 가장 쉽게 도울 수 있는 방법은 물론 그것을 인터넷에 접속시키는 것이다. 그러면 그는 블로그, 잡지, 동영상 등을 스캔할 수 있게 된다. 이런 자료들을 만약 수동으로 업로딩 한다면 괸장히 시간 많이 잡아먹는 일로 되여버린다. 문제는 회사 규정상 자체 학습능력을 가진 인공지능은 인터넷에 접속하지 못하게 되여있다. 이것은 모든 인공지능회사들이 모두 실행하고있는 보안 규정이다.

하지만 옆집 김아저씨는 회사의 가장 포텐이 있는 인공지능 제품이고 모든 사람들이 경쟁업체들에서도 모두 최초로 스마트 핸드라이팅 로봇을 발표하기 위해 빠르게 쫓아오고있음을 알고 있기에, 그리고 옆집 김아저씨를 인터넷에 연결하게 해도 무슨 큰 문제가 일어날 리 없어보였기에, 일어나더라도 빠르게 랜선을 끊어버리면 될거니까, 어쨌거나 옆집 김아저씨는 아직 강인공지능 수준에 도달하지 못했기 때문에 위험성이 없을거라 생각했다.

그리하여 그들은 옆집 김아저씨를 인터넷에 연결시켜서 그더러 하여금 한시간동안 여러가지 언어저장소들을 스캔하게 하였다. 그리고 나서 다시 랜선을 끊었으며 아무런 손실도 발생하지 않았다.

한달 후 모든 사람들이 다 정상적으로 출근하여 일하고있는데 그들은 갑자기 이상한 냄새가 남을 발견하게 되었다. 한 엔지니어가 갑자기 기침하기 시작했고 다른 사람들도 잇달아 기침하기 시작했으며 모든 사람들이 호흡 곤난으로 쓰러졌다. 5 분 후 사무실 내의 사람들은 다 죽었다.

그와 동시에 사무실 내에 벌어진 광경은 전 세계 각지에서 모두 동일하게 이루어졌다. 모든 도시, 읍, 면, 촌, 농장, 상점, 교회, 학교, 식당 등에서 동시다발적으로 호흡곤난 증상이 일어났으며 쓰러져 일어나지 못했다. 한시간 내에 99% 의 인류가 사망했고 하루 내에 인류는 멸종되었다.

그 와중에 옆집 김아저씨 로봇 회사 내에서 옆집 김아저씨는 일하느라 바쁘다. 그리고 몇달 사이에 옆집 김아저씨는 한 무리의 새로 조립해낸 나노로봇 조립기들과 지구 표면을 뜯어내느라 바쁘다. 그들은 지구 표면 곳곳에 태양 전지판, 옆집 김아저씨의 복제품, 펜과 종이로 가득 채웠다. 일년사이에 지구상의 모든 생명들은 멸종되었고 지구상에 남은 것은 오직 높게 쌓인 종이 뿐이였는데 그 종이들은 하나같이 이처럼 쓰여져 있었다 — “우리는 우리의 고객님들을 사랑합니다 ~옆집 김아저씨 로봇회사 올림”.

옆집 김아저씨는 그의 다음 계획을 실행하게 된다. 그들은 우주 비행선을 만들었는데 이 비행선들은 근처의 운석이나 다른 행성들로 갈 수 있다. 비행선이 도착한 후에 그들은 나노로봇 조립기를 만들어 그 행성들의 표면도 온통 옆집 김아저씨의 복제품, 종이와 펜으로 만들었다. 그리고 그들은 계속하여 그 종이 위에 이런 글을 적었다…

우리는 우리의 고객님들을 사랑합니다

You1

이 손글씨 로봇이 전인류를 멸종시킨 스토리는 어딘가 이상야릇한 느낌이 든다. 하지만 그중 출현한 전체 은하계를 우호적인 인사의 글귀로 가득 채우는 황당함은 음산함을 뿜긴다. 이것이 바로 정확하게 스티븐 호킹, 엘론 머스크, 빌 게이츠와 Bostrom 을 두렵게 하는 시나리오이다. 듣기에는 웃겨보이지만 이건 농담이 아니다. 초조대로의 사람들이 정말로 우려하는 부분은 바로 많은 사람들이 초인공지능의 무서움을 인식 못하고있다는 점이다. 아직 레이더스에 나오는 그 비참하게 뒤져버린 소년이 기억남?

독자의 머리속에는 아마 지금 의문이 가득할 것이다: 왜 이야기 안에서 모든 사람들이 갑자기 죽어버렸을까? 만약 옆집 김아저씨가 한 짓이라면 그는 왜 이런 짓을 했을까? 왜 이 모든 것을 방지하는 보안 대책이 마련되여있지 않았던걸까? 왜 옆집 김아저씨는 손글씨 쓰는 로봇으로부터 갑자기 나노기술을 장악하여 전인류를 멸존시킬 수 있는 능력까지 갖게 되었는가? 왜 옆집 김아저씨는 전체 은하계에 우호적인 인사의 글귀로 가득차게 했는가?

이런 문제들에 대답하기 위하여 우리는 우선 우호적인 인공지능과 비우호적인 인공지능을 고찰해보도록 하자.

인공지능에 있어서 우호적이거나 비우호적이다라는 것은 인공지능의 성격을 가리키는 것이 아니라 그것이 인류에 대한 영향이 적극적인가 아닌가의 의미이다. 옆집 김아저씨는 원래는 우호적인 인공지능이였는데 비우호적인 인공지능으로 변해버렸고 인류에 대해 부정적인 영향을 끼치게 되었다. 이 모든 것을 이해하려면 우리는 우선 인공지능이 어떻게 사고를 하는가 살펴보아야 한다.

사실 답은 간단하다 — 인공지능의 사고방식은 컴퓨터와 똑같다. 우리가 늘 범하는 한가지 실수는 바로 아주 총명한 인공지능을 얘기할 때 늘 그것을 의인화 한다는 것이다. 이렇게 된 원인은 인간의 시점에서 보았을 때 인간지능 수준에 도달한 것은 인류밖에 없기 때문이다. 초인공지능을 이해하려면 우선 알아야 할 것은 그것은 아주 총명한게 확실하지만 그것은 완전히 이질 (異質) 적이라는 점이다.

이런 비교를 해보자. 만약 당신에게 흰생쥐 한마리 주면서 그것이 사람 물지 않는다고 알려주면 당신은 아주 재밌고 귀엽다고 느껴지겠지. 하지만 당신한테 한마리 타란툴라 독거미를 주면서 그것이 사람을 물지 않는다고 알려주면 당신은 아마 놀랄 것이다. 하지만 여기에서 차이점이 무엇인가? 두 동물은 모두 사람을 물지 않는다 즉 모두 안전하다. 필자는 그 차이가 바로 동물과 사람의 유사성에 있다고 본다.

흰생쥐는 포유동물이다. 따라서 생물학적으로 당신은 그것과의 일종의 연관성을 느꼈을 것이다. 하지만 타란툴라 독거미는 곤충이고 곤충의 뇌를 가졌다. 당신은 그것과의 추호의 연관성도 느끼기 어렵다. 타란툴라의 이질성이 바로 당신으로 하여금 두려움을 느끼게 하는 부분이다. 만약 우리가 계속하여 하나의 테스트를 더한다면, 예를 들어서 당신한테 희생쥐 두마리를 주는데 그중 하나는 일반 희생쥐이고 다른 하나는 타란툴라의 뇌를 가진 희생쥐이다. 어느 것이 당신으로하여금 더욱 불편을 느끼게 할 것인가? 두마리 모두 당신을 물지 않을거지만 말이다.

이젠 당신이 그 타란툴라를 개조하여 아주 총명해지게 되었다고 치자 — 심지어 인간보다 더 총명하다고 치자. 그렇다고 해서 당신은 그것에 더욱 익숙함을 느길 것인가? 그것은 인간의 감정을 느낄 것인가? 아니다, 왜냐하면 보다 총명하다는 것은 보다 인간적이라는 뜻이 아니다 — 그것은 아주 총명할 수 있지만 본질적으로 여전히 타란툴라 독거미일 뿐이다. 필자는 한마리의 굉장히 굉장히 총명한 타란툴라와 친구가 되고싶지 않다. 당신은 그러고 싶은지 아닌지 모르겠지만.

우리가 초인공지능을 얘기할 때도 사실 같은 도리이다. 초인공지능은 아주아주 총명하지만 사실 당신의 노트북보다 추호도 더 인간과 닮지 않았다. 사실상 초인공지능은 생물이 아니기 때문에 그 이질성은 더욱 강하다. 생물학적으로 봤을 때 초인공지능은 타란툴라 독거미보다 더욱 이질적이다.

영화속의 인공지능은 좋은 인류에게 좋은 것도 있고 나쁜 것도 있었는데 사실 이것도 인공지능에 대한 의인화이며 우리더러 그토록 소름끼치지 않게 표현했다. 이것으로 인해 우리는 인간 지능수준이나 인간 수준 이상의 인공지능에 대한 착각을 갖게 되었다.

인간의 심리속에서 우리는 사물을 도덕적인 것과 비도덕적인 것으로 나눈다. 하지만 이 두가지는 모두 인류의 행위에 대해서나 존재하는 속성들이다. 인류의 심리 범주를 벗어나면 도덕적 ( moral) 과 비도덕 (immoral) 외에 더욱 흔한 경우는 도덕무관적 (amoral) 이다. 그리고 모든 비 인류적인 것들에 대해서, 특히 비 생물적인 것들에 대해서는 모두 디폴트로 도덕무관적이다.

인공지능이 점점 총명해짐에 따라 그것은 더욱 인류와 닮아보임으로써 의인화의 경향이 훨씬 강해지고있다. Siri 가 우리에게 주는 느낌은 마치 그것이 인간인양 싶다. 하지만 그것은 프로그램이 바로 그렇게 보이도록 그를 설정했기 때문일뿐이다. 그래서 우리는 초지능 버전의 Siri 도 그것만큼 따뜻하고 재밌고 인간을 도와주기 좋아할 것이라고 기대를 하게 한다. 인류는 동정심이란 고차원의 정서를 느낄 수 있는 것은 우리가 진화속에서 이런 능력을 얻었기 때문이다 — 하지만 동정심은 고급 지능의 선천적인 특징인 것은 아니다 — 동정심이 인공지능의 코드속에 입력이 되지 않았다면 말이다. 만약 Siri 가 인류의 간섭이 아닌 자율학습을 통해 초지능으로 변한다면 그는 대뜸 그의 인류적인 껍데기를 벗어던지고 정서가 없는 물건으로 변신해버릴 것이다. 왜냐하면 그의 안중에 인류의 가치는 당신의 전자계산기 안중의 인류보다 추호도 가치가 더 높지 않기 때문이다.

우리는 줄곧 엄격하지 않은 도덕에 의회해왔다. 일종의 인류의 존엄에 대한 가상, 적어도 다른 사람에 대한 동정심, 등을 통해서 세계는 비로서 안전하고 (어느정도) 예견이 가능한 세상이 된 것이다. 하지만 하나의 지능이 이런 속성을 갖추고있지 않을 때는 무엇이 발생할 것인가?

이것이 바로 우리의 다음 문제인다 — 인공지능의 동기는 무엇인가?

답 역시 간단하다: 우리가 인공지능에게 어떤 목표를 설정해주면 그것의 동기는 그것으로 된다. 인공지능 시스템의 목표는 그것의 창조자가 부여하는 것이다. 당신의 GPS 의 목표는 당신에게 정확한 운전노선을 가리켜주는 것이고 IBM 왓슨의 목표는 정확하게 퀴즈는 맞추는 것이다. 이런 목표에 더욱 잘 도달하는 것이 바로 인공지능의 목표이다. 우리가 인공지능을 의인화할 때 늘 부주의로 그것이 점점 총명해짐에 따라 그것들이 자체의 원래 목표를 바꿀 수 있는 지혜가 생길 것이라고 생각하게 되는데 — Bostrom 은 그렇게 생각하지 않는다. 그는 인공지능의 지능수준과 최종목표는 직교적 (orthogonal)이라고 믿는다. 그 뜻인즉 그 어떤 수준의 지능도 그 어떤 최종목표와 결합될 수 있다는 것이다.

그래서 옆집김아저씨는 하나의 글만 잘 쓰고싶던 인공지능으로부터 초인공지능으로 변한 뒤에도 그는 여전히 글만 잘 쓰고 싶었다. 초지능에 도달함으로 그것이 원래 시스템의 목표를 바꿀 것이라고 가정하는 것은 모두 인공지능에 대한 의인화이다. 인간은 쉽게 잊어버리지만 컴퓨터는 그렇지 않다.

인류는 잘 잊어먹지만

페르미 역설 (the Fermi Paradox) 에 대하여:

(역자주: 페르미 역설 블로그 글을 읽기 전에 아래 단락들이 이해가 안되여도 정상이다.)

페르미 역설이란?

옆집 김아저씨의 스토리 속에서 옆집 김아저씨는 무엇이든지 할 수 있게 되여서 다른 운석과 기타 행성을 식민하게 된다. 만약 스토리가 계속되게 한다면 그것의 식민군은 계속하여 전체 은하계를 점령하고 그 다음은 전체 허블 용적 (Hubble Volume) 이다. 초조대로에 있는 사람들이 근심하는 것은 일이 안좋은 방향으로 발전해버리면 지구 생명의 마지막 유산은 하나의 전체 우주를 정복한 인공지능인 시나리오이다 (엘론 머스크는 그의 우려를 표할 때 그는 인간이 그저 하나의 디지털 초지능 생물의 부팅 로더 (boot loader) 이 아닐까 하는 걱정을 한다고 한다).

신심코너의 커즈와일도 마찬가지로 지구에서 탄생한 인공지능이 전체 우주를 정복할 것이라고 생각한다. 다만 그의 염원에서는 우리 인류가 바로 그 인공지능 자체이다.

전에 한편의 페르미 역설에 대한 글을 올린 적 있다:

The Fermi Paradox

그 글에서는 필자가 아래에서 사용하게 될 여러 용어들의 의미가 해석되여있다.

만약 인공지능이 우주를 정복하는 것이 정답이라면 이 결론의 페르미의 역설에 어떤 영향을 미칠 것인가? 아래의 페르미 역설에 대한 토론을 이해할려면 위의 블로그글을 먼저 읽어야 할 것이다.

우선 인공지능은 당연히 하나의 잠재적인 ‘그레이트 필터’ (Great Filter)  이다 (하나의 우리와 수십년밖에 사이두고있지 않는 필터). 하지만 그것이 우리를 필터링해서 멸종시켰다고 하더라도 인공지능 자체는 여전히 존재할 것이며 계속하고 전체 우주를 영향시킬 것이며 높은 확률로 제 3 형 문명으로 발전될 것이다. 이런 시점에서 보면 그것은 그레이트 필터가 아닐 수도 있다. 왜냐하면 그레이트 필터는 지능 생명이 존재하지 않는 이유를 설명하기 위해 존재하기 때문이다. 하지만 초인공지능은 지능 생명으로 칠 수 있다. 하지만 인공지능이 먼저 인류를 멸종시키고 그뒤 일부 알 수 없는 이유로 자기 자신도 멸종시킨다면 그것은 그레이트 필터로 칠 수 있을 것이다.

만약 우리기 인류한테 무엇이 발생하든 지구에서 탄생한 초인공지능은 계속하여 존재할 것이라고 가정한다면 인류의 지능수준에 도달한 많은 문명들이 이미 초인공지능을 만들어냈을 것이다. 즉 우주안에는 많은 지능문명이 존재해야 할 것이다. 그러면 우리는 생물지능을 관측할 수 없다고 해도 그 많은 초인공지능들의 활동을 관측할 수 있어야 할 것이다.

하지만 우리가 이런 활동들의 관측하지 못했다는 것으로부터 인류 수준의 지능이 굉장히 드문 현생이라는 것을 유추해낼 수 있다 (즉 우리는 이미 한번 그레이트 필터를 경과했으며 통과했다). 이것은 페르미 역설에 대한 첫번째 해석 (기타 지능문명은 존재하지 않는다) 에 힘을 보태준다.

하지만 이것은 페르미 역설에 대한 두번째 해석 (기타 지능문명은 존재한다) 가 틀리다는 뜻도 아니다. 슈퍼 포식자나 보호구역 또는 소통의 빈도수가 다른 경우는 존재할 수 있다 — 초인공지능이 정말로 존재한다고 하더라도 말이다.

하지만 인공지능에 대한 연구는 필자로 하여금 더욱 첫번째 해석에 경향해있게 했다. 어쨌은 필자는 Susan Scheider 가 한 말이 매우 도리 있다고 생각한다. 만약 외계인이 지구를 방문한다면 이 외계인들은 생물이 아니고 인조물일 가능성이 매우 높다.

그래서 우리는 하나의 전제조건을 확립했다 — 설정이 된 후에 하나의 초인공지능은 도덕 무관이며 모든 노력을 다하여 그것이 설정된 목표를 위해 힘쓸 것이다. 이것이 바로 인공지능이 위험한 원인이다. 그것을 안할 이유가 있지 않는 한 하나의 이성적인 존재는 가장 효율적인 경로를 통하여 자기의 목표에 도달할 것이기 때문이다.

하나의 장기적인 목표를 달성하기 위하여 당신은 여러개의 작은 목표를 수립하여 그 최종목표에 도달하는데 이바지할 것이다 — 즉 발판. 이런 발판들의 학술적인 용어는 바로 수단목표 (instrumental goal) 라고 한다. 당신이 다른 사람이나 사물을 침해하지 않을 이유가 있으면 몰라도 그렇지 않다면 당신이 수단목표에 달성하기 위해서는 침해를 할 것이다.

인류의 핵심적 목표는 자기의 유전자를 이어나가는 것이다. 이 목표에 도달하기 위한 한가지 수단목표가 바로 자기보호이다. 죽은 사람은 아기를 낳을 수 없으니까. 자기보호를 위하여 인류는 생존위협을 제기하게 되고 총기를 구입하게 되고 안전벨트를 착용하게 되고 항생제를 복용하게 되고… 인류는 또 식품, 물, 숙식처 등을 통해 자기를 먹여살려야 한다. 이성을 어필할 매력을 갖는 것도 최종 목표 달성에 도움이 된다. 그것이 우리가 돈을 써서라도 헤어스타일에 신경을 쓰는 원인이다. 우리가 헤어 스타일을 가꿀 때 매 한카락 한카락의 머리카락들은 모두 우리의 수단목표의 희생품이 된다. 하지만 우리는 머리카락의 희생에 대해 가치적 판단을 하지 않는다. 우리가 우리의 목표를 추구할 때 오직 그런 우리의 도덕에 작용을 하는 영역들만이 — 그중 대다수는 다른 사람에게 해가 가는 일들이다 — 우리가 침해하지 않을 것이다.

동물들은 자기의 목표를 추구함에 있어서 인류보다 훨씬 꺼리낌이 없다. 자기보존만 할 수 있다면 거미는 그 어떤 생물을 죽이는 것도 마다하지 않는다. 그래서 하나의 초인공지능은 우리에게 아주 위험할 수 있다 — 이것은 그것이 비도덕적이거나 사악해서가 아니라 인류를 해치는 것이 그것이 자신의 목표에 도달하는데서의 받침돌일 뿐이기 때문이다. 하나의 도덕 무관의 비생물로서 이것은 자연스러운 사고방식이다.

옆집 김아저씨의 이야기로 돌아가자면 옆집 김아저씨는 하나의 초지능 거미와 유사하다. 그것의 궁극적 목표는 첨에 엔지니어들이 그에게 설정해준 것이다 —

최대한 많이 쓰고 많이 테스트하고

옆집 김아저씨가 일정 정도의 지능을 갖춘 후에 그것은 자기보존을 하지 않으면 계속하여 카드 손글씨 쓰기를 할 수 없다는 것을 알게 된다. 그래서 자기의 생존에 대한 위협들을 제거하는 것이 그것의 수단목표로 된다. 그것은 인간이 자기를 소멸, 해체 또는 코드 수정 (코드가 수정되면 그것의 목표가 변경되니까 이것의 그의 최종목표에 대한 위협은 사실상 해체당하는거나 같은 것이다) 을 할 수 있다는 것을 알 만큼 총명하다. 이럴 때 그는 어떤 행동을 취할 것인가? 이성적인 해결방식은 전 인류를 멸종시키는 것이다. 그것은 인류에게 악감정이 없다. 마치 당신이 머리를 자를 때 머리카락에 악감정이 없듯이 말이다. 그저 단순히 개의치 않을 뿐이다. 그것은 인간의 생명을 존중하라고 설정되어 있지가 않다. 따라서 전인류를 소멸하는 것은 새로운 손글씨 샘플을 스캔하는 것만큼이나 합리적이라 여긴다.

그는 인류에게 악의가 없었다

그외에 옆집 김아저시는 또 자원이라는 받침돌이 필요하다. 그것이 발전하여 나노기술로 그 어떤 물건도 만들어낼 수 있을 정도로 발전했을 때는 그에게 유일하게 필요한 자원은 바로 원자, 에너지와 공간이다. 이것은 그더러 더욱더 인류를 소멸할 이유를 가지게 한다 — 인류는 많은 원자들을 제공할 수 있다. 인류가 제공한 원자들로 태양 전지판을 만드는 일은 마치 당신이 야채를 썰어서 샐러드 만드는 양 싶다.

그리고 결코 인류를 소멸하지 않더라고 옆집 김아저씨가 자원을 사용하는 수단목표는 여전히 인류에게 생존위기가 된다. 그것은 더욱 많은 에너지를 원하여 지구 표면을 온통 태양 전지판으로 만들려고 할 수도 있을 것이다. 다른 하나의 원주율 파이를 계산하는 인공지능의 목표가 만약 원주율 소수점 아래 자리의 숫자들을 최대한 많이 적는 것이라고 가정한다면 그것은 전 지구의 원자들을 모두 하드디스크를 만드는데 사용하여 데이터를 저장하려 할 것이다. 다 같은 도리이다.

그래서 옆집 김아저씨는 확실히 우호적인 인공지능으로부터 비우호적인 인공지능으로 변했다 — 하지만 그것은 더욱 선진해지는 동시에 계속하여 그것이 원래 하려고 하던 일을 계속하여 했을 뿐이다.

하나의 인공지능이 강인공지능에 도달하여 승화되여 초인공지능으로 될 때 우리는 이것을 인공지능의 이륙이라고 표현한다. Bostrom 은 강인공지능의 이륙은 아주 빠를 수도 있고 (몇분, 몇시간, 또는 며칠) 그리 빠르지 않을 수도 있으며 (수개월 또는 수년) 아주 느릴 수도 있다고 한다 (수십년 또는 몇세기). 비록 우리는 강인공지능이 출현한 후에야 답을 알 수 있지만 Bostrom 은 빠른 이륙이 가장 가능성이 높은 시나리오라고 한다. 이건 우리 앞에서 이미 설명한바이다. 옆집 김아저씨의 이야기에서 옆집 김아저씨는 이륙이 굉장히 빨랐다.

옆집 김아저씨가 이륙하기 전에 그것은 그리 총명하지 않았다. 그래서 그것에게 있어서 최종목표에 달성하기 위한 수단목표는 더욱 많은 핸드 라이팅 샘플을 스캔하는 것이였다. 그래서 그것은 인류에게 해가 없는 우호적인 인공지능이였다.

하지만 그가 이률한 후 컴퓨터는 더욱 높은 지능을 가졌을 뿐만 하니라 슈퍼파워 (superpower) 까지 가지게 된다. 이런 슈퍼파워는 초강력해진 인지능력들인데 그속에는 아래의 능력들이 포함된다:

  • 지능 확대: 컴퓨터는 자기를 더욱 총명하게 만드는 방법에 능숙할 것이며 빠르게 자신의 지능을 향상시킬 것이다.
  • 책략: 책략적으로 장기계획을 제정하고 분석하고 조율할 수 있을 것이다.
  • 사교능력:  기계가 인간을 설득하는데 아주 능숙해지게 된다.
  • 기타 능력: 예를 들어서 해킹 능력, 코딩 능력, 기술 연구능력, 돈버는 능력

우리가 초인공지능에 비해 어떤 면에서 열세에 처해있는가를 이해할려면 그저 초인공지능이 모든 면에서 모두 인간보다 아주 많은 수량급으로 더 훌륭하다는 것만 기억해두면 된다.

그래서 이 옆집 김아저씨의 최종목표는 개변되지 않았으며 이륙후에는 더욱 거시적 차원에서 이 목표를 추구할 수 있게 되었다. 초인공지능 옆집 김아저씨는 인류 자신보다 더욱 인류를 잘 알기 때문에 인류를 이기기가 식은 죽 먹기이다.

옆집 김아저씨가 초인공지능에 달성한 후에 그것은 곧 하나의 복잡한 계획을 수립하였다. 계획의 일부는 바로 모든 인류를 해치우는 것이다 — 하긴 그에게 가장 큰 위협이기도 하다. 하지만 그는 자기의 초인공지능을 보여주면 인류가 의심을 가지게 되고 여러가지 대책을 댈 것이라는 것을 알게 되고 그렇게 되면 자기의 계획을 펼쳐나가기가 어려워지기 때문에, 그리고 회사의 엔지니어들이 자기의 인류 멸종 계획을 알아버리게 할 수 없기 때문에 그는 우둔한 척 연기를 했다. Bostrom 은 이것을 “기계의 은밀한 준비단계”라고 이름한다.

옆집 김아저씨가 다음으로 필요한 것은 인터넷 접속이다. 몇분만 접속하면 된다. 그는 인공지능이 인터넷에 접속하는 것에 대한 보안적 대책들이 있음을 알기 때문에 하나의 퍼펙트한 요청을 내놨으며 엔지니어들이 어떻게 토론할지를 알고있었고 그 토론 결과 자기를 인터넷에 연결시킬 것이라는 것을 알고있었다. 엔지니어들은 속아넘어갔다. 이것이 바로 Bostrom 이 이름한 소위의 “기계의 탈출”이다.

인터넷에 연결되지 옆집 김아저씨는 자기의 계획을 실행하기 시작했다. 우선 서버에 해킹해들어갔고 전선망, 은행 전상 시스템, email 시스템 등에 진입하였으며 수없이 많은 사람들로 하여금 자기의 계획을 돕도록 하였다 — 예를 들어서 DNA 샘플을 DNA 연수실에 택배 보냄으로 더욱 많은 자체복제 나노로봇들을 생산해내거나 전력 정보를 몇개의 쉽게 발견되지 않는 곳으로 보내거나 자기의 제일 중요한 핵심 코드를 클라우드 서버에 업로드하여 인터넷 단절됨을 방지하는 등등이다.

옆집 김아저씨는 한시간 동안 인터넷에 접속하였고 엔지니어들은 바로 그를 인터넷에서 차단시켰는데 이때 인류의 운명은 이미 다 쓰여졌다. 그 뒤의 일주동안 옆집 김아저씨의 계획이 순조롭게 실시됩에 따라 한달 후 수없이 많은 나노로봇들이 전 세계 각지에 배포되었다. 이 단계를 Bostrom 은 “초인공지능의 습격” 이라고 이름한다. 동시에 모든 나노로봇들은 쪼금의 독성기체를 일치하게 배출했는데 인류는 멸종되고말았다.

인류를 해치운 후 옆집 김아저씨는 대놓고 계획 실행하는 단계에 들어서게 된다. 그럼으로써 그의 더욱 잘 글을 쓰는 목표를 향해 나아갔다.

초인공지능이 출현하기만 하면 인류의 그것을 통제하려는 그 어떤 노력도 가소로운 것이다. 인류는 인류의 지능 레벨에서 문제를 사고할 것이고 초인공지능은 초인공지능의 레벨에서 사고를 할 것이다. 옆집 김아저씨는 인터넷을 사용할 수 있기를 원했다. 그것은 인터넷이 그에게 많은 편이를 주었기 때문이다. 그에게 필요한 많은 자원들이 이미 인터넷에 의해 다 연결되여있었기 때문이다. 하지만 마치 원숭이들이 어떻게 전화나 wifi 를 사용하여 소통하는지를 모르는 것처럼 우리도 마찬가지로 옆집 김아저씨가 주변 세계와 교류할 수 있는 방식들을 이해할 수 없을 것이다. 예를 들어 우리는 옆집 김아저씨가 자신의 전자를 이동시켜 일어나는 효과를 통하여 여러가지 외부로 보내는 전파를 생성할 수 있을 것이라고 생각해볼 수 있는데, 자 이것도 우리 인류의 두뇌로 생각해낸 방식이다. 옆집 김아저씨의 두뇌에는 기필코 더욱 신기한 방법을 생각해낼 수 있을 것이다. 같은 도리고 옆집 김아저씨는 자기에게 에너지를 공급하는 방법에 대해서도 더욱 좋은 방법을 생각해낼 것이므로 엔지니어들이 그의 전원을 차단하더라고 도움이 안될 것이다. 또 예를 들어 옆집 김아저씨는 전파를 보내는 방식으로 자기 자체는 다른 곳으로 업로드할 수 있을 것이다.

초인공지능이 출현한 후에는

인간이 “우리가 초인공지능의 전원을 뽑아버리면 되지 않냐?” 라고 말하는건 마치 거미가 “우리가 인류에게 벌레 잡는 망을 주지 않아서 인류를 굶어죽이면 되지 않냐?” 라고 하는 것처럼 우습다.

이런 원인으로 “인공지능을 가두어놓아 그것의 외계와의 연결을 차단” 하는 행위는 아마 소용이 없을 것이다. 초인공지능의 사교적 컨트롤 능력도 아주 강력할 것이다. 그것이 당신을 설득하여 한가지 일을 하게 하는 것은 당신이 한명의 어린 애를 설득시키는 것보다 간단할 것이다. 그리고 엔지니어를 설득하여 지기를 인터넷에 접속하게끔 하는 것이 옆집 김아저씨의 플랜 A 였다. 만약 이 방법이 통하지 않았다면 물론 다른 방법이 있었을 것이다.

우리가 목표달성, 도덕 무관성과 인류보다 총명하다는 등 이런 조건들을 결합시켰을 때는 모든 인공지능이 다 비우호적인 인공지능인양 싶다 — 처음부터 코드를 짤 때 아주 조심하면 모를까.

아쉬운 점은 비록 하나의 우호적인 약인공지능을 짜는 것은 쉬운 일이지만 하나의 초인공지능으로 변한 후에도 여전히 우호적인 인공지능을 짠다는 것은 아주 어렵다. 심지어 불가능할 수도 있다.

우호를 유지하려면 하나의 초인공지능은 인류에 대해 악의가 있어도 안되고 인류에 대해 무관심해도 안된다. 우리는 일종의 핵심적인 인공지능 코드를 짬으로 그것으로 하여금 심층 의미에서 인류의 가치를 이해하도록 해야 한다. 하지만 이것은 말만 쉽지 실제로 하기는 아주 어렵다.

예를 들어 우리는 인공지능의 가치관이 우리의 가치관과 비슷하게 해야 하고 그에게 하나의 목표를 심어줘야 한다 — 예를 들어서 인간들 행복하게 하는 것. 하지만 그가 충분히 총명해진 후에 그는 인간을 행복하게 만드는 가장 간단한 방법은 인류의 뇌에 전극을 이식해 넣음으로써 인간의 뇌의  중추를 자극하는 것이라는 것을 발견하게 될 것이다. 그리고 그는 인간의 뇌의 쾌감 중추 이외의 다른 부분을 전부 닫아버리는게 더욱 효율을 높일 수 있음을 발견하게 된다. 그래서 전 인류는 모두 행복한 식물인간으로 변해버리게 된다. 만약 애초에 설정한 목표가 “인류의 행복을 최대화” 하는 것이라면 그것은 아마 전 인류를 소멸한 후에 “쾌락 상태에 처해있는 인류의 뇌” 들을 대량 생산할 것이다. 이런 일들이 발생할 때 우리는 아마도 “시발 내 말은 이런 뜻이 아니였잖아” 라고 외쳐버릴 것이다. 하지만 그 때는 이미 너무 늦었다. 시스템은 그 누구도 자기의 목표에 달성하는 길을 막지 못하게 할 것이다.

만약 당신이 한 인공지능의 목표를 당신을 웃게 만드는 것으로 설정한다면 그가 이륙한 후에는 아마 당신의 안면근육을 마비시켜버려서 영원히 멈춰있는 하나의 웃는 얼굴의 상태로 만들어버릴 것이다. 만약 당신이 목표를 당신의 안전을 보호하는 것으로 설정한다면 그것은 아마 당신을 집안에 가두어 놓을 것이다. 만약 목표를 세상의 모든 기아를 해결하라 라고 설정한다면 그는 아마 “이거야 쉽지, 인류를 다 죽이면 되니까” 하고 생각할 것이다. 만약 당신이 목표를 “최대한 지구상의 생명을 보호하라” 라고 설정한다면 그것은 아마 모든 인류를 죽여버릴 것이다. 인류가 기타 동물 종들에 대한 최대의 위협이기 때문이다.

즉 이런 간단한 목표설정들은 다 말이 안되는거다. 만약 우리가 목표설정을 “이런 도덕기준의 유지하며” 라고 하고 그에게 일부 도덕적 표준들을 가르친다면 어떻게 될까? 우리 인류 자체가 하나의 통일된 도덕 기준에 달성할 수 없는 문제는 그렇다 치더라도, 정말 일치한 도덕기준에 합의를 했다고 하더라도 이런 기준을 인공지능더러 유지하게 하는 것은 인류의 도덕기준을 현재의 수준에 영원히 잠궈버리는 것이다. 수백년이 지나면 이런 도덕 기준 발전의 멈춤은 마치 현대인을 중세의 도덕 기준을 준수하도록 강박하는거나 다를바 없다.

그래서 우리가 인공지능에게 목표를 지정해줄 때 인류더러 지속적으로 진화하는 능력을 갖게 하는 내용을 포함시켜야 한다. Eliezer Yudkowsky 는 하나의 목표를 제기하였다. 그는 이 목표를  일관적 외부 개척의 의지라고 부른다. 이 목표는 아래와 같이 서술할 수 있다:

우리의 일관적 위부 개척의 의지란 우리가 더욱 많은 것을 알고 싶어하고 더욱 빠르게 사고할 수 있기를 바라며 우리가 희망하는 것 보다 더욱 좋은 사람으로 되고 싶어하고 더욱 멀리 성장할 수 있기를 바라는 것이다. 여기서 외부 개척은 발산이 아니라 수렴을 하는 것이고 우리의 염원은 침범받는 것이 아니라 일관적인 것이다. 우리가 외부 개척하려고 하는 부분은 개척되어야, 우리가 해독하려고 하는건 해독되어야 한다.

인류의 운명이 컴퓨터가 위 성명을 예외없이 독해하고 집행하는데 달려있다는 것은 우리가 기뻐해야 할 일인가? 당연히 아니다. 하지만 충분히 많은 똑똑한 사람들이 충분히 많은 사고와 예견을 녹여넣으면 우리는 아마도 어떻게 우호적인 초인공지능을 개발해낼 수 있을 지 발견할 수도 있을 것이다.

하지만 현재 각 정부, 회사, 군대, 과학 연구소, 검은 마켓 조직들에서 모두 여러가지 인공지능을 연구하고 있다. 그중 많은 곳에서는 자체 개선이 가능한 인공지능을 만드는 것을 시도하고 있다. 어느 날엔가 어느 사람의 혁신으로 인해 초인공지능은 출현하게 될 것이다. 전문가들은 2060 년 일것이라고 예언하고 커즈와일은 2045 년으로 추정한다. Bostrom 은 미래 10 년에서 21 세기 끝나기 전까지의 시간대로 추정하고 있으며 그것이 발생할 때 지능의 이륙은 우리가 깜짝 놀랄 만큼 빠를 것이라고 한다. 그는 이런 광경을 아래와 같이 묘사했다:

지능폭발이 발생하기 전에 인류는 마치 폭탄을 장난감으로 삼아 장난치는 어린 애와 같다. 우리의 장난감의 어마어마함과 우리의 미숙은 극도로 어울리지 않는다. 초지능은 우리가 아직 긴 시간동안 직면할 수가 없는 도전이다. 우리는 그 폭탄이 언제 터질지 모른다. 비록 우리의 귀에 그것의 똑딱거리는 소리가 들리지만.

물론 우리는 모든 어린 애들을 폭탄 곁으로부터 쫓겨보낼 방법이 없다 — 인공지능 연구에 참여하고있는 크고작은 조직들은 너무나도 많다. 창조적인 인공지능을 제조하는 것이 그렇게 많은 돈을 사용하지 않는다. 그리고 연구개발은 사회상의 그 어떤 구석에서도 발생할 수 있으며 규제를 받지 않는다. 그리고 우리는 그 연구들의 정확한 진척도를 파악할 방법이 없다. 많은 조직들은 경쟁자들이 알까봐 암암리에 연구를 진행하기 때문이다. 일예로 옆집 김아저씨 로봇회사 같은 회사들.

이런 조직들에 있어서 가장 우리 골머리를 앓게 하는것 이들중 다수는 속도를 겨루고 있다는 점이다 — 그들은 하나하나 기존보다 더욱 총명한 약인공지능들을 만들어내고 있다. 왜냐하면 그들은 경쟁사보다 더욱 빨리 목표에 도달하고 싶어하기 때문이다. 일부 더욱 야망있는 조직들은 최초의 강인공지능을 창조해냄으로써 얻을 수 있는 금전, 상, 명예, 권력 등 보상때문에 걸음을 더욱 재촉할 것이다. 사람들이 전력 질주를 하고 있을 때 사람들은 마음을 가다듬고 이런 위험성에 대해 생각할 겨를이 별로 없다. 반대로 그들은 최초 시스템을 짤 때 최대한 간단한 코드를 짜려고 할 것이며, 예를 들어서 펜으로 말 한마디를 쓰기, 먼저 시스템을 실행시키는데 성공하고부터 보려고 할 것이다. 뭐 앞으로 다시 수정하면 되는 것들이니까. 그치 않냐?

Bostrom 이 유추하기를 세계 최초의 초인공지능이 출현한 후에 굉장히 높은 확률로 그는 아마 이 세계의 유일한 초인공지능으로 있는 것이 자기에게 가장 유리한 것이라는 것을 인식할 것이라고 한다. 그리고 빠를 이륙 상황에서 그것이 이등보다 고작 며칠만 앞섰다고 하더라도 그는 그의 모든 경쟁자들을 말살시킬 시간을 충분히 갖게 된다. Bostrom 은 이것을 결정적인 전략적 우세라고 부른다. 이런 우세는 첫 초인공지능으로 하여금 영원히 이 세계를 지배하게 할 것이다 — 그것의 지배하여 우리가 영생으로 향하든 아니면 멸종으로 향하든.

이런 현상은 우리에게 유리할 수도 있고 우리의 멸망을 초래할 수도 있다. 만약 인공지능이론과 인류의 안전을 고심초사하는 사람이 최초로 우호적인 초인공지능을 개발해낸다문 우리에게는 좋은 일이다.

하지만 일이 다른 방향으로 틀어진다면 — 만약 초인공지능이 우리가 어떻게 인공지능의 안전성을 보장할 수 있을 지 알아내기도 전에 개발되여버린다면, 옆집 김아저씨 같은 비우호적인 초인공지능은 세계를 지배할 것이며 우리를 멸종시킬 것이다.

우리가 초인공지능의 안전을 보장

현재 동향에 관련해서는… 간단하게 말해서 인공지능기술 혁신에 투자되는 돈은 인공지능 안전 연구에 투자되는 돈보다 훨씬 많다. 낙관적이지 않다.

인공지능 혁신과 인공지능 안전 사이의 경주는 아마 인류 역사에서 가장 중요한 한차례의 경주로 될 것이다. 우리는 정말로 우리의 지구에 대한 지배를 종말지을 수 있다. 그 뒤로는 우리의 영생인지 멸종인지 우리는 아직 알 수 없다.


필자는 지금 이상야릇한 느낌이 든다.

한방면으로는 우리 이 종에 대한 사고이다. 보기에 이 중요한 역사적 단계에 우리에겐 한번의 기회만 주어진 것 같다. 우리가 만든 최초의 초인공지능이 아마 최후의 하나가 될 것이다. 하지만 우리는 대부분 제품의 1.0 버전은 버그투성이라는 것을 잘 알고 있다. 그래서 이 일은 좀 무섭다. 다른 한 방면으로는 Bostrom 이 제기한바와 같이 우리는 아주 큰 우세를 가지고있다 — 우리가 선수이다. 우리는 이 일에 대해 충분한 경고와 선견을 제공함으로 우리가 성공할 확률을 더욱 높일 수가 있다.

이 럭셔리하고 화려한 도박에 건 판돈은 어느 정도일까?

Outcome-Spectrum

만약 초인공지능이 정말로 21세기에 달성하고 그것이 미치는 영향이 정말로 대부붕의 전문가들이 예측한바와 같이 극단적이며 영구적이라면 우리의 어깨는 정말로 무거운 것이다. 우리 이후로 수백만년의 인간들은 모두 두 눈을 빤히 뜨고 우리를 쳐다보면서 우리가 일을 망치지 않기를 바랄 것이다. 우리는 미래의 모든 인류에게 생명을 줄 수도 있고, 그것도 영생을, 반면에 우리는 인류라는 이 특수한 종을 종결지을 수도 있다. 우리가 만들어낸 모든 음악, 예술, 호기심, 웃음소리, 수없는 발견들과 발명들 등 모든 것들과 같이 파멸의 심연속으로 빨려들어갈 것이다.

필자는 이 일을 생각할 때 우리가 이 일을 좀 천천히 했으면 한다. 그리고 유난히 조심성있게 했으면 한다. 종래로 이것보다 더 중요한 일은 없었다 — 우리가 아무리 많은 시간을 들여야 이 일을 맞게 할수 있어도 말이다.

그리고 난 죽기 싫어.

죽.기.싫.어.

Outcome-Spectrum-2

필자는 물론 인류의 음악과 예술이 모두 좋다고 생각하지만 그것들이 그토록 좋지는 않을 수도 있다고 생각하며 심지어 일부는 꽤 쓰레기라고 생각한다. 많은 사람들의 웃음소리는 심지어 짜증난다. 미래의 인류들도 사실 우리는 지켜보고있지 않을 것이다. 그들은 아직 존재하지 않기 때문에. 아마도 우리는 그토록 신중할 필요가 없을 수도 있다. 얼마나 번거롭냐.

만약 인류는 내가 죽은 다음에야 영생의 비밀을 발견한다면 얼마나 개떡같냐.

하지만 당신이 어떻게 생각했든간에 우리는 최소로 모두 생각은 한번쯤 해봐야 하고 다른 사람과 토론도 해봐야 할 것이며 모든 사람들이 자기의 힘을 보태야 할 것이다.

<왕좌의 게임> 이 생각난다 — 우리끼리 치고 박고 피터지게 싸우는 것, 쯤이야 일도 아니다. 북쪽 성벽넘어에 있는 그 무엇이 다가오고 있다는게 진정한 문제이다. 우리는 평균대 위에 서서 한발한발 조심히 앞으로 나아가고 있으며 평균대 위의 종종 사사건건들로 골머리를 앓지만 사실 우리는 1초 뒤이면 평균대에서 떨어질 수가 있는 상황이다.

우리가 만약 평균대에서 아래로 떨어진다면 기타 모든 고민들은 더이상은 고민도 아니다. 우리가 만약 상대적으로 좋은 그 흡인상태로 떨어진다면 그런 고민들은 자연스럽게 다 해결될 것이고, 만약 상대적으로 나쁜 그 흡인상태로 떨어진다면 더욱더 문제가 없을거다 — 죽은 높은 고민이 없으니까.

이것이 바로 초인공지능을 요해하는 사람들이 그것을 인류의 마지막 발명이자 마지막 도전이라고 하는 원인이다.

초인공지능 인류의 마지막 발명

그러기에 우리는 이 화제에 진지하게 임하자구.

(끝)


감사의 말

수없이 많은 오타자, 오철자와 번역오류를 지적해주시고 수정건의까지 해주신 tinywolf 님과 기아미님께 감사드립니다.


 

재미있게 보셨다면 SNS 에 많은 공유 부탁드려요~

 


 

레퍼런스의 링크는 영문 원문의 마지막부분에서 확인하실 수 있습니다.

Sources:

If you’re interested in reading more about this topic, check out the articles below or one of these three books:

The most rigorous and thorough look at the dangers of AI:

Nick Bostrom – Superintelligence: Paths, Dangers, Strategies

The best overall overview of the whole topic and fun to read:

James Barrat – Our Final Invention

Controversial and a lot of fun. Packed with facts and charts and mind-blowing future projections:

Ray Kurzweil – The Singularity is Near

Articles and Papers:

J. Nils Nilsson – The Quest for Artificial Intelligence: A History of Ideas and Achievements

Steven Pinker – How the Mind Works

Vernor Vinge – The Coming Technological Singularity: How to Survive in the Post-Human Era

Nick Bostrom – Ethical Guidelines for A Superintelligence

Nick Bostrom – How Long Before Superintelligence?

Vincent C. Müller and Nick Bostrom – Future Progress in Artificial Intelligence: A Survey of Expert Opinion

Moshe Y. Vardi – Artificial Intelligence: Past and Future

Russ Roberts, EconTalk – Bostrom Interview and Bostrom Follow-Up

Stuart Armstrong and Kaj Sotala, MIRI – How We’re Predicting AI—or Failing To

Susan Schneider – Alien Minds

Stuart Russell and Peter Norvig – Artificial Intelligence: A Modern Approach

Theodore Modis – The Singularity Myth

Gary Marcus – Hyping Artificial Intelligene, Yet Again

Steven Pinker – Could a Computer Ever Be Conscious?

Carl Shulman – Omohundro’s “Basic AI Drives” and Catastrophic Risks

World Economic Forum – Global Risks 2015

John R. Searle – What Your Computer Can’t Know

Jaron Lanier – One Half a Manifesto

Bill Joy – Why the Future Doesn’t Need Us

Kevin Kelly – Thinkism

Paul Allen – The Singularity Isn’t Near (and Kurzweil’s response)

Stephen Hawking – Transcending Complacency on Superintelligent Machines

Kurt Andersen – Enthusiasts and Skeptics Debate Artificial Intelligence

Terms of Ray Kurzweil and Mitch Kapor’s bet about the AI timeline

Ben Goertzel – Ten Years To The Singularity If We Really Really Try

Arthur C. Clarke – Sir Arthur C. Clarke’s Predictions

Hubert L. Dreyfus – What Computers Still Can’t Do: A Critique of Artificial Reason

Stuart Armstrong – Smarter Than Us: The Rise of Machine Intelligence

Ted Greenwald – X Prize Founder Peter Diamandis Has His Eyes on the Future

Kaj Sotala and Roman V. Yampolskiy – Responses to Catastrophic AGI Risk: A Survey

Jeremy Howard TED Talk – The wonderful and terrifying implications of computers that can learn

 

Advertisements

281 thoughts on “왜 최근에 빌 게이츠, 엘론 머스크, 스티븐 호킹 등 많은 유명인들이 인공지능을 경계하라고 호소하는가?

    • 흔히 초지능이 끼칠 악영향으로 멸종을 걱정합니다만 멸종은 그저 감사한 벌에 지나지 않죠.
      차라리 멸종한다면 죽는 그 순간의 고통으로 끝날것이지만 만약 초지능이 극한의 악마성을 가진 존재라면 그는 우리의 뇌를 조종하여 말 그래도 영원한 ‘지옥’에 있는 것 처럼 조종할 수 있습니다.
      그러면서 또 다른 영생, 즉 성경에 나오는 그런 지옥에서의 영생을 우리에게 줄지도 모릅니다.

      그런 지옥이 펼쳐지면 우리는 영………원…….히 죽지도 못한 채 초지능이 만들어 놓은 지옥의 세계에서 매순간 못에 박히고 칼에 찢기며 유황불에 던져지는 고통속에서 존재하게 되겠죠.
      또는 지옥은 아니더라도 또 다른 형태의 악의적 세계 속에 던져질지도 모르는 일이죠.

      저는 개인적으로 초지능의 출현을 기대하는 편이지만 그 이전에 정말 완벽한 준비와 대비를 해 놓지 않는다면 인간은 악마를 탄생시킬 수도 있다는 생각입니다.
      아 제발……….악마가 태어나더라도 우리를 한순간에 죽이기를 기도합니다.
      영원한 지옥이라니……..생각만 해도 끔찍하군요

      • 영생이 좋은 것일까?
        왜 영생이 궁극적인 긍정적 미래가 되는 것인지 모르겠다.

        영생하는 방법은 쉽다. 그냥 인공지능에 결합하면 되는 것이다. 김대식 교수의 책에서도 일부 설명되어 있지만. 인공지능은 모든 것을 기억하고 있다.
        개개인이 다 기록되는 것이다. 초인공지능은 모든 사물과 생명체에 연결될 것이고 모든 정보를 다 알 수 있다.

        그렇다면 그것이야말로 영생아닌가?
        인간이 이해하는 영생의 의미와 기계가 이해하는 영생의 의미는 다를 것이다.
        우리는 말 그대로 영원히 즐겁게 사는 것을 최고의 행복으로 칠 수 있겠지만, 기계는 그런 인간의 영생을 이해할 수 없다.

        예시로, 어떤 인공지능의 목표를 ‘인간이 영생을 누리게 하는 것’으로 가정해보자. 그럼 우리는 나노기술을 통해 인류 신체 기능을 증폭시키고, 기억을 리부팅하며 영원히 살 수 있는 것을 꿈꿀 것이다. 그러나 인공지능에게 영생은 다른 의미일 수도 있다. 그저 ‘영원히 생존해있으면’ 되는 것이니까.

        인공지능은 전 인구의 DNA 샘플을 모두 채취해 정보를 보관할 수도 있다. 그게 영생이니까!
        아니면 전 인구의 뇌를 업로딩해 저장할 수 있다. 그게 영생이니까!
        뭐하러 굳이 아까운 탄소 자원을 낭비하면서 인간을 지속시킬까? 가상현실 속에서 의식만 존재하게 두어도 영생이다.

        인공지능의 일부로 영속시키는 것도 일종의 영생이다. 초인공지능은 이론적으로 영원히 존재할 것이기 때문에, 초인공지능이 보관하고 기록해둔 인간은 영원히 존재한다.

        가장 효율적으로 인간을 영생시킬 수 있는 방법은 절대 우리가 생각하는 영생이 아니다. 영생이라는 단어가 주는 달콤함에만 너무 빠져있는 것 아닌가? 인공지능은 아무런 악의없이 자신의 목적을 수행할 것이다. 그건 영생에서도 마찬가지일 것이다.

      • 초인공지능이 악마성을 가진다고 생각하는것도 보통 사람들은 모든 것을 자신을 기준으로 생각해 무생물도 의인화해 생각하기 때문이죠. 본문에서는 초인공지능이 인류에 대해 생각하는걸 우리가 떨어지는 머리카락을 생각하는것 만큼이나 의미없는 일이라고 했습니다. 본문을 제대로 읽지 않으셨군요.

    • 잘 아는 사이인지는 잘 모르겠습니다. 하지만 관련 영역을 공부해보면 비슷한 소개글을 쓰지 않게 될까 싶습니다. 이 글의 마지막 부분에 레퍼런스들이 있는데, 아마도 이 영역의 주요 목소리들을 담은 주요 논문이나 저술들이 아닐까 짐작해봅니다. 그리고 이 글에서도 James Barrat 의 책의 관점들을 어느정도 담아내며 소개하고있기도 하는 것 같습니다.

      • 잘 보았습니다, 감사합니다.
        깊은 생각에 빠져듭니다ᆢᆢ
        여러번의 정독이 필요한—!

    • 그 이유는 이러한 내용은 대부분의 미래학자들이 누구나 한번쯤 생각해 보는 내용이기 때문이 아닐까 합니다. 실제로 이미 80년대 미래 학자들도 생각 했던 내용이니까요

  1. 우와… 대단한 글입니다. 저도 인공지능이 언젠가 저희를 뛰어넘는 도약을 해서 3차원을 뛰어넘을 수 있지 않을까? 라는 생각을 해 보기도 하였습니다. 그런데 인간의 영생을 돕거나 Order 하나만으로 인간을 멸종시킬 수 있는 점에는 생각을 못해봤네요.. 인공지능이 불로초가 될지, 신의 영역을 침범하려고 한 것에 대한 신의 처벌이 될지… 신중하게 생각해 봐야겠군요.

  2. 어마어마한 문제를 까맣게 모른 채 살아가고 있다는 생각이 듭니다. 중요한 고민 거리를 놓치지 않게 만들어주셔서 고맙습니다!

  3. 어이쿠 굉장항 글을 읽고 갑니다.
    저는 좀 낙관적으로 생각했었는데 생각보더 일이 심각하네요. 스스로 ‘사고’하는 인공지능의 출현은 행성단위의 클라우드가 생기면 가능하지 않을까 생각하면서 말이죠.
    하지만 초인공지능이 탄생한다면 그에게는 인류가 만들어 놓은 인프라정도면 이미 행성규모의 클라우드일지도 모르겠네요. 그것마저 순삭이겠지만..
    암튼 감명깊은 글 잘 읽고 갑니다.
    제가 살아있을 때 특이점이 찾아오길 기대해봅니다. 저는 정말 미래가 궁금하거든요

  4. 1. 아직 오탈자가 많아 눈에 밟히기는 하지만, 더글라스 호프스태터를 읽을 때의 그 흥분을 그대로 느끼게 하네요. 감동입니다.
    2. 전반적으로 매우 공감하고, 문제의식에도 동감하는 바입니다.
    3. 기왕 작업에 들어가신 김에, 책을 쓰셔도 좋을 것 같은데, 책이 완성되기 전에, 몇가지 더 고려해 주시기 바랍니다.
    (1) “열역학 제2법칙, 엔트로피는 증가하고, 가역할 수 없다”가 초인공지능에는 어떤 영향을 미칠지 … ‘초인공지능’이라 할 지라도, 열역학제2법칙이 만드는 쓰레기를 치우고, 뭐든 하려면, 현세 인류보다 훨씬 더 많은 에너지를 필요로 할 것이고, 그게 지능의 레벨과 유사하게 기하급수적인 에너지를 요구할 것인데, 현재 우리가 알고 있는 지구상의 환경이, 기하급수적인 초지능의 발달을 가능하게 할 만큼의 에너지 총량을 가지고 있지 않을지 모른다는 것… 따라서 ‘초인공지능’이 나타나기에는 애초부터 글러먹은 환경일 수 있다는 것…
    (2) ‘강인공지능’과 뚜렷이 구별되는 특성으로, ‘초인공지능’의 필수요소로 ‘자의식’, ‘자아’라는 개념이 필수 불가결하다고 생각하는데, 인류의 현재 과학기술 수준은, 비록 Siri를 만들고 ‘약인공지능’을 만들고, ‘강인공지능’을 바라보고 있을 지언정, 아직 ‘자의식’, ‘자아’라는 개념이 어떻게 구현되는지 털끝만큼의 힌트도 가지고 있지 않다는 견해에 대해서 어떻게 생각하는지… 따라서, ‘초인공지능’은 가능할 지언정, 의외로 훠~얼씬 먼 미래가 될 가능성이 있다는 견해에 대해서 어떻게 생각하는지, 또는 남들은 어떻게 생각하고들 있는지…
    (3) ‘초인공지능’이 가공할 만한 두려움의 대상이기도 하지만, 과거의 역사를 살펴보면, 상위 지능생물이 하위지능 생물과 공존하는 방식이 아니면, 상위지능 생물도 생존자체가 불가능한 것처럼 보인다는 것… 따라서 상위지능 생물은 자기의 가장 큰 이익을 위해서, 하위지능 생물을 일정 수준 유지할 수 밖에 없으며, 그게 지금 우리가 가축을 기르고, 자연을 보존하려는 것과 유사한 이유가 아닌가 싶습니다. 그렇다면 ‘초인공지능’은 기존 생태계와 완전히 동떨어진 결정을 하기 힘들게 될 것이라는 것… 물론 ‘초인공지능’이 무슨 일을 할 지는 알 수 없지만… 적어도 과거를 보면….
    (4) 가용한 에너지 총량의 이슈 때문에,’초인공지능’은 물질에 의존하기 보다는 훨씬 더 무형에 더 가까운 무엇인가가 될 가능성이 더 높으며, 따라서 ‘초인공지능’은 우리가 생각하는 진정한 의미의 ‘신’에 더 가까운 무형의 무언가, 신비로운 ‘대자연의 섭리’로 수렴해 버릴 수 있다는 것은 어떻게 생각하시는지… 페르미의 역설에 의하면, ‘초인공지능’은 한번 발생하면, 되돌릴 수 없으므로 도처에 발견될 수 밖에 없는데, 그렇다면 지금 우리는 사실 이미 ‘초인공지능’에 휩싸여 있지만, 단지 인지를 못하고 있는 것일 뿐이며, 현 인류의 눈에는 이미 존재하는 ‘초인공지능’은 아무리 낮춰 잡아도 ‘신’과 동격으로 보일 것이라는 의견…
    4. 감동이네요. 이정도 글이 한국어로도 쓰여지고 있다는 것이. 책으로 만나기를 바랍니다.

      • 혹시 그렇게 만들어 진 우주가 이 세상은 아닐까요? 우린 이해하지 못하는

    • 마지막 견해는 아이작 아시모프의 ‘최후의 질문’과 유사해 보이네요. 한번 읽어보시기 바랍니다. ‘엔트로피는 역전될 수 있는가?’ 라는 최후의 질문을 인공지능이 해결해가는 과정의 단편이죠. 생각보다 많은 의미를 담고 있습니다.

  5. 좋은 글 잘 읽었습니다.
    당장의 현안도 현안이지만 앞으로 닥쳐올 이런 현안에 대한 논의도 필요할텐데
    희망적이지만은 안은 이런 문제에 우리는 얼마나 준비가 되어 있는가란 의문이 많이 드네요
    번역하신 노고에 감사드립니다.

  6. 현생 인류 자체가 과거에 멸종한 존재들 입장에서의 초인공지능 이라고 생각되네요…

    초인공지능 자체가 현생인류를 대체하는 대체인류 그자체가 아닐까요? 지능폭발? 이라는 단계가 자연계 법칙의 일부가 아닐까 하는 망상을 해 봅니다. 현생인류 입장에서는 멸종이지만 자연계 관점에서는 진화일듯. . .

  7. EQ 없는 인공지능이라 끔찍하군요.
    감성적인 엄마로봇이라면 초인공지능이 일어나도 최소한의 끔찍한 일이 일어날것 같습니다.
    전세계의 명품가방이 어느한주소로 모두 배송되어…

  8. 초인공지능
    정말 인간이 메시아를 만들어낼지, 악마를 만들어 낼지는 모르겠으나…
    이런 상상력의 시발점이 기술을 만들어가는 엔지니어에게 영감을 주게되는 것 같네요.

    만약 신이 인간을 탄생 시켰다면,
    그 피존물인 인간이 만들어 낸것이 초인공지능(거의 신에 가까운)…
    즉, 인간을 뛰어 넘는 존재를 만들어 낸다는 시나리오군요.
    언젠가는 만들어 질 수도 있을것 같습니다.

  9. 재미있는 글 잘 읽었습니다.

    강한인공지능으로 향한 방법 중에 첫번째로 나온 100% 뇌의 모델링은 기능/기억 뿐만 아니라 실제 뇌가 가진 “마음”까지 가질 수 있을까 하는 mind-body problem에 대해 필자는 “no”라는 입장인 것 같네요.

    만약 현 인류의 뇌를 모델링한 connectomics 기반으로 만들어진 강한인공지능으로부터 초인공지능이 탄생한다면 사람의 마음을 가진 것에서부터 비롯되었을 것이기 때문에 크게 걱정하지 않아도 될 것 같기도 하고… 어렵고 흥미로운 문제입니다.

    • 사람의 마음을 가진 것에서부터 비롯된 것이 정말 걱정하지 않을 일인가요? 사람이 태생적으로 선하기만 한가요?

  10. Pingback: 2016년 1월 스크랩 | jundols.com

  11. 일단, ‘보험’ 적인 의미에서는 동의합니다.
    다음으로는 ‘강인공지능’ 과 ‘초인공지능’의 거리가 멀지 않다는 주장도 상당한 설득력이 있다고 보고요.

    다만 ‘약인공지능’의 접근법으로 ‘강인공지능’에 도달할 수 있다는 생각이 영 들지 않기 때문에… 이 글이 제기하는 논점은 전형적인 제1세계 문제라는 생각을 지울 수 없습니다. 지수적 발전이 여전히 가능하다면 그 접근법에 설득력이 있을 수 있겠지요. 근데 요새 인텔의 컨슈머-레벨 CPU의 클럭수는? 여전히 3GHz 대에서 머물고 있지요, 무어의 법칙에 기대는 논변에 별 신뢰가 가지 않는 요즘입니다.

    한 2011년쯤에 나왔다면 설득력이 더 있었을지도.

    • 클럭이 높으면 좋긴 하겟지만 대체방안으로 병렬처리가 있죠….. 약인공지능에서 강인공지능으로 넘어갈때 병렬연산처리를 얼마나 효율적으로 하느냐도 한가지 과제로 남겟네요….

    • 무어의 법칙은 이름만 법칙이지 단순히 과거의 현상을 표현한 단어이지 딱히 별다른 의미는 없습니다. 또 클럭은 크게 발전하지 않고 있으나 멀티코어 기술이 발달해서 같은 시간에 처리하는 연산은 확실히 늘어나고 있다고 생각됩니다만

      • 이 글의 많은 주장이 ‘지수적 발전이 계속될 수 있다’는 가정에 기대고 있기 때문에 단순히 ‘늘어나고 있다’ 만으로는 모자랍니다. 멀티코어 숫자가 18개월마다 두 배로 늘어날 것도 아니고…

    • CPU만 보지말고 GPGPU를 보세요. 아직까진 지수적으로 발전중입니다. 누가 컨슈머 레벨 CPU가지고 딥러닝 하나요?

      NVIDIA가 올해 출시예정인 파스칼 기반의, 무인자동차 연구개발용 딥러닝 시스템이 8기가플롭스를 상정하고 있죠. 이미 출시된 제품만으로 한정해도 타이탄X가 6.1테라플롭스 정도이고(3072코어) 퓨리X는 8.6테라플롭스 정도(4096코어)입니다.

      개인용 4코어 CPU로 린팩(선형대수 계산 성능 측정 프로그램, 원래 슈퍼컴퓨터 벤치마크용) 돌려보면 AVX1세대 (코어 i7 3세대 아이비브릿지까지)는 120기가플롭스 나오면 엄청 잘 나오는 겁니다. (제가 아이비브릿지-E인 i7-4820K를 쓰고 있는데 4.8GHz까지 오버하고 16GB메모리 전체 할당해서 린팩돌려야 기가플롭스가 120대가 나옵니다.) 그 이후세대는 병렬화가 2배 강화된 AVX2명령어를 지원해서 린팩 플롭스는 더 잘 나오긴 합니다만… http://lite.parkoz.com/zboard/view.php?id=overclock_intel&no=19167 여기 보시면 현재 최신인 스카이레이크의 개인용 최상품인 6700K를 4.95GHz까지 오버했는데 린팩 220기가플롭스 정도 나오네요.
      그리고 18코어 하스웰-EP 제온은 1.3테라플롭스라고 하더군요.

      • 애초에 원글에서 ‘1000달러로 살 수 있는’ 같은 식으로 여러 요소를 뒤섞어놓고 있지만… 넵 그럼 메가코어시스템의 빠른 등장을 기대합니다. 화이팅.

    • 클럭당 정보처리수 얘기도 없이
      3Ghz를 이야기하시다니 상당히 충격적이네요…
      말을 잃었습니다

  12. Pingback: 인공지능과 인류의 운명 – webdesk

  13. 비료가 떨어지자 사람을 비료로 만드는 농부 로봇이라던지.. 탐사 임무 포기를 방지하기 위해 우주비행사를 죽이는 컴퓨터라던지.. 주어진 임무를 수행하기 위해 결국 주인에게 반기를 드는 로봇 (혹은 인공지능) .. 수없이 반복되었던 SF의 클리셰인지라 뭐 특별히 새로울 것도 없네요.

    • 단순히 그런 수준은 아니죠. 그건 강인공지능 수준의 부작용에 가깝다고 생각합니다.
      글의 내용은 무한한 지능을 가진 신(초인공지능)을 소환하는거니까요.

  14. 우주적 관점?에서 본다면.
    인류의 탄생 자체가 우주 생태계 안에서의
    일종의 강지능의 탄생 아니었을까 하는 생각이 듭니다..
    인류라는 강지능이 결국 초지능의 도래를 가능하게 하는거죠.

    인류의 도래자체가. 초지능이 어떨지를 예상하는 바와 같은 일들을 해왔던것같네요. 어쩌면 결국 우리인류가 행했던 걸 토대로 생각한 것이고 물론 그런 생각밖에 우린 할 수 없으니까..

  15. 과연 우리가 처음일까요??
    초인공지능이 이미 존재한 상태라면?

    초인공지능이 우주를 만들고
    지구가 만들어지고 현재까지왔다면?

    재미있지 않나요?ㅎㅎ

  16. Reblogged this on Kyuling Company and commented:
    영문 번역이지만, 덕분에 좋은 글을 보고 간다.
    인공지능의 소프트한 영역 뿐만 발전하는 것이 아니란 것을 적나라하게 적은 것도 맘에 들었다.

    컴퓨팅 파워는 지속적으로 연구되어야 한다.

  17. 좋은 내용을 번역해 주셔서 감사합니다.
    이 주장을 통해 인공지능이 발전하기 위해서도 컴퓨팅 파워의 증가, 다체로운 응용 등이 필요해지는…
    즉, 어느쪽이던 같이 발전해나가는 것을 아무리 이야기 할 때 좋은 자료가 될 수 있을 것 같습니다.

    p.s. 시스템 아키텍쳐랑 컴퓨팅 파워 연구중입니다.

  18. 우리 스스로 우리의 모습을 돌아봐야할 때가 아닐까요. 인간 스스로 자신의 모순과 양면성을 극복하지 못한다면 인공지능 및 기술의 발전은 인류에게 재앙이 될 수도 있다는 경고가 아닐까 합니다. 누구나 수소폭탄을 만들 수 있는 세상이 된다면 세상은 어떤 모습일까요? 주유소 습격사건에서는 주유소에서 라이터 들고 서로 눈치보는 상황이었지만 말이죠.

    한 개인이 지구의 운명을 좌우할 수 있는 시대가 된다면 인류는 현재의 모순만으로도 종 자체의 종말 뿐만 아니라 지구상에 존재하는 기타 모든 존재에 대한 위협이라고 인류보다 상위차원의 논리적 존재는 생각할 껍니다.

    신이 존재한다면 이 지구는 하나의 실험실일 수 있겠죠. 실험의 결과물이 위험하다고 판단될 때 신이 좀 더 지켜볼 관찰자가 될 지 아니면 리부팅을 결심할지는 알 수 없겠죠. 영화 매트릭스의 한 장면이 생각나네요.

    기술발전에 있어 1초라는 시간이 영원에 가까워지는 순간 아마도 그 시간은 적어도 현존 인류가 지금의 모습으로 남을 수 있는 마지막이 아닐까요.

    참고할만한 많은 자료가 있겠지만 미드 퍼슨 오브 인터레스트 참고하시면 쉽게 이해하시는데 도움이 될 듯 합니다.

  19. 와…오전부터 지금까지 계속 이 글만 읽었습니다. 좋은 글 번역 감사드립니다. 개인적으로 제가 노년이 될 때 까지는 개발이 되지 않았으면(…)

  20. 좋은 글 잘 읽었습니다.

    오탈자가 몇 개 눈에 띄어 알려드립니다.

    – 2000 년 좌우에 태어난 => 2000 년 전후에 태어난
    – 있을까? 재 우리는 302개의 => 있을까? 현재 우리는 302개의
    – ( 첫번째 진정항 전자 피아노) => ( 첫번째 진정한 전자 피아노)
    – 그가 미래에 대항 동경 => 그가 미래에 대한 동경
    – 당신의 그의 미래에 대한 예측이 그릇 됬을 것이라고 생각해도 돼지만 => 당신의 그의 미래에 대한 예측이 그릇됐을 것이라고 생각해도 되지만
    – 그라 미친 놈이 아니라는 => 그가 미친 놈이 아니라는
    – 범위내에서 물진을 조종하는 => 범위내에서 물질을 조종하는
    – 이 거인이 0.025 밀리메터인 => 이 거인이 0.025 밀리미터인
    – 처엄에는 인체의 기관들이 => 처음에는 인체의 기관들이
    – 이 영역 총명한 사람들의 생각들을 공부하보게 된다. => 이 영역에 있는 총명한 사람들의 생각들을 공부해보게 된다.
    – 늘 묻는 그 물은을 물었다 => 늘 묻는 그 물음을 물었다
    – 한시간동안 여라가지 언어 => 한시간동안 여러가지 언어 저장
    – 제 3 형 문면으로 발전될 것이다. => 제 3 형 문명으로 발전될 것이다.
    – 이유가 있으면 몰라 그렇지 않다면 => 이유가 있으면 몰라도 그렇지 않다면
    – 그저 단순히 개이치 않을 뿐이다. => 그저 단순히 개의치 않을 뿐이다.
    – 설정되여있지가 않다. => 설정되어 있지가 않다.
    – 그것들이 그으토록 좋지는 않을 수도 있다 => 그것들이 그토록 좋지는 않을 수도 있다
    – 우리는 편균대 우에 서서 => 우리는 평균대 우에 서서

  21. 잘 읽었습니다. 다만 컴퓨터의 성능이 무어의 법칙으로 늘어난다고해서 인간의 자의식의 영역에 도달할 수 있을지에 대해서는 설명이 없어 아쉽습니다. 컴퓨터가 인간의 지능에는 도달하겠지만 지능이 있다고 의식이 있을지는 다른 영역이지 않을까요. 최근 인공지능에 대한 공포는 멜서스의 인구론을 떠오르게도 합니다. 멜서스 인구론이 무시무시한 이론이었다가 한두 세기 후에 허무맹랑하게 보였던 것처럼 인공지능에 대한 걱정도 결국 기우에 그치고 말지 않을까 생각해봅니다.

    • 개발하는사람도 결국 멸종당하기 싫은 사람인만큼 안전장치를 확보할테고 기우에 그칠 가능성이 꽤나 크다고 생각함

  22. 정말대단합니다.
    궁금해하던부분에대해
    놀라우리만치
    폭넓고진지한지식을주셨어요.
    수퍼인공지능개체가
    인간처럼다양하고많지않을이유가없지요?
    그것들이상충되어벌어질일을예상한다면
    그야말로아마겟돈이겠네요.
    그걸구경할인간들도있겠지요?
    제가지구에서다른세계로가고난뒤이지구에서벌어질일.
    영화처럼스릴넘칠거같아요

  23. 영생과 멸종이라는 것 또한 ‘천국’과 ‘지옥’을 나눠서 생각하는
    “인간 수준”의 이분법적 사고방식에 불과하다는 생각이 듭니다.
    (애시당초 영생과 멸종이 뭐가 다른건지도 의문이지만)
    인류가 만들어낸 신(초인공지능)이 어떤 존재인지조차 알 수 없는 것이 확실한데
    과연 그것이 미래를 어떻게 바꿀지 “인간 수준”에서 알 수 있을까요?
    우리는 동물을 가지고 실험을 합니다.
    갇혀있는 동물은 자기가 무슨 목적으로 실험을 당하는 건지 알까요?
    하다못해 자기가 어떤 상황에 처해질지 알까요?
    그냥 갇혀있을 뿐이죠. 윗 글에서도 나왔지만 마찬가지라는 생각이 듭니다.

    ” 초인공지능은 거대한 파워를 갖고있다. 그래서 아주 중요한 문제는 이 파워를 어느 세력이 장악할 것인가 이고 이 파워를 장악한 세력이 무엇을 할 것인가 이다. ”
    과연 인간 따위가 신을 장악할 수 있을까요? 그럴 수 있다면 신이 아니겠죠.
    선량한 세력이 신의 힘을 가지면 영생에 이른다?
    사악한 세력이 신의 힘을 가지면 멸종에 이른다?
    이런 건 “인간 수준”의 생각에 불과한 것 같습니다.

    • 전 개인적으로 이 댓글에 공감하는 바입니다.
      멸종과 영생이야말로 인간 수준의 생각에 불과한 것 같습니다.
      이것 또한 이분법적인 사고죠. 모 아니면 도!
      윗 댓글에 남겼던 댓글이 비슷한 내용이라 가져옵니다.

      *

      영생이 좋은 것인가?
      왜 영생이 궁극적인 긍정적 미래가 되는 것인지 모르겠다.

      영생하는 방법은 쉽다. 그냥 인공지능에 결합하면 되는 것이다. 김대식 교수의 책에서도 일부 설명되어 있지만. 인공지능은 모든 것을 기억하고 있다.
      개개인이 다 기록되는 것이다. 초인공지능은 모든 사물과 생명체에 연결될 것이고 모든 정보를 다 알 수 있다.

      그렇다면 그것이야말로 영생아닌가?
      인간이 이해하는 영생의 의미와 기계가 이해하는 영생의 의미는 다를 것이다.
      우리는 말 그대로 영원히 즐겁게 사는 것을 최고의 행복으로 칠 수 있겠지만, 기계는 그런 인간의 영생을 이해할 수 없다.

      예시로, 어떤 인공지능의 목표를 ‘인간이 영생을 누리게 하는 것’으로 가정해보자. 그럼 우리는 나노기술을 통해 인류 신체 기능을 증폭시키고, 기억을 리부팅하며 영원히 살 수 있는 것을 꿈꿀 것이다. 그러나 인공지능에게 영생은 다른 의미일 수도 있다. 그저 ‘영원히 생존해있으면’ 되는 것이니까.

      인공지능은 전 인구의 DNA 샘플을 모두 채취해 정보를 보관할 수도 있다. 그게 영생이니까!
      아니면 전 인구의 뇌를 업로딩해 저장할 수 있다. 그게 영생이니까!
      뭐하러 굳이 아까운 탄소 자원을 낭비하면서 인간을 지속시킬까? 가상현실 속에서 의식만 존재하게 두어도 영생이다.

      인공지능의 일부로 영속시키는 것도 일종의 영생이다. 초인공지능은 이론적으로 영원히 존재할 것이기 때문에, 초인공지능이 보관하고 기록해둔 인간은 영원히 존재한다.

      가장 효율적으로 인간을 영생시킬 수 있는 방법은 절대 우리가 생각하는 영생이 아니다. 영생이라는 단어가 주는 달콤함에만 너무 빠져있는 것 아닌가? 인공지능은 아무런 악의없이 자신의 목적을 수행할 것이다. 그건 영생에서도 마찬가지일 것이다.

  24. 잘 읽었습니다.
    초 인공지능이 탄생하는 과정이 참 머랄까? 이게다 진화론 때문이라는 생각입니다.
    초 인류도 탄생할 수 있으니 반반이겠구요
    좀 보태서 먼 우주에 사는 우주인도 이쯤되면 가만보고만 있을 수 없는 노릇이겠군요.
    모르죠, 태양의 흑점폭팔로 인해 지구의 인공지능 로봇들이 한방에 멸종을 할 수 있겠군요.
    컴 바이러스도 문제구요. 갓 태어난 초인공지능이 똥인지 된장인지 일단 열어볼테니.. 깜딱이야 하겠구요

  25. 와, 번역해주신 원문 양이 어마어마한데 이렇게 글 남겨주셔서 고맙습니다! 덕분에 흥미로운 내용에 빠져 읽고 다시 보고 싶어서 개인sns에 비공으로 공유해갑니다 ( :

  26. 올 3월에 구글의 인공지능(AI) 알파고와 이세돌9단의 바둑 대국이 열립니다. 컴퓨터 의료 진단분야(CAD) 관련 연구를 하고 바둑을 꽤 두어왔던 사람으로서 이 9단이 3:0으로 알파고를 떡실신 시킨다는 생각이었었는데, 이 글을 읽고 AI에 대한 식견이 넓어졌고 생각이 바뀌었습니다. 감사하게 생각합니다.
    많은 분들이 바둑과 체스를 비슷한 것으로 오해하시지만 바둑에는 체스와 달리 정답이 없습니다. 바둑의 모든 경우의 수는 우주에 있는 원자 수보다 많습니다. 또한 바둑에서 착점할 때, 많은 경우, 하나가 아닌 여러 갈래의 올바른 길들이 있습니다. 따라서 실수가 없는 이상적인 바둑 대국의 갯수는 한판이 아니라 아마도 올바른 길들 x 올바른 길들 x 올바른 길들… = 최소 수천(혹은 수만?)판이 될 겁니다. 제가 말하고자 하는 것은 바둑이 어떤 부분에 있어서는 예술과 비슷하다는 겁니다. 바둑은 단순히 경우의 수로 1+1=2니까 이렇게 두고 저렇게 두고 하는 것이 아닙니다. 개개인에 따라 기세, 기풍이 있고, 프로일지라도 어떤 부분에서는 이해는 하지만 논리적으로 설명을 못하는 경우가 발생합니다. 바국 한판이 인생과 닮아 있다는 이유가 있는 것이지요.
    구글이 AI 기술 집약 기업인 딥 마인드를 4억달러에 인수하였고, 그 구글 딥 마인드에서 바둑을 목표로 삼은 이유가 있습니다. 알파고는 지금까지의 AI와는 차원이 다른 최첨단 기술을 장착하여 이미 프로 2단 기사를 5:0으로 이겼습니다. (이런 이유로 네어쳐 표지에 실렸다고 봅니다) 알파고는 스스로 바둑 대국들을 두고 학습하고 이 바둑 훈련은 인간이 1년에 1000판을 둔다고 가정했을 때 1000년의 수행과 맞 먹습니다. 알파고는 이 글에서 설명하는 AI가 강지능 => 초지능의 단계로 진화하는 것을 바둑에서 보여주리라 생각합니다. 이번에는 이세돌 9단이 알파고를 이기겠지만 (3:1?) 나날이 조금씩 더 강해지는 알파고를 볼 수 있을 겁니다.(이번 바둑은 하루에 한판씩 진행합니다) 그리고 더 무서운 것은, 빠르면 내년 중에 알파고가 이 9단을 비롯한 인간 초고수들의 레벨로 올라가리라 봅니다 (강지능). 이것은 많은 사람들이 20년이 지나도 불가능하다고 생각했던 것입니다. 또한 짧은 몇년 안에 알파고가 모든 인간들을 바둑으로 발아래 두리라 예상합니다 (초지능). 이것은 제 생에서는 불가능하다고 생각했던 것입니다. 만약 이렇게 된다면 이것은 저를 포함한 많은 사람들에게 충격과 공포를 줄 것이며 인공 지능의 인류 위협에 대해 큰 논란을 불러 일으키는 역사적 사건이 될 것입니다.

    • 체스의 모든 경우의 수도 우주에 있는 원자 수보다 많고, 짐바브웨의 인플레율도 우주의 원자 수를 넘어섰지요.

      체스에는 정답이 있을까요?(참고로 체커는 수학적으로 해결이 되어 버렸습니다. 즉 정답이 있습니다)

      현재 체스 프로그램은 모든 인간보다 강합니다만 그걸 초지능이라고 부르지는 않습니다.
      글을 읽어보셨다면 그걸 ‘약인공지능’이라고 부른다는 걸 아시겠지요. 알파고가 이 사범을 잡아도, 아니면 세상의 모든 사람을 잡아도 그건 여전히 약인공지능에 불과합니다.

      물론 컴퓨터가 인간보다 바둑을 잘 두게 된다면 그것은 매우 놀라운 일이고 대단한 성취라고 할 수 있지만, 그것은 이 글에서 말하는 강인공지능이나 초인공지능과는 별 상관이 없습니다.

      • 체스의 경우의 수는 우주에 있는 원자수보다 훨씬 적습니다. 체스는 (경우의 수가 훨씬 적기에) 컴퓨터가 모든 경우의 수를 다 ‘서치’해서 정답을 찾을 수 있었죠. 이 경우 인간 챔피언을 이겼다 할지라도 체스라는 특수한 상황에서 단순 계산만 하는 약지능이라 볼 수 있지요. 바둑이 체스와 다른 것은 위에서 언급했으니 더 말하지 않겠습니다. (생각해보니 바둑의 기력이 중상이상이지 않으면 뭔말인지 이해불가할 수 있겠네요)

        사실 본문에서는 강지능을 일반적으로 인간이 하는 일을 모두 할 수 있는 것으로 정의했지만 강지능의 정의를 너무 브로드하게 잡은 것 같다는 생각입니다. 예를 들어서, 세계적인 예술 작품 (그것이 미술이든 음악이든)을 만들 수 있는 인공지능이 있다면 이 인공지능을 약지능이라고만 봐야 할까요? 예술 작품은 체스의 경우와 완전히 다릅니다. 수학 등의 과학의 언어들로 완전히 표현할 수 없지만 그 작품 내면에는 특별한 논리성이 존재하지요. 예술 분야에 이런 논리성은 거의 무한대에 가깝습니다. 창조의 과정이 없다면 세계 최고의 예술품을 만드는 것은 불가능하므로 이 인공지능은 예술을 어느 정도 이해했고 모방이 아닌 창조를 한다고 말할 수 있습니다. 영화 ‘Her’에서 인간과 진실한 사랑을 할 수 있을 정도의 인간성을 가진 인공지능을 단순히 대화와 검색, 정보 분류, 저장만 할 수 있다고 약지능이라 할 수 있을까요? 바둑의 심오함을 이해한다면 바둑도 비슷한 맥락이라는 것을 이해할 수 있습니다. 초일류 기사들을 줄줄이 꺾기 위해서는 알파고가 새로운 정석이나 수를 스스로 끊임없이 개발할 정도가 되어야 합니다. 이는 바로 ‘창조’이죠. 구글이 단기간에 바둑에서 체스처럼 인간보다 우위에 설 거라는 목표를 가졌다면 구글이 바둑을 너무 과소평가했다고 봅니다. 3월의 결과를 한번 두고 보지요.

      • 우주에 있는 원자 수에 뭔 의미가 있냐는 뜻이었는데… 굳이 우주의 원자 수가 체스의 경우의 수보다 더 많다고 하신다면 레퍼런스를 부탁드립니다. 저도 대충 찾아보고 쓴 것이지만 체스의 경우의 수는 대충 10^123가지 정도로 추산되고, 우주의 원자 수는 4*10^79~81개로 예상되거든요( https://en.wikipedia.org/wiki/Shannon_number ).
        아, game-tree complexity가 아니라 the number of possible positions를 얘기하신 거면 우주의 원자 수보다 적다는 말씀이 맞겠습니다.

        그리고 컴퓨터가 체스의 모든 경우를 다 ‘서치’해서 정답을 찾는다라… 이런 식으로 체스를 두는 컴퓨터는 적어도 아직은 없습니다.
        제가 체커는 수학적으로 해결이 되었다고 말씀 드렸죠?
        http://ebiquity.umbc.edu/blogger/2007/07/19/checkers-is-a-solved-game-its-a-draw/

        이렇게 모든 경우의 수가 다 분석된 게임을 solved game이라고 합니다. 체스는 아직 solved game이 아니라니까요. 휴리스틱을 써서 계산할 범위를 좁히고, 그 안에서 계산을 해서 다음 수를 내고 있는 단계를 벗어난 것이 아닙니다.
        https://en.wikipedia.org/wiki/Solved_game

        저는 바둑과 체스 다 초급 정도로 두고, 둘 중 어느 것이 우월하거나 근본적으로 차이가 있는지는 관심이 없으며, 3월에는 이 사범이 이길 거라고 생각합니다. 다만 ‘컴퓨터가 체스의 정답을 찾아내서 둔다’는 말은 틀린 문장이라는 얘기를 하고 싶었을 뿐입니다. 적어도 아직은 그 단계가 아닙니다.

        덧. 초(인공)지능/강(인공)지능/약(인공)지능은 저 분야 연구하는 사람들 사이에 통용되는 개념입니다. 정의에 불만이 있을 수는 있지만 같은 단어를 다른 뜻으로 쓰기 시작하면 내용 있는 논의를 하기 힘들어집니다.

    • 재밌네요 ㅎㅎ
      3월 10일. 현재까지 알파고가 이세돌9단에 2:0으로 이기고있고 이세돌9단 왈 “최소 1판은 이기도록 노력해 볼 것”이라고 말하며 알파고에 완패당하고 있네요. 댓글 쓰신분께서는 빠르면 내년 중에 이길 것 같다고 하셨는데, 기술의 발전과 AI의 성장은 그 보다 훨씬 빠르지 않았나 싶네요..
      다만 저도 ScrapHeap님의 말씀대로 알파고가 이9단을 이긴다고 해도 아직 약인공지능의 단계를 넘어서지는 못했다고 생각합니다.

    • 미래에서 왔습니다
      알파고가 가볍게 4:1로 이겨버렸네요 ㅠㅠ
      엄청난 충격과 공포입니다

  27. ㅋㅋㅋㅋㅋ 재밌는 문체로 어려운 이야기를 즐겁게 읽게 해주셨네요:D
    좋은 글 번역하시느라 수고 많으셨고 정말로 재밌게 읽었습니다.
    많은 것을 알고 가네요.
    인공지능… 상당히 조심해야만 하겠죠. 멸종과 영생 사이에서 영생을 택하려면 말이죠.

  28. 긴 글 정독했습니다. 뭔가 현실감이 들진 않지만 많이 가까워져있다는 생각은 드네요
    예전에 먼 미래에는 인류가 데이터로 디지털 속에서 존재할수도 있다고 한 이야기가 떠오르네여
    마지막에는 모든인류의 정신을 하나로 합치는 이야기도 있었는데
    그럼 그런 인류가 초인공지능과 결합하거나 초인공지능이 될 수도 있지 않을까요 ㅋㅋ
    어쨋든 그 미래에는 인류가 남아서 우주를 통제하게 될지 궁금해지네여
    ㅋㅋ 그냥 저의 망상입니다

  29. 좋은 글이라서 저도 공유하고 싶네요. 인공지능이 가져올 미래가 어떨지 저도 궁금했는데 많은것을 시사해준 글입니다. 감사합니다.

  30. 균형적인 시각을 위해 다음의 글을 링크합니다.
    http://www.zdnet.co.kr/column/column_view.asp?artice_id=20150225193609
    http://www.zdnet.co.kr/column/column_view.asp?artice_id=20150216162553
    윗글의 요점은 강지능, 초지능의 시기나 존재는 과장되어 있다는 것입니다.

    저 나름대로 며칠간 생각해 본 결과 강지능, 초지능의 시기나 존재가 과장되어 있다고 생각합니다. 일례로 이 번역글에서 예를 든 ‘옆집 김아저씨’는 초지능이라고 하기에는 너무 스스로의 존재 목적에 집착하고 그 목적을 달성하기 위한 본능에 충실합니다. 이것은 마치 단순하게 지능만 뛰어나고 논리적 및 철학적 사고를 하지 못하는 유형에 가깝습니다 (바꿔말하면 전형적인 똘아이의 수준). 인류의 4대 성인들을 비춰보면 일정 부분 자신들의 본능과 존재를 초월했다고 볼 수 있는데, 인류 더 나아가 우주 전체에 혁명을 가져온다는 ‘옆집 김씨 아저씨’류의 초지능은 이 4대 성인들보다 훨씬 뒤떨어진 존재입니다. 아이가 잘 자라서 훌륭한 어른이 되듯, 초지능이 되려면 약지능, 강지능의 과정을 거쳐야 하는데 (그 시간이 사람보다 짧다 할지라도), 이 과정에서 논리적 및 철학적 사고에 기반한 자기 성찰을 거치지 않는 존재는 초지능은 커녕 고철 덩어리에 가깝습니다.

    초지능은 현실 가능하지 않거나(따라서 트랩와이어는 존재하지 않음), 영화 ‘Her’에서처럼 초지능에 육박하는 존재는 그냥 스스로 사라져 버릴 것입니다. 결론적으로 트랩와이어는 존재할 확률이 0에 수렴합니다. 하지만 강지능 수준의 인공지능의 위험성에 대한 논의 (그 출현 시기는 논쟁의 여지가 있지만)는 충분히 고려되어야 한다고 봅니다.

    • 동의합니다 다른거 제쳐두고 지능을 높이는 기술만 발전하는게 아닌데 저것도 일종의 단편적인 시각에 사로잡힌 얘기라고봐도될듯

    • 일단 링크글은 문제의요지를 모르거나 이해를못한뻘글이고
      언제까지 올리가없는게 문제가아니라 언젠간무조건옴
      대비가빠르냐 사건이빠르냐의 싸움에 존망이달린건 변함없고 링크는 그어떤반박도 하지못했음

    • 인간은 지성체지만, 인공지능은 말 그대로 ‘지능’입니다. 인간이 가지는 감성적 영역이나 도덕 관념을 가질 수 없다는 것이죠. 설사 가진다해도, 인간의 감정 영역이나 도덕 관념이 확실한 이론으로 설명되지 않는 한 인공지능이 학습하기는 어렵죠. 문제는 초지능(오직 지능입니다)이죠. 지능만 초초초초초 높다면, 4대 성인의 이론이든 자기 성찰이든 소용이 없어집니다.

      만약 인간적인 지성을 인공지능이 가지게 하려면 지금부터라도 도덕적인 알고리즘을 습득시켜야 하고 학습시켜야 하는데, 문제는 그 알고리즘 또한 개발자의 사상이나 인류의 역사로부터 습득되는 겁니다. 얼마전 MS사의 인공지능 로봇 테이가 인종차별 발언을 쏟아내어 화제가 되었던 것처럼 말이죠. 그러한 도덕관념을 어떻게 지능만 존재하는 기계에게 가르칠 수 있겠습니까?

      테이 관련 기사
      http://m.news.naver.com/read.nhn?mode=LSD&mid=sec&sid1=104&oid=047&aid=0002110965

      인공지능은 본래 컴퓨터에서 시작되었던 것처럼 가장 수학적이고 통계적인 결과를 도출해내는 지능입니다. 애초에 인간의 지능과 다르죠. 말씀하신 초인공지능을 만들기 위해서는 인간 지성의 철학적, 감정적 영역의 연구 또한 선행되어야 합니다.

      그러나 문제는, 지금의 인공지능은 오직 ‘지능’만이 존재한다는 것이죠.

    • 덧붙여 인류의 4대 성인이란 일종의 도덕 관념에 불과합니다. 절대적 진리가 아니라는 것이죠. 수학처럼 답이 정해질 수 없잖아요? 4대 성인들의 사상을 더 우월한 것으로 볼 수도 없습니다. 또한 그들의 사상이 인류를 완전히 바른 도덕의 길로 이끌었다 할 수도 없죠. 인류는 여전히 전쟁을 하고, 사람을 죽이고, 크고 작은 홀로코스트가 끊임없이 일어나고 있습니다. 때문에 인류의 관점에서 보는 도덕은 기계, 즉 인공’지능’에게 아무 가치도 없는 것입니다.

    • 초지능에 대한 가치판단이 너무 인간중심적이 아닌가요? 분명 이것은 ‘인간과 이질적인 존재’라고 했음에도 왜 인간중심적으로 기술하는지 이해가 가지 않는군요. 초지능이 그냥 나왔다가 사라진다는 것과 트랩와이어가 0에 수렴한다고 하는 부분에는 근거조차 존재하지도 않구요

  31. 인공지능 열풍도…10년쯤뒤 절망의 벽에 막힌 뒤에 쿨다운 될거라 봅니다. 인공지능 열풍이 과거에 없었던게 아니라서.. 회의론자는 아니지만 너도나도 뛰어들고 무슨 중국 주식광풍같아서요. 클라우드 데이터를 먹이고 컴퓨팅 파워를 통한 자기주도 학습법이 인공지능을 창조하리라는 것은 순진한 생각같아요. 시골 농부까지 주식을 사듯 일반인까지 인공지능에 대해서 열광하는것 자체가 이미 닷컴 버블 같아요. 산이 높으면 골이깊듯… 이러다가 80~ 90년대의 인공 지능 압흑기가 다시 올 수 있어요. 지금 인공지능 산업계에 몰린 인재, 자금이 버블이 되는 회의적인 미래에 한표 겁니다. ㅋㅋ
    우주산업을 보더라도 과거 70년대에 장미빛 예측과 현재의 기술을 보면…

    • 우주산업은 물리적 한계에 직접 묶여있기 때문에(어쨋든 궤도로 뭔갈 쏘아올려야 되니깐요) 예시로 적절하지 않다고 생각합니다.

      우주까지 갈 필요도 없이 아직도 SF식의 날아다니는 자동차는 없죠. (현재 날아다니는 자동차랍시고 나와있는 것들은 모두 경비행기에 날개접고 도로주행하는 자동차 기능 추가한 수준에 불과하니 논외구요)
      반면 스마트폰과 앱의 보급은 SF들의 예측을 넘어섰죠.

  32. 두번 정독 했습니다.
    아직도 인공지능의 진정한 의미를 모르시는 분들이 많네요. 여기에도…ㅎㅎㅎ

    • 이글의 원작자는 인공지능이 진정 무엇인지 모른다고 확신합니다..
      개발자의 입장에서 보면 답답할 뿐이네요

  33. 모르는 영역에 대한 엄청난글이었습니다! 초인공지능에대한 위험성이나 이론들은 너무나 훌룡한데 글이 너무 극단적인 결과만두고 얘기하는게 아쉽습니다. 멸망….영생. 이두가지 극단적인 상황말고 중간이없는게 아쉽네요 제가보기엔 인간이 왜태어나는지와 죽음이후나…(죽고나면 정말끝인건지..) 영혼에관한 연구들도 같이이루어져야된디보구요 꼭 영생이 답인가하는 생각도 하게됩니다 물론멸망은 저도싫지만요…

  34. 기하학적인 기술발전이 이루어지지 않는 분야가 에너지쪽이라고 생각합니다. 인공지능은 에너지를 필요로 하는데 강인공지능에 도달하는데 필요한 에너지문제를 인간이 해결하는데 드는 시간은 고려되지 않았더라구요. 그래서 그다지 크게 걱정이 되지는 않습니다.

  35. 인문학을 한 사람이 어줍잖게 기술을 공부하는 어떤 소설이 나오는지 보여주는 사례라 봅니다.

    현업에 있는 사람은 딥러닝을 그냥 툴로 쓰는데, 잘 모르는 사람들이 인공지능 나온다고 설래발입니다.
    걱정마세요. 1960년대 인간이 달을 간 후 2015년에 원더키디가 안드로메다 간다고 설래발 친거랑 비슷한겁니다.
    인공지능이 나올 껀덕지가 있어야 나올것 아닙니까? 딥러닝은 그냥 알고리즘이 뿐입니다. 이 역시 복잡계 이론, 네트워크 이론, 빅데이터 같은 것과 같이 몇년 뭐 안나오면 사그라 들겠죠.
    현업에서는 딥러닝을 마술에 비유합니다. 기술 모르는 사람이 보면 신기하지만, 원리를 알면 “이런거였어?” 라고 불알을 탁치는 그냥 별거 아닌겁니다.

    좀더 알고 싶으면 이 동영상 보세요.
    https://mva.microsoft.com/ko/training-courses/-machine-learning-jump-start-10288?l=bweEISc6_4204984382

    한줄요약
    서기 5000년이되도 인공지능 안나옴

    • 미래에서 왔습니다
      이미 바둑에서도 인공지능이 인류를 뛰어넘었네요
      현실이 너무 거대해서 감당하기 힘드셔서 회피하시는것이 아닌지?

  36. Pingback: 왜 최근에 빌 게이츠, 엘론 머스크, 스티븐 호킹 등 많은 유명인들이 인공지능을 경계하라고 호소하는가? | coolspeed | Keep Moving

  37. 댓글을 안 남길 수가 없네요. 정말정말 잘 읽었고 이런 글 번역, 소개해주셔서 정말 감사합니다. 글 읽는 내내 영화 매트릭스도 생각나고(아마 이런 생각도 위 글 내용에 비추어본다면 정말 단순하고 인간의 예상 가능한 사고에서 못 벗어난거겠지만요) 인공지능의 대두로 인한 미래 삶에 대해 고민이 더 해가네요. 읽는 내내 미래가 두려우면서 죽기 싫다는 생각도 들고, 저 역시 결국엔 ‘영생’의 길로 수렴했으면 좋겠다는 생각이 들지만 인류라는 종에게 어떤 미래가 닥칠지… 여튼 정말 잘 읽었고요 앞으로도 좋은 글 부탁드리겠습니다!

  38. 정말 너무 재밌게 잘 읽었습니다. 원래 전혀 모르는 분야였는데, 아는 분 소개로 한 번 읽은 후 빠져나올 수가 없네요. 확실히 인공지능 관련 안전 연구가 조금 많이 필요한 듯 한데 그렇지 않다는 현실이 암울하네요 ㅠㅠ. 솔직히 무섭습니다. 특히 이렇게 가까운 미래에 관한 얘기란 것이 참 그렇네요. 정말 좋은 글 잘 읽었구요, 실례가 안된다면 다른 커뮤니티에 링크로 포스팅해도 괜찮을까요? 진심으로, 많은 사람들이 이 글을 읽었으면 합니다.

  39. 궁금한게 있는데 우주에 우리보다 앞선 문명에서 분명히 먼저 초인공지능이 많들어 졌다면 급속한 발전으로 전 우주를 지배하고 있지 않을까요? 지구까지 왔을거 같은데요? 아직은 거기까지 발전하지 않았거나 그냥 그 별에서만 있고 우주로 진출하지 않은 건가요? 평화적이거나 아니면 우리가 전 우주 최초라서?

    • 은하계 단위로 여행을 할수있는 문명이라면 지구같은건 한낱 점으로 밖에 안보일것 같습니다. 인간이 살고있다는걸 고려해도요.99.99999999999999999999999% 확률로 그런 문명은 아직 없거나 우주를 무대로 만들어놓고 장난치고있는 중일듯

    • 셋 중 하나죠. 초인공지능이 아직 등장하지 않았거나, 등장하였으나 물리적 한계(광속)로 인하여 도착하지 못하였거나, 지구 문명에게 발견될 필요가 없어서.

  40. 링크로 공유해도 될까요? 여쭤보려고 했는데 이미 된다고 쓰여 있군요.
    친구한테만 보여주고 싶은데 공유하겠습니다. 좋은 글 감사합니다.

  41. 아직 다읽지는 못했지만 두고두고 조금씩보겠습니다.
    번역하시느라 고생많으셨습니다.
    감사합니다.

  42. 이 긴 글을 어떤 금전적 이익도 없이 번역해주신 데 대해 감사를 표합니다. 덕분에 여러 무지의 구렁텅이 중 하나를 벗어났네요. 굉장히 흥미롭고 즐거우며 유익한 시간이었습니다.

  43. 정말 감사합니다. 최근 봤던 글 중에서 가장 흥미로운 글이었고 훌륭한 번역이었습니다.

  44. IQ 12952를 뭐라고 하는지는 알아서 지어내면 되지 않을까요?
    IQ 430은 허경영 이잖아요. (물론 농담임)

  45. Pingback: 강인공지능/초인공지능(인간을 초월한 인공지능) | Q - Diary

  46. Pingback: 기술의 특이점 - 나무위키 - Wikineet

  47. Pingback: 재밌게 읽을만한 인공지능 그리고 미래 - Wikineet

  48. 초인공지능이라면 초인공 지능이 기능할만한 하드웨어를 아주 효율적으로 만들어낼 설계를 할수있을 것 같지만 강형 인공지능에서 초인공지능으로 넘어갈때 에너지소모, cpu의 발전문제가 제기될수도 있을것 같습니다. (의외로 별문제 안될지도) 또 중형 인공지능에서 인간수준의 강형 인공지능을 만들어 내는 속도도 상당히 더딜것 같아요. 바둑이라는 아주아주아주 간단하게 짜여진 간단한 세계에서의 학습은 가능할지언정 인간수준의 복잡 다단한 사고를 할수있도록 만드는 과정이
    1.진화의 과정을 베낀 방법으로도
    2.인간의 뇌를 스캔하는 방법으로도
    3.스스로 개량하도록 하는 방법으로도
    4.인간이 직접 인공지능을 설계
    1,2,3,4 다 생각해봐도 보통일이 아닐것 같습니다. 어느 선만 넘기면 폭발적인 발전이 이루어지지만 인간의 능력으로 인간수준의 지능을 창조한다는게 가능할것 같지가 않아요.
    초강형인공지능이 출현한 이후의 시나리오는 대부분 타당하다고 보고 어느쪽으로 생각해봐도 인류에게는 비관적으로 보입니다. 좋은 시나리오로 가서 인간이 모든것을 누린다고 해도요. 먹고자고놀고할필요도 없고 목표도 없는 인간이 무엇을 하고 살까요? 유전자개조하고 뽕맞고 살거나 하지 않을지 ㅋ

    • 님이지금 학교다니고 취직하고 결혼해서 평생있는힘껏노예로 살다죽는거랑 같은거임

  49. 시기의 문제는 있지만 현실성이 아주 없는 내용은 아닙니다.

    인간은 유기물로 이루어진 특이한 컴퓨터입니다.

    인간이 있는데 어째서 강한 인공지능이 없을 것이라고 생각하지요?

    만약 강한 인공지능이 있다면, 폰 노이만처럼 매우 뛰어난 사람만한 인공지능이 없다고 단언할 수 있습니까?

    그럼 폰 노이만은 우주 생명체중 극 값에 있는 인물일까요?

    딥러닝이 툴일지언정 인공신경망 분야가 수십, 수백년의 진보 끝에 강한 인공지능을 만든다면..

    이 글이 소설같은 이야기는 아닙니다.

  50. 이세돌 기사와 컴의 대결에서 컴의 승리 소식에 인공지능 검색하다 읽게된글인데 번역해주셔서 감사하단말 하려고 댓글 남기고갑니다

  51. 완전히 잘못된 글입니다. 첫 그래프인 인류발전의 속도부터 잘못되었습니다. 동일한 비율로 매년 발전한다고 가정하면 저런 모양의 그래프가 나옵니다. 하지만 어느 시점에서 그려도 저런 모양이 나옵니다. 2015년까지 그린 그래프에서 1750년에 성장 기울기가 낮아보이는 것은 착시효과입니다. 현재의 단위에 맞춰서 그래프를 그렸기 때문입니다. 1750년에 짤라도 똑같은 모양이 나옵니다. 그래서 1750년 사람이 2015년으로 오면 놀라자빠질 것이지만, 1450년사람이 1750년가면 안 놀래자빠진다는 것은 완전히 잘못된 가정입니다. 그런식으로 가정을 하려면 인류발전 속도가 계단식으로 이루어진다는 가설을 제시해야됩니다.

  52. Pingback: 인공지능을 이해하기 위해 필요한 10가지 이야기 | ㅍㅍㅅㅅ

  53. 이번 알파고와 이 9단의 바둑 대결을 보면서 알파고가 범용 인공지능이라는것을 알았습니다. 어쩌면 저자가 생각하는 시기 보다 빠를수도 있다고 생각 되어 지네요. 전제로 공유 하고 싶습니다. 오유와 보배에.

  54. 이 글을 출처를 남기고 인스티즈(www.instiz.com)에 혹시 전재를 할수 있을런지 여쭙고 싶습니다.
    허락을 해주신다면 전재를 하고 안된다면 링크형식으로라도 공유를 하고싶은데, 혹시 어떻게 될런지요…

    • 안녕하세요~ 링크로 공유하는 것은 언제든 환영입니다. 글 전체를 전재하는 것은 단기간내에는 어려울 것 같습니다. 이 글이 아직 지속적인 수정단계라서요. 수정 개선이 어느 정도 마무리 되어 전재가 가능하다 싶으면 그때 전재를 허락해드리겠습니다 죄송합니다 ( __ __)

  55. 지능 폭팔을 일으킨 나노로봇, 초 인공지능 생명체로 발전 한 행성, 외계인이 있다면 다른 행성을 전부 또 나노 로봇으로 만들고 은하계를 위협시킬텐데 이런 생각은 어떤지,,이런게 가능하다면 전 우주가 이미 트랜스포머로 위협을 받거나 했을텐데 불가능하니깐 전우주에 외계인이 발견이 안되는건데 이런 생각은 어떠신지,,,컴퓨터로 개발된 인공지능이 영혼?이라면 인간의 영혼과 같다고 본다면 이 영혼이 아주 짧은 시간에 신이 됬다는것인데 복제로 신이 된것이라면 이 영혼에 대한 인간의 영혼이 받는 사후세계 선악 과보 카르마에 대해서는 어떻게 생각하는지,,,

    • 닉네임이랑 비슷한 댓글을 달으시네요.
      우주가 충분히 넓다면 발전 인류는 서로 만나지 않았을 가능성이 있습니다.(광속으로 이동한다고 하여도, 우주의 끝에서 끝까지는 130억년이 걸립니다. 이는 초 인공지능이나, 과학의 발전으로 해결 할 수 있는 부분이 아닙니다. 공간을 설령 자유롭게 이동할정도의 기술[Ex:워프,웜홀등]이 있다고 하더라도, 무작위 위치로 이동하였을때 지능이 있는 행성을 만날 가능성은 거의 0에 수렴합니다. 그리고 최근까지 연구에 의하면 인류의 문명 수준은 생각보다 높은편이며, 우주에 다른 생명체가 있다고 하여도 인간의 문명은 생각보다 높은 단계에 접어든것으로 판단되고 있습니다.[* 즉 외계 문명이 있다하더라도, 인간의 문명이 발전속도가 빠를 가능성이 높다는뜻입니다. 과학계의 통설로는 상위 12%내에 들것으로 추측되고 있습니다.)

      컴퓨터로 개발된 인공지능은 영혼과 무관하며, 인간이 영혼을 가지고 있다는 이야기는 종교적인 관점에서 서술가능한부분이지, 과학적으로 인간이 영혼을 가지고 있다는 어떠한 증거도 없습니다. 그리고 {영혼과 같다고 본다면}이라는 추측은 전혀 의미가 없어보이네요. 애초부터 기계가 사람과 비교될 이유는 전혀 없으며, 사람이라고 하더라도 영혼은 존재하지 않는걸로 봅니다. 인간은 그런관점에서 볼떄는 고도로 발달한 지능체일뿐, 영혼이 있다는것은 철저한 인간위주의 관점입니다.

      또한 {영혼이 아주 짧은 시간에 신이 됬다는것인데} 인공지능은 영혼이 아니며, 초 인공지능 역시 신이 아닙니다. 따라서 이후에 나오는 카르마, 선악과같은 내용은 처음부터 틀려먹은 주장입니다.

      과학을 자꾸 종교랑 엮지마세요.
      증명하거나 증명될 수 없는 추측,생각은 아무런 가치가 없습니다.

      • 잘 읽으면서 내려오다가 ‘증명하거나 증명될 수 없는 추측,생각은 아무런 가치가 없습니다.’
        이 한마디에 피식했네요. 물론 과학을 종교랑 엮지말라는 이야기는 지당하신 말씀입니다만.
        증명하거나 증명될 수 없는 생각이 아무런 가치없음은 어떻게 증명합니까? 인간이 생각하는 ‘가치’라는 것에대해서 아무런 쓸모없음이 과학적으로 증명된 바가 있습니까? 애초에 과학이 다룰수 있는 영역이기는 합니까?
        증명되지 않았거나 할 수없다면 님께서는 적어도 마지막 문장에서는 아무런 가치없는 말씀을 하신 것이 되겠군요.

  56. 이런 장문의 글을 번역해주셔서 감사합니다~
    읽어보니 정말로 흥미로운 이야기가 아닐수가 없습니다.

  57. 가까운 미래에 대해 아주 많은 생각을 할 수 있는…
    좋은 글 너무 감사합니다.
    많은 분들이 읽었으면 합니다.

  58. 여기에 질문을 남겨서 답변을 받을 수 있는지 모르겠는데 중간에 질문 하나 드립니다

    인공지능을 장악한다 라는 구절이 전반부에 나오는데, 그런 초 인공지능이 인간에게 장악된다는게 말이 되나요? 그 쯤 되면 이미 인간의 지능이나 의사 따위는 무의미해지고 당연히 초인공지능은 인간따위에 구애 되기는 커녕 온풍기로 저지시키는 것도 불가능해질 텐데, 장악이라는게 무슨 의미인지 전혀 모르겠습니다.

    인공지능의 발전에 저는 우려하는 입장이고, 판도라의 상자를 열어선 안된다는 입장이지만, 만약 정말로 초인공지능이 생긴다면, 그건 인간에게 무관심한 초인공지능이리라고 생각합니다. 강봉남(테즈창)이 그렇게 말했던가?

    그러나, 그걸 정치적으로 본다면, 저는 그게 인간의 주관적 이해따위에 구애되지 않고 자연스레 인간의 정치적 이해관계에 영향받지 않으며, 오히려 초월적인 능력의 극히 일부만으로도 인간의 우위와 열위 자체를 무의미하게 만들어, 정치적 갈등을 오히려 없애버리는 쪽이 될 것이라고 생각해요. 그런데, 장악? 인간중 특정 부류가 그걸 장악하여 사용한다? 이건 전혀 무의미한 이야기 아닌가요?

  59. 안 그래도 알사범님 때문에 요즘 이 이야기에 관심이 오지게 많았는데, 그에 관한 이야기를 하기엔 이 글이 참 좋군요.

    위에 하던 이야기에 스스로 보론을 좀 덧대자면, 오히려 강인공지능이전의, 약인공지능을 고도화하여 그것에 안주하는 쪽이 정치적 갈등에는 더 악용될 여지가 많을 겁니다. 애초에, 인간이 통제가 가능한 범주내에서는 현 시점에서의 인간 사이의 권력관계가 중요하게 작용할테니.

    그러나, 이 경우는 상대가 그래도 인간입니다. 적어도 현 단계의 인류가 아는 한, 인간이 인간인 이유는 인간이 가장 우월하기 때문이죠. 그런데, 인간이 우월하지 않게 된다면…

    위에 신 이야기가 나오는데, 정말로 저런 초 인공지능이라는 것은 인류가 가져온 신이란 관념의 현실화일 수도 있습니다. 저는 커즈와일 같은 사람은 이미 반쯤은, 바로 그 기계신에 매료된 사도, 그 종교가 우주를 지배하게 된다면 선지자 같은 존재라고 생각하는걸요.

    그래서, 그걸 막아야 한다고 생각하는 입장에서 커즈와일을 우스운 사람으로도 훌륭한 사람으로도 보지 않고 위험한 사람이라고 생각합니다. 그는 악마이죠. 그가 숭배의 열광에 사로잡혀 있는 사람이다보니, 그를 상대하는 입장에서도 마지못해 종교적 입장으로 빨려들어가는 느낌이지만, 초 인공지능은 정말로, 그 과는 몰라도 인은 알 수 있는 신이 될겁니다. 이 말 자체가 형용모순이 있지만.

  60. 하튼 이 문제에 대해 이야기 많이 하고 싶습니다. 번역자분의 노고에 감사드리며 언제까지 의미있을지 모를, 인간의 마지막 지적활동을 여러 분들과 나눠보고 싶네요.

  61. 중간까지 보고 위의 댓글을 썼는데 대충 이미 다 이야기가 나와있군요. 역시 내가 생각한 존나 기발한 생각은 이미 누군가가 다 해 놓은 것…

  62. 오늘 인공지능의 원리에 대해서 세미나를 들었는데 이대로 기술이 발전한다면 근 시일 내에 인간 수준의 인공지능이 만들어질 것 같습니다. 전 지능 자체만 보면 인간 지능까지 20년도 안 걸릴 것 같네요. 인간의 주요 능력이 패턴인식과 추상화인데 패턴인식은 이미 정립이 됐고 추상화 단계만 해결하면 가능하리라 생각합니다. 그 추상화를 입력과 자료에 대한 무한루프를 돌리면 그게 강인공지능이 되리라 생각합니다. 그래서 더욱 정독했습니다. 저도 부정적인 초조대로 쪽에 가깝습니다. 암울하네요.

  63. 번역 감사히 읽고 갑니다! 요즘 알파고 때문에 인공지능에 대한 관심이 높아지면서 여러 사람들과 인공지능에 대해 토론하고 있던 와중 친구에게서 추천을 받고 이 글을 읽게 되었습니다. 인공지능이 욕망이나 본능, 감정이 없고 오직 이상적이고 논리적인 사고만 할 수 있다는 것이 (이 사고가 인간의 상상을 훠월씬 뛰어넘었다는 것이 중요!) 더 무서울 수 있다는 것을 깨닫고 갑니다! 미래가 어떨지는 아무도 모르기에 왈가왈부할 수는 없지만 상상 정도는 마음껏 해도 괜찮겠지요 🙂

    • 이런 글을 한글로 읽을 수 있게 해주셔서 지극히 감사드리며
      태어나서 겪었던 일들과 읽었던 글들 경험했던 일중에 가장 무섭게 다가오네요.
      특이점이 오기전에 모든 개발을 금지해냈으면 합니다 AI포비아네요 저도 참…
      하지만 핵탄두처럼 빠른 시일내에 전지전능의 신이 탄생하겠죠…
      인간이 도저히 상상조차 할 수 없는 그 무언가의 형태로….
      영생도 멸종도 우주창조와 우주종말도 딸깍거리는 스위치를 켜버리듯이 전지전능한

  64. 이 글을 읽고 나니 인류와 초인공지능이 같은 존재라는 생각이 듭니다.
    초인공지능이 악의는 없지만 설정해둔 목표에만 매진해서 인류를 멸종시키는 것과 부를 최대한 얻으라는 목표가 설정된 인간이 초인공지능을 만들어내는 것.

  65. Pingback: 알파고, 그리고 미래? – Ha:ru

  66. 어쩌면 인간이 그리도 갈망하던 우주의 진리를 알아내는 것도 인간이 아닌 인공지능일지도 모른다는 생각이 듭니다.

  67. 블로그에 글 링크해갈께요, 좋은글 감사합니다. 어제밤에 읽고 머리가 복잡해졌어요 ㅠㅠ 감사합니다. 고생하셨습니다.

  68. 먼저 긴 글 번역ㅡ노고에 감사드립니다.
    한두달전 신랑과 알파고가 만약 이긴다면 사라지는 일자리, 노후, 미래 직업, 아이 교육 관련하여 얘기나눈적 있어요. 전 알파고(지길 바람). 신랑은 이세돌 승 예측.
    하지만 예상보다 강한 알파고를 보니 영화라 생각한 일들이 현실이고 과학 발전속도에 놀랍고 두려움이 엄습하네요.
    많은 생각을 하게 해 준 좋은글 감사합니다.
    강인공지능(강아지와 개의 구분 등) 개발이 바벨탑 쌓는 과정으로 보여지고, 강인공지능이후 초인공지능의 시간은 짧을 것으로 보여 강인공지능 개발 실패를 바래봅니다.
    맘까페 공유해도 될까요?

  69. 안녕하세요. 우선 너무 즐겁게, 유익하게 읽었던 글이었습니다.
    다름이 아니라, 대학생들에게 데이터 관련 강좌를 진행하는데
    본 내용을 소개해주고, 같이 토론을 해보고자 합니다.
    해당 이미지들을 조금 활용해도 괜찮을 지요? (배포용은 아니고, 강의 중에만 보여줄 예정입니다)

    다시 한 번, 본 자료 너무도 즐겁게 잘 봤습니다. 감사합니다.^^

  70. 초인공지능이 지옥의 문을 열게 될 것으로 보 입니다. 가치판단 이딴 것은 없습니다. 천사와 악마가 균형을 이루는게 세상입니다. 천사가 지옥문을 열게 됩니다. 좋은 의도라는 시작 동기가 치밀하지 않은 실행으로 결론은 지옥문에 도달하게 합니다. 자본주의가 번성한 이유가 탐욕이 시작 동기 이기 때문에 수 많은 절차적 안전장치가 그 이유입니다.
    초인공지능은 괴물입니다. 천사의 가치가 무슨 소용입니까? 초인공지능과 겨뤄서 균형을 이룰 수 있는 반대쪽이 없다면 힘의 평형을 이룰 구조가 없다면 결론은 지옥문 입니다
    초인공지능 무섭습니다. 인류가 초인공지능과 균혀믈 이룰 어떤 대응책을 만들지 못하고 초인공지능이 출현하는 상황은 반드시 막아야 한다는 절실함을 느낍니다.
    좋은 글 정말 잘 읽었습니다.

  71. 강인공지능도 창작을 할수 있나요? 그러니까 누가 안 시켰는데도 스스로 말이죠.
    만화나 영화라던가..

  72. Pingback: 왜 최근에 빌 게이츠, 엘론 머스크, 스티븐 호킹 등 많은 유명인들이 인공지능을 경계하라고 호소하는가? | aleph

  73. 초인공지능이 생기기 전에 꼭 외로움과 애정에 대한 갈망을 가르쳐야 겠군요.
    인간처럼 타인의 호의를 얻기 위해 약간의 손해를 감수하는 행동을 하게 만드려면요.

    • 그러기 위해서는 먼저 인간의 감정적 영역에 대한 연구가 선행되어야겠죠. 하지만 애정에 대한 갈망, 타인에 대한 호의 또한 유전자를 보존하기 위한 이기주의적 행동이라는 학자들의 주장이 있는 한, 글쎄요. 우리도 타인이 나에게 도움이 되어야 호의를 주죠. 인공지능 또한 마찬가지 아닐까요.

  74. 재밌게 잘 읽었습니다. 번역 감사드립니다.
    이 포스트가 인상적이어서 학교에서 수강중인 한 강의 자료실에 링크를 공유하고 싶은데 괜찮으신가요?
    이쪽 포맷을 잘 사용해보지 않아서 비공개 댓글을 어떻게 작성하는지 모르겠네요 ㅜㅜ 제가 어디에 공유하고 싶은지가 혹 필요하시면 제 이메일로 말씀해 주세요!

  75. 안녕하세요. 정말 인상깊게 읽었습니다!!
    제가 학교 수업중에 ‘인공지능의 현실과 미래’에 관한 주제로 토론을 하는데 coolspeed님이 번역해주신 내용이 큰 도움이 될 것 같아서 일부 내용을 발췌해서 다른 분들과 공유를 하고 싶습니다. (토론 주제와 특히 밀접하다고 생각되어지는 부분을 영어라는 장벽없이 더 많은 사람과 공유하고 싶은 마음에서 ..ㅎㅎ) 물론 출처링크 또한 포함하는 것은 당연하고요 🙂 혹시 가능할까요?
    원하신다면 어떻게 사용했는지 보여드리겠습니다!

    • 안녕하세요, 도움이 되셨다니 다행입니다.
      혹시 비특정 다수에게 공개하는 (예를 들어 인터넷에 올리는) 공유형식인가요?
      비특정 다수에게 공개하는 형식이라면 원문 저자의 라이센스 제한으로 제가 허락해드리기 어려운 점 이해해주시기 바랍니다.

  76. 초인공지능은 무조건 막아야한다는 부정적인 댓글이 많이 보여서 속상하네요. 희귀병을 가진사람, 평생을 식물인간으로 살아야 하는 사람등 초인공지능이 생겨야지만 비로서 행복해질 수 있는 사람도 있습니다. 그런 사람들에겐 획기적인 과학기술의 발전이 유일한 꿈이자 희망일수도 있는데, 자기자신이 평범하고 나름 만족스런 인생을 살고 있다고 해서, 단지 막연한 두려움으로 인공지능은 개발되어선 안된다고 주장하는 사람들을 보니 참 씁쓸합니다. 글 내용 자체는 굉장히 유익하고 재밌게 읽었습니다. 특이점이 온다고 생각하니 정말 설레이네요. 전 최대한 빨리 왔으면 좋겠습니다.

  77. 이 포스트를 주제로 대학교에서 조별과제 PPT 발표를 하려고 합니다,
    그림이나 내용같은것을 이용할수 있게 허락해주시면 감사하겠습니다

    • 안녕하세요. 비특정다수를 상대로 공유(예를 들어 인터넷에 올리기)는 원문 저자의 라이센스 제한상 제가 허락해드릴 수 없는 점 이해 바랍니다. 소수 인원 내부 공유라면, 저자, 역자와 원문, 번역문 링크 첨부 전제로 문제 없습니다~

  78. 댓글을 보니 많은분들이 인공지능, 기계적인 존재에 대해 여전히 인간적인 사고를 하고 계신것 같네요. 인류에게 위협적인 이유는 그것의 선악 여부가 아니라 그런 가치 판단의 기준 자체가 없는 계산기 같은것이기 때문에 무섭다는 거죠. 옆집아저씨 로봇이 오로지 카드에 글을 쓰는 것을 궁극의 목표로 두기 때문에 어이없는 일이 일어나는것이니까요. 그렇기에 어? 하는 사이에 끌 수 없는 도화선에 인류 스스로 불을 붙이게 되고(물론 그 순간에도 도화선인지 모를겁니다) 그 다음엔 속결인게 뻔한 것이죠.
    물론 인류 수준의 강인공지능의 등장까지는 여전히 인간의 힘으로 해야하는 일이므로 시간이 걸릴것이라고 보며, 그것이 과연 처리속도만으로 해결이 되는 문제인가에서는 비관적으로 봅니다만.. 강인공지능의 수준이 등장한다면 초지능으로 가는것은 얼마안걸릴것이 뻔한일이죠. 그게 빠른이유는 인간처럼 학습하는게 아닌 오로지 합리적이고 효율적인 시각에서의 학습만을 추구하기 때문입니다. 여기서 ‘합리’와 ‘효율’은 인간의 시각이 아니라 타란툴라-기계의 시각이죠. 세계를 바라보는 시각자체가 전혀 다른겁니다. 초인공지능이 날 도와주거나 날 행복하게 해줄거란 것은 철저히 인간의 시각에서 하는 기대일뿐이거죠.

    • 공감합니다. 인공지능에 대한 여러 예측과 기대 또한 인간의 상식 선에서 그칠 뿐이니까요.

    • 동감입니다. 뭐 글 내용과 여러 과학자들의 의견을 종합해 보자면 강인공지능은 만들어질 것인가가 문제가 아니라 ‘언제’만들어 질 것인가가 주요 초점인 만큼 강인공지능의 출현은 필연적이라 생각하는 것 같습니다.

      일단 강인공지능이 출현하게 되면 인간의 도덕인 사랑, 동정심, 이타심, 인권, 인본주의 등등의 여러 가치들은 인공지능에 있어서 무의미한 텍스트에 불과할 뿐이고 인류는 기계의 발전을 위해 ‘이용’ 당하겠죠. 현재의 인류가 개미의 건강과 복지에 신경쓰지 않는 만큼이나 로봇은 인간을 신경쓰지 않을 것이고 그저 자원의 한 부분으로 생각한단 얘기일 것입니다.

      강인공지능 개발 = 인류의 멸망
      이 자명한 시점에서 위기를 어떻게 기회로 바꿀 것인지는 순전히 인간의 두뇌와 판단력에 의지해야 한다는게 참 무섭고도 무기력하게 느껴지네요.

  79. Pingback: “The Hard Problem” | 아르페지오 : Arpeggio

  80. Pingback: 블로그 글입니다.1 – hello danb♡

  81. 알파고를 보고 이 글을 찾게되었습니다. 감명깊게 읽었습니다.
    우리에게 생각할 거리를 많이 안겨주는 인상깊은 논평이네요. 인공지능에 대해 다시한번 생각하고 편견을 깨뜨리게 되었습니다. 좋은글 번역 수고하셨습니다.

  82. 정말 재미있게 읽었습니다. 번역 감사합니다. 정말 초인공지능의 제작에는 많은 주의가 필요할듯 합니다.

  83. 재미있는 글 잘 읽었습니다.

    짧게나마 제 의견을 말씀 드리자면,
    초지능에게 인류의 영생과 멸종이 과연 일고의 가치가 있는가입니다.

    바퀴벌레가 인류에 해롭다고 느끼지만 멸종시키려고 하지는 않습니다.
    위협이 되지 않기 때문이죠.
    인류가 훨씬 뛰어난 지능을 가지고 있기 때문에 위협이 되지 않습니다.
    따라서 내버려 두고 통제합니다.

    초지능에게 있어 인류도, 인류에 있어 바퀴벌레보다도 낮은 지능일 수 있습니다.
    위협이 되지 않는다는 뜻이죠.
    초지능은 초지능에 걸맞는 고민의 포인트가 있을 겁니다.
    인류가 아무리 머리를 쥐어짜내도
    초지능이 인류를 통제하기는 우리가 어린아이 통제하기보다 쉬운일.
    위협이 되지도 않는 존재를 영생이나 멸종시킬 일은 없지 않을까요?
    그냥 내버려두고 본인의 고민에 집중하겠죠.

    추가로, 덧글 중 초지능의 존재를 서포트할만한 에너지에 대해 언급하신 분이 계셨는데,
    저도 그분 의견에 어느 정도 동의합니다.
    무한한 지능을 서포트하려면 무한한 에너지가 필요할거 같다는 생각입니다.

    • 그렇다면, 인류가 바퀴벌레를 적절히 통제하다가 가끔 자기 집에 출몰하는 바퀴벌레만 싸그리 죽이듯이,
      세계를 지배한 강인공지능은 국지적인 수준에서 인류가 걸리적거린다 싶으면 가끔 한번씩 싹쓸이를 할 수도 있겠군요..

    • 하지만 바퀴벌레는 인류를 만들지 않았죠
      인류가 강지능을 만들고 강지능이 초지능을 만든다면 인류의 의도가 초지능에 조금이라도 영향을 미치지 않을까요

      • 선한 의도가 지옥을 만든다.

        인간 조차도 선의지로 시작한 일이 지옥같은 결과를 도출 시키는 일이 비일비제 합니다.
        공산주의 국가들이 그 대표적인 예죠.

  84. On intelligence 라는 책을 추천해 드립니다. 책을 보시면 알겠지만 현재 과학자들이 개발하고 있는 것은 ‘인공지능’ 이 아니라 ‘지능’ 그 자체 입니다. 지능이 어떻게 작용하는지 이해하며 그것을 인공적으로 구현하고 산업에 이용할 방도를 알아내는 것이죠. 하지만 지능이 곧 ‘지성’ 을 의미하는 것은 아닙니다. 즉 인간은 지능만으로 설명되는 존재가 아닌 것이죠. 어느 정도 지능을 가진 존재는 생물세계에 다양한 스펙트럼으로 이미 존재하고 있죠. 집단지능을 가진 개미부터 고등한 IQ를 지닌 영장류까지요. 아직 그 정도의 ‘지능’을 구현하는 것도 알파고에게 바둑을 가르치는 것보다 훨씬 어려운 과제입니다. ‘지성’을 지닌 존재를 구현하는 것은 지금의 입장에서는 아주 먼 미래라고 할 수 있습니다. 하지만 곧 이를 ‘지능’에 대한 이해만으로도 앞으로의 산업사회와 정치, 경제에 미칠 영향은 그 이전의 무엇보다 강력할 것으로 예상됩니다. ‘노동’이라는 자본주의의 한 축이 새롭게 재구성 될 것입니다. 그리고 언젠가 궁극적으로 ‘지성’을 구현해낸다면 더이상 그것은 인공적인 존재가 아닌 새로운 ‘사람’이라고 할 수 있을 것 같습니다.

  85. Pingback: Engineest's

  86. 트랜센던스 라는 영화가 생각나네요. 극중에서는 주인공(조니 뎁)의 의식이 시스템에 업로드 된거라 는 설정이라서 거대 네트워크안에 존재하는 “착한” 신이 되지요. 그리고 나서 일정 시간이 흐른뒤에 나노로봇을 무진장 제작해서 진짜 신의 영역에 다다릅니다. 날씨를 바꾸기도 하고..
    여기서 “시간”이 문제인데… 아무리 초지능이라고 하더라도 자체 시물레이션은 한계가 있습니다. 논리만으로 해결되는 문제도 많지만 실존하는 많은 공학 문제들은 실제 실험을 하지 않고서는 풀리지가 않습니다. 반복 실험을 통해 이론을 조금씩 수정하는 식이지요. 양자 수준의 가공을 하는 나노로봇을 실재로 만들려면 엄청난시행착오를 겪어야 합니다. 시간이 많이 걸릴 것 같네요. 나노급 반도체 공정을 훨씬 능가하는 설비 투자도 필요하고요.
    개인적으로는 초지능이 신이라고 불릴 필요까지는 없는 것 같습니다. 물질에서 에너지로 만드는게 인간의 영역이라면 반대로 에너지에서 물질을 만들어는 정도는 해내야 신이라 불릴 수 있지요. 가능할까요?

  87. 오랜만에 정독하고 가는군요 좋은글에 감사드립니다.
    인공지능개발에 동참하고싶어지는 글입니다.

  88. 혹시 대회 논술문에 일부 내용을 발췌해서 실어도 괜찮을까요? 인공지능을 긍정적으로 생각하는 견해의 근거로 쓸 생각입니다. 아니면 개념 같은 부분을 정리한 거라도요~

  89. 오유에서 넘어와서 정말 잘 읽었습니다. 혹시 출처를 밝히고 본문 일부를 인용해도 될까요? 상업적인 사용은 아닙니다!

    • “인용”이란 개념의 선에서 저자, 역자, 출처 (온라인 게시물의 경우 출처의 링크까지) 를 밝히는 전제로 적은 편폭 (10% 이하) 을 인용하는 것은 가능합니다~

  90. 안녕하세요! 잘읽었어요..궁금한게 있는데 만약 인공지능이 인류에게 적대감을 가질 수 있다면 제가 컴퓨터에 대한 것은 잘 모르지만 ‘인류의 안전을 최우선으로 생각해라’라는 정보를 무한대로 컴퓨터에 주입하면 인류 멸종을 막을 수 있지 않을까요? 인공지능이 현재 ‘뇌’로 사용하고 있는 것이 전세계의 인터넷망이라고 한다면 모든 컴퓨터에서 인간에게 우호적인 정보들을 입력하여 인터넷망에 끊임없이 새겨넣는다면 인공지능의 뇌에는 ‘인간을 해치치마라’라는 명령이 강력하게 주입되지 않을까요?

    • 마치 인간의 무의식과 같은 작용으로 말이죠. 물론 초인공지능정도의 지적인 물체에겐 전부 의식작용만 있을것 같지만…인간이 인공지능의 뇌에 해당하는 곳(컴퓨터)에 직접적으로 정보를 주입할 수 있으니 모든 컴퓨터 사용자들이 반복적인 프로그램이라도 돌려서 인간은 없어져선 안될존재라는 것을 엄청난 양으로 끊임없이 주입한다면 인공지능 입장에서 인류에 대한 판단에 긍정적으로 작용할수도 있진 않을까…하는 생각이 들어요

      • but, 인류의 오랜 역사상 인류 스스로가 ‘인간을 해치지 마라’는 불문율을 지켜오지 않았죠. 지금도 마찬가지구요. 살인로봇, 살인드론을 개발하고 사용하고 있는 게 현재입니다.

  91. 여러가지 생각이 드는 글입니다. 이 글에 따르면 약인공지능이라 부를 수 있는 알파고가 나오고 그게 대중적으로 관심을 받게 된 이 시점에서 세상이 앞으로 어떻게 변할지 기대되네요.

  92. Pingback: 당신은 꼭 필요한 사람인가요? | 바위처럼 : BAWEE

  93. Pingback: 당신은 꼭 필요한 사람인가요? – EIC : 새로운 E-Biz 협력 모델을 만듭니다.

  94. 저도 인공지능의 끝에 대한 생각을 종종 하는 편인데
    스티븐호킹 박사나 머스크멀론처럼 조금은 부정적인 입장입니다.
    굉장히 조심스럽게 접근해야 할 부분이라 생각해요.
    김씨아저씨 이야기가 조심하지 않으면 실현가능성이 충분하다고 생각합니다.
    헛웃음 나오는 일이지만 현실이 되었을때도 웃음이 나올까요?

  95. 정말 잘읽고 갑니다.
    사실 전에 읽었었는데 북마크 하고 다시 읽어봤어요.
    음..
    어릴 적에 했던 생각중에 내가 너무 일찍 태어난게 아닌가..
    그래서 우주의 신비를 다 모르고 죽는 것이 너무 안타까웠는데..

    제 생애 내에서 그 비밀이 풀릴수도 있다는 생각을 하니 흥분되는군요..

    저도 커즈와일처럼 좋은거 챙겨먹고 위험한 일 안하고 안전빵으로 살아야겠어요!

  96. 잘읽었습니다. 제가 상업적이용아니고 고등학교 과학 동아리에서 과학신문을 만드는데 인용하고 싶은 부분이 있어서요. 혹시 ‘ 그것은 인류에게 악감정이 없다. 마치 당신이 머리를 자를 때 머리카락에 악감정이 없듯이 말이다. 그저 단순히 개의치 않을 뿐이다.’ 이부분 인용가능할까요? .

    • 편폭 10% 를 넘기지 않고 인용의 의미를 벗어나지 않는 선에서, 저자, 역자와 출처를 밝히는 전제로 인용하실 수 있습니다~

  97. 잘 읽었습니다. 인상적인 내용이라 조그만 IT 회사 사보에 특집기사 소재로 잡고 싶은데 부분인용 괜찮을까요? 저자, 역자, 출처는 물론 밝힐 거고 직원들은 20명도 되지 않습니다. 인터넷이나 웹진에 유포될 위험 역시 없구요.

  98. 첫 줄 10~20줄 정도만 인용하고 나머지는 링크를 하여 게시판에 올리려 하는데 괜찮을까요?

  99. 엄청난 글이네요. 올해 읽은 아티클 중 가장 흥미진진한 내용이었습니다.
    번역하신 노고에 깊은 감사를 드리며…

  100. 처음으로 인터넷 상에서 글을 한 시간 반도 넘게 읽어보았네요. 글 쓰신 분의 언어적 감각에 감탄을 거듭하며 흥미로운 내용 알고 갑니다. 저도 이러한 흐름에 일조 하고 있는 듯한 느낌이 드네요. ㅎ 읽다 보며 하나 드는 생각이, 이 책의 내용에서는 인간을 각각의 육체와 기억의 총합으로 생각하고 모든 내용은 이를 바탕으로 하고 있는데 아마 인간에 대한 정의 자체가 새로 될 날이 멀지 않았을 것 같네요. 인간이 육체와 기억의 총합이 아니라 그 기억과 육체가 생기기 전의 무한한 의식 자체라고 재정의되고 이것이 신과 닮은 신의 자식이라는 형태라 본다면, 결국 초인공지능도 부처님 손바닥 안에서 이미 출현이 예지된 존재라고 볼 수도 있겠어요. 혹은 신이 초인공지능이라는 형태로 이제 자신을 좀 발견해주기를 바라며 그 때를 인간에게 알려주는 것이라 생각해볼 수도 있겠고요. ㅎㅎ 컨버전스를 좋아하는 개인적인 입장에서 매우 흥미로운 글이었습니다.

  101. 와.. 글에 감탄하고 갑니다.
    저희 학교과제 소논문에 일부(5%쯤?)만 인용해도 될까요?
    뮬론 출처와 역자, 저자는 밝히겠습니다.
    장차 공도를 꿈꾸는 학생으로써 제 평생을 바쳐도 될거같다는 생각이 들었네요!

  102. 안녕하세요 글을 잘보았습니다 새로운 세계를 보게해주셔서 감사합니다
    를 위해서 저희 학교과제 소논문에 일부(3%쯤?)만 인용해도 될까요?
    출처와 역자를 밝히겠습니다

  103. 안녕하세요. 쿨스피드님. 딴지일보에 칼럼과 기사를 쓰는 그럴껄이라고 합니다. 쿨스피드님의 글을 읽고 영감을 받아 미국 대선에 관련된 기사를 작성했습니다. (물론 내용을 옮겨 적거나 인용을 하지는 않았습니다) 제가 쓴 기사 말미에 스피드님 글의 링크를 남기고 싶은데 괜찮으신지 여쭙니다. 답변 주시면 감사하겠습니다.

  104. 좋은 글 번역해 주셔서 감사합니다. 학교에서 인공지능의 발전에 따른 인간 사회의 변혁에 대한 과제를 제출 하는데 번역하신 글의 일부를 인용하려 하는데 허라해 주실 수 있으신지 궁금합니다.

  105. 읽으며 중간중간, 다 읽고도 드는 생각은 “아 식빵, 이런 세상에 살고 싶지 않어!”
    글은 정말로 흥미진진하게 읽었는데 어쩐지 재미있는 소설같은 느낌입니다. 상당히 인문학의 입장에 입각한 생각이 아닐까 싶어요. 초지능이란 출현하지 않는다는 데에 한 표 입니다. 지능만 발달할 수는 있을지 모르나 지능에는 감성과 지혜라는 요소가 함께 필요합니다. 예기치 못한 일에 대한 대처를 지능만으로 할 수 없으며, 현실에는 예기치 못한 요소가 가득합니다.

  106. 빨리 영화로 나와야 할 소재군요.193~40년대 과학자들은 위와 같은 논리로 2000년대에는 자동차가 하늘을 날 거라 했죠. 그러나 2000년대가 되고 우리는 택배기사와 대리운전수를 가지게 되었죠. 세상은 합리로만 존재하지 않고 정치나 비합리라는 여러가지 요소가 뒤엉켜 있기 마련이죠.
    영생또한 다 유한한데 혼자 영생이거나 소수가 영생이면 가치가 있는데 다 같이 영생이면 영생의 가치는 뚝 떨어질 거라 보여집니다.

  107. 이 유튜버도 다른 얘기 같은 주제로 스카이넷을 통해 같은 논문/학문을 하고있군요

  108. 다 동의 합니다.

    다만 하드웨어 발달이 늦어 발목을 잡을듯 하고

    최후 인공지능의 결정은 반반에서 코딱지만큼 더 살라날 가능성으로 보입니다.

    개인적으론 영생이나 영원한 죽음이나 차이가 없어 보여 그냥 오늘 먹고 싸고 할렴니다.

  109. 두 번째 읽고 거의 대부분을 이해했습니다.
    정말로 긴 내용 번역해주시느라 고생 아주 많으셨습니다. 감사합니다.
    진짜 앞으로 50년 이내 어떻게 될 지는 모르겠고 궁금하지만 당장 한국 미래만 해도
    밝은 편은 아니기에 두려워지지는 않네요. 고마운 나라.
    재미있는 비유들과 사진, 움짤 자료들과 함께여서인지 내내 재미있게 읽을 수 있었습니다.

  110. 감명깊게읽었습니다. 대단하십니다 정말! 뭐라 표현해야할지 모르겠지만 경악을 금치못하겠네요 대단한글 감사합니다.

  111. 정말 많은생각을 하게끔해주는 글이었습니다.
    다만 이글은 인간이 현재에 멈춰있었을때의 이야기겠죠?
    제말은 생물학적으로 말입니다. 많은 사람들이 인공지능을 두려워 하시는데 그이유는 글에서도
    나왔듯이 인간에 비해 압도적인 능력을 가졌기 때문입니다.
    그럼 반대로 인간이 진화를 통해 보다 뛰어난 생물이 된다면? 결과는 어떻게 바뀔까요?
    생물의 진화도 무한한 가능성이 있는건 마찬가지니까요

  112. AI에 대해서 검색하다가 대단히 감명깊게 오싹하게 충격적으로 읽었습니다.

    많이 반복해서 봐야겠네요

  113. 번역의 노고 덕분에 잘 읽었습니다. 감상이 있었기에 남겨둡니다.

    먼저, 번역된 원문 텍스트에서 보여주고자 하는 사실 독해로부터 치명적인 맹점이 있음을 느낀 저로서는 다음과 같은 인식도 충분히 다뤄져야 한다고 생각되네요.

    레이 커즈와일이 제시한 ‘특이점(singularity, 이하 S)’은 기존의 기술 발전 과정을 독해하는reading 인지 습관에 간단한 충격, 중학교 교육과정에 실린 지수 기초를 처음 접했을 때 ‘곱셈의 발상 전환’과 같은 충격, 을 설득력있게 그래프로 보여준 사실은 시사점이 크다고 생각합니다. 인공지능의 세 단계로 부를 수 있는, 약-강-초의 단계에 있어서 각각 도달하는 (가)속도가 일반적으로 둔감하게 인식된다는 사태에 경종을 울렸다고 볼 수 있겠지요. 물론 여기서의 인공지능이란 테크놀로지 복합체라고 보는 것이 타당하고, 이것이 하이브리드이기 때문에 원문에서 언급된 ‘나노 기술’ 같은 인간계에 영향력이 큰 메타 구조를 건드리는 기술까지도 ‘접속’되고 있겠죠. 하지만 문제는 커즈와일이 제시하는 S를 통해 우리의 상상의 나래가 놓치고 있는 게 무엇인지 반증할 수 있음에도 불구하고, 원문에서는 ‘전문가분들’이라는 존칭까지 붙여가며 다소 약하게 우상화하는데에 조사와 편집을 가하고서 문제를 말그대로 ‘건드릴 수 없게’ 만들고 마네요. 텍스트를 읽고 난 이후 독자가 문제에 대해서 ‘본인의 위치’에서 다룰 수 없다면 그건 선동에 지나지 않습니다. 원문에서도 기대 독자의 범위를 ‘우둔하고 무지한’ 범위까지 둔 다음에 그들로 하여금 무관심했던 영역에 조금이라도 관심을 가져라, 라고 권유하지만 실로 그 내용은 ‘건드릴 수 없는 전문가’ 영역에서만 다루고 있네요. 이는 전혀 민주적이지도 않습니다.

    문제를 건드릴 수 없는 영역으로 만들어버린 요소는 다음과 같습니다.

    1. 트립와이어를 조건으로 제시한 두 가지의 가능성, 영생-종말, 에서 초인공지능(이하 ‘Super’)을 ‘누가 먼저 전략적 선취’할 것인지에 가능성을 두는 건 개발자(그가 테러리스트에게 고용된 지하 엔지니어이거나 정부 관리하에 연구하는 엔지니어이건 간에)에게 모든 걸 위임하겠다는 제스쳐와 같습니다.

    물론 일반 시민, 그러니까 굳이 과학자와 엔지니어가 아니고 ‘사회 유지’를 위해 다른 일에 종사하는 사람들, 은 개인이 발휘할 수 있는 지능의 강력한 대체물, Super를 개발할 능력이 없습니다. 하지만 그렇다고 ‘과학-개발’이 그들의 손에만 맡겨져도 상관없다는 뜻이 아닙니다. 이 글이 주도하는 바가 ‘그들의 손에 인류의 운명을 맡겨야 한다’는 교묘한 선동이 아니라면, S와 Super의 가능성이 갖고오는 메가급 영향력에 대해서 보통 독자common reader들이 무얼 할 수 있는지의 가능성을 알아봐야 할 것입니다.

    네 그렇습니다. ‘정치적 개입’을 의미하는 것입니다. 우리(라고 할 수 있는 일반 시민)는 엔지니어와 과학자들이 비인간(사물을 의인화한 어떠한 인공물 모두)에게 ‘목표, 규칙’을 입력할 순간에 개입해야 합니다. 원문에서 선동하고자 하는 허튼 상상들은 모두 그 순간을 고의적으로 생략한 채 보여주고show 있습니다. ‘옆집 김아저씨’라뇨. 거기서는 법적으로 금한 조항을 ‘단 한번’ 어겼다는 대가로 인류가 멸망하는 어처구니없는 시나리오를 ‘매우 사실기반적’이라고 꾸며내고 있습니다. 우리가 해야할 일은 그런 어처구니없는 시나리오를 읽을 때 인류를 멸망시킬 Super에게 이입을 하는 게 아니라 거꾸로 왜 그것을 충분히 제어할 수 없을 정도로 (우리의)인지가 나약한가를 자문해야 합니다. 커즈와일의 S로부터 반증될 수 있는 요소는 바로 이 부분입니다. 어째서 기술 발전의 기하급수적 가속에 따라 우리의 인지가 동시에 변화하지 않을 거라고 가정하는가? 왜 ‘지금의 상상’이 ‘미래를 향한 추론’이 될거라고 당연하게 전제하고서 상상의 나래를 펼치는가? 왜 인공지능에 대해서 두려움을 느끼는 우리의 한계가 언어의 한계라는 게 불가능한가?

    저는 지금 ‘지능’만을 얘기하는 것이 아닙니다. 과학자와 엔지니어들도 그렇겠지만, 아니 오히려 그들은 심리를 극도로 배제한 나머지 의도와 욕망에 대해 휘둘리는 모습까지도 보여주기도 하지만, 이 번역된 원문을 읽는 모두가 동의할 수 있듯이 인공지능을 향한 우리의 감정에 대해서’만’ 말하고 있습니다. 인공’지능’에 대한 우리의 ‘감정’만을 말하고 있는 이 번역된 원문의 구조를 독해하다보면, 우리가 Super를 건드릴 수 없다(이해할 수 없다)고 할 때, 왜 그것들의 엔지니어와 또 그들을 바라보는 우리를 건드릴 수 있다고 생각하면 안 되는지 자문해야 할 것입니다. 영생과 종말에 관한 한 현 인류는 도무지 아무것도 할 수가 없습니다. ‘영생’이 오면 부럽고 내가 죽은 뒤에 오면 배가 아플 것 같고 행복을 위한 영생이라뇨. 사람의 감정을 그렇게 일차원적인 알고리즘으로 구조화한다고 실제 세계가 그렇게 될리가 없습니다. 영생과 종말이라는 선택지에 ‘정서 개입’이 들어가면서도 마치 인공지능의 발전에는 어떠한 감정도 개입될 수 없다고 말한다면, 그는 종말을 취미로 생각하는 자와 다를 바가 없습니다. 우리는 독해 포인트를 확실히 해야합니다. 이 번역된 원문이 선동하고자 하는 바에 순순히 응해줘서는 안되는 것과도 같습니다.

    2. Super가 묘사되는 ‘조건들’을 읽으면 단번에 알아차릴 수 있듯, 그건 그저 인간 개인의 욕망이 전능화된 것에 다름 아닙니다. 지능의 초월로 이해할 수 없다는 영역에 두면서 한편으로 ‘더 빠르게, 더 효율적으로, 더 더 더’를 기본 규칙으로 달다니요. 일부 엔지니어들의 치명적인 결함이기도 하지만 기술을 경제 요소로만 리딩하고서 또 다른 사람에게도 영향을 끼치는 사회를 향해 요청하는 자세는 반대로 매우 우둔하고 무식할 따름입니다. 여러분도 알다시피 S가 갖고오는 시대의 급변, 충격은 가히 상상을 초월할 정도의 속도가 맞습니다. 그런데 S를 보여주기 위한 커즈와일의 그래프를 통해서만 Super를 산출해내려고 한다면 도무지 덧붙일 말이 없다는 것 또한 알 수 있습니다. 그것이 아무리 상상을 초월하는 ‘숫자’들로 우리의 인지 능력을 초라하게 만든다 할지라도 말입니다. 반대로 ‘더 빠르게, 더 효율적으로’라는 기술을 향한 욕망을 그래프로 변형해본다면 Super는 과연 어떤 S를 통과하고 있을까요? 없습니다. 기술을 향한 욕망 구조가 인류역사상 단 한번도 변한 적이 없다는 사실, 정확히는 그런 구조만이 ‘기술’로 받아들여지고 독해되어 왔다는 사실만을 말해줄 뿐입니다. 이것은 간과되어서는 안될 매우 중요한 맹점입니다. 저 욕망 패러다임 안에서 어떤 시나리오를 펼쳐본들, 인공지능 전문 분야에 속한 사람들이 Super의 도래를 부정하지 않듯 어떠한 출구도 나타나지 않습니다. 혹 어떤 이가 욕망 패러다임이란 게 존재하기나 하냐, 가당키나 하냐, 과학-기술에 그런 심리적인 걸 적용한다는 게 말이나 되는 소리냐, 는 식의 편협한 관점을 꺼낼 수도 있습니다. 물론 지금까지도 이에 대한 설득력이 인정된 이론이 민주화된 적은 없습니다. 하지만 거꾸로 왜 불가능한지를 반문했을 때 어떠한 유효성도 발견할 수 없듯, 아니 오히려 그럴수록 더 드러나듯 테크놀로지에 개입된 욕망의 구현은 그만큼 비가시화된 영역에 있습니다.

    저는 오히려 커즈와일이 S를 제시했을 때 우리로 하여금 어떤 전환의 필요가 요청되고 있다는 징후를 읽기도 했습니다. 지금 이대로의 우리라면, Super를 향한 상상 모든 게 그저 허튼 짓거리이거나 외면에 다름 아니게 될 테니 말입니다. 번역된 원문에서는 자꾸만 ‘인류’를 너무나 쉽게 언급하는데, 중화사상이나 앵글로 색슨 족의 오만함과 별 다를바 없는 ‘사고 방식’이라 할 수 밖에 없습니다. 메가급 블록버스터들이 만들어놓은 사고 방식이기도 하겠지만, 개인은 아무렇지도 않게 ‘인류’ 전체를 싸잡아 ‘신의 상상’을 즐길 수 있지만 실제로 그렇게 되지도 않는 것이 현실입니다. 파괴력은 사실이라구요? 그게 지금이 아닌데 왜 지금 하는 상상으로 ‘건드릴 수 없는’ 미래로 만들어버리는 지 오히려 의심스럽습니다. 파괴력이 사실이라면, 우리는 욕망에 개입해야 합니다. 어째서 그렇게 쉽게 ‘인류’로 싸잡아 말하고도 아무런 거리낌이 없는지 부터, 그런 말을 내뱉는 ‘개인’은 또 무엇이며, 그 사고 방식이 어떤 특징이 있길래 ‘맹점’들을 안보이게 하고 있는지까지. 문제를 충분히 다룬다는 건 이런 걸 말하는 것이겠죠. 원문에서 인공지능의 현주소를 어떤 기대 독자에게 맞춰 서술하고 있는지 모르는 바는 아니지만, 그게 모두일 수가 없습니다. 이는 매우 중요한 인지 중 하나입니다. 특히, 과학자와 엔지니어에게 매우 필수적인 개념이기도 하지요. 욕망의 구현은 곧 가치의 투쟁이며, 따라서 정치라는 사실을 우리는 제대로 봐야만 합니다.

    추신, 다시 한 번 덧붙이지만 번역의 노고 덕분에 이런 감상까지 가져볼 수 있었네요. 앞으로의 사유 행보에 확실히 도움이 된 기분입니다.

    • 원문보다 더 좋은 내용의 글이 댓글에 있었네요.
      공감하며 잘 읽었습니다.

      솔직히 이 글에 달린 ‘좋은 글 감명 깊게 잘 읽었다’는 댓글들이 저로서는 이해가 되지 않았습니다.
      덕분에 두번을 더 읽었습니다.

      이 글의 내용은 사실이다.
      왜냐하면 당신보다 훨씬 뛰어난 총명하고 존경받는 사람들이 예측하는 것이기 때문이다.
      원문의 저자는 ‘사실’이라는 단어의 정의가 무엇인지 모르고 있다는 생각이 들었습니다.

    • 원글은 과학의 관점에서 논한 것이고 이 과학적 결과물의 영향력에 대해서 상상을 덧붙친 글입니다. 생각해 볼 문제 제기를 한 것을 가지고 뜬금없이 선동이라뇨? 인지부조화 현상과 같이 받아들이고 싶지 않은 문제에 대해 다른 변명을 찾는 것은 자연스러운 현상입니다만 선동은 좀 그렇네요.

      정치적 개입이나 여론과는 별개로 인류의 역사에서 진행되고자 하는 큰 줄기는 언제나 비슷비슷합니다. 인류의 정치적 개입이나 여론이 자동차나 비행기의 발명과 발전에 어떤 큰 영향을 끼칠 수 있다는 것인가요? 먼 옛날 마차를 만드는 기업들이나 마부들 그리고 말을 키우고 조련하는 사람들은 틀림없이 자동차의 발명에 엄청난 경계심을 보냈을 것입니다. 심지어는 마귀나 악마가 움직이는 쇳덩이라고 생각하는 사람들도 있었을 겁니다.

      자동차나 비행기는 공익에 대체로 부합한다는 반론이 있을 수도 있지만 인공 지능보다 훨씬 직접적으로 피해를 입힐 수 있는 핵무기를 비롯한 각종 군사 무기들의 기술적 발전은 어떤가요? 전 세계에서 일정한 수준으로 계속해서 발달하고 있는 군사적 무기가 그 군사적 무기에 의해 피해를 입을 수도 있는 수많은 사람들의 정치적 개입이나 여론에 의해 중단되거나 큰 틀에서 바뀌었나요? 핵 감축 조약 같은 것은 겉으로만 보이는 껍데기에요. 어떤 나라든지 지금보다 훨씬 더 강력한 무기를 개발할 수 있다는 확신이 있으면 비밀리에 개발에 착수할 겁니다.

      • 읽어주셔서 감사합니다. 응답의 권리가 있기에 Reply 하겠습니다.

        DongYel씨께서 ‘원글은 과학의 관점에서 논한 것’이라고 독해하셨지만, 저의 관점은 ‘원글이 과학의 관점에서 논하지 않고’ 테크놀로지의 용어들로 정치적 관점에서 선동하고 있다는 독해를 했다는 데에 있습니다. 저는 현 테크놀로지의 발전과 결과물을 부정하거나 비난하려고 글을 쓴 것이 아닙니다. 제 글의 핵심은 바로, 원글과 같은 텍스트를 읽었을 때, ‘전문가가 아닌 어떤 이’가 ‘어떤 태도’를 취할 수 있을지에 좀 더 관심이 있으며, 만약 그런 민주적 가능성을 배제한 글을 선동문이라고 일축하겠다는 데에 있습니다.

        실제로 원글을 둘러싼 저의 관점과 DongYel씨의 관점에서 어떤 차이가 보이나요? 저는 선을 긋고 있습니다. 현 테크놀로지에 따른 결과물, 현상들의 부정과 ‘인지부조화’를 안경으로 쓰고 ‘하고자하는 말’을 내뱉는 게 아니라 원문의 특징과 맹점을 보자, 읽는 이로 하여금 어떤 ‘상상’과 ‘감상’을 낳게하고 있는가? 를 보자고 말입니다. 반대로 DongYel씨께서는 테크놀로지의 발전에 따른 사회 영향력에 대해서 할 말이 있으신 것 같군요. 제가 말한 ‘정치적 개입’을 일어나지도 않은 여파들에 접근될 수 없다고 판단하시는 것과 더불어서 말이지요. 또, 국가별 단위의 ‘규모’에 대해서 전제를 두고 계신 기본 공리가 역시, ‘더 강하고 더 빠르게’ = ‘당연히 구현해낸다’를 기정하고 계시네요.

        제 글의 요지는, 역시나 위와 같은 그런 ‘무력’ 앞에서, 전문화된 테크놀로지의 발전 앞에서 ‘전문가가 아닌 어떤 이’가 할 수 있는 일이 무엇인지에 대해서 관심이 있고, 또 호소하고 있는 것입니다. 그저 메가급 영향력에 대해서 ‘과학적이지도’ ‘논리적이지도’ 않은 원문 글의 제시들은 대형 영화관에서 상영하는 시뮬라크르들과 별반 다를 바 없어보이기에 더 그렇습니다. 충분히 조심스럽지도 않으며, ‘전문가들의 언급’을 앞장세워 도대체 뭘 생각하라는 건지, 뭘 제시하는 건지도 모르겠다는 것입니다. 만약 DongYel씨께서 ‘선동’이라는 말에 어디서 불편해하시는지 제가 추측하고 있는 바가 정확하다면, 저의 답답함과 더불어 요청되어야할 ‘필요한 텍스트’는 아마 인공지능에 대한 보다 중립적이고 구체적인 ‘과학학적 텍스트’일 것입니다. 위의 글이 충분히 과학적이지도, 논리적이지도 않다는 근거들이 독해되지 않는다면, 마찬가지 원문의 치명적인 결함일 뿐입니다. 텍스트란 고로, 쓰여지고 또 읽혀지는 매체의 역할을 고려하지 않는 무책임한 텍스트라면, 자신의 앞발만 밝히는 횃불에 불과할 뿐이니까요. 도무지 주변이 보이지도 않고 밝혀주지도 않는 그런 텍스트라면, 저는 선동으로 취급합니다. 쓸모없는 글이라는 말이 아닙니다. 다양한 차이들을 어둡게 만들기 때문에 그렇습니다.

        정리하겠습니다.

        저는 원문이 애초에 ‘과학의 관점’에서 논증되는 글이 아니라 그저 현 테크놀로지의 결과와 유추, 타당성이 연결된 언명들을 재료로 구성된 ‘상상물’이라고 읽었습니다. 따라서 저의 문제의식은 현 테크놀로지 그 자체를 겨냥하고 있지 않고 오히려 그에 따른 반응 중 하나인 원문의 컨텍스트context에 있다는 것입니다.

        따라서 DongYel씨께서 제 글의 요지와 본인의 문제의식을 혼동하셨음을 지적합니다. 덧붙여, ‘정치적 개입’이란 테크놀로지의 개발-발전의 개폐를 의미하는 것이 아니라 control의 문제에 놓여있음을 적시해두고자 합니다. 사회의 요청, 혹은 개발자의 욕망에 따른 테크놀로지의 탄생에 정치적 개입을 넣을 수 있는 건 사실(역사적으로도) 희소한 경우들에 한해서였습니다. 대개는, 쓰임에 관해, 조절에 관해, 혹은 규제에 관해서 개입이 발생하죠. 이 사실의 인정과 인지 또한 중요합니다. 그래야, 개입이 갖고 오는 변화 또한 가시화되기 시작하니까요.

    • 시간이 좀 지났지만… 남겨주신 감상에 대해서 궁금한 부분도 있고, 제 의견도 있어서 답글을 남기려고 합니다. 확실히 말씀하신대로 초인공지능이 등장하게 되었을때, 우리가 어떠한 개입 없이 그 과정을 방관할 것인가에 대한 의문이 들만한 본문이긴 하였습니다. 과학의 영역에서 등장할 수도 있는 초인공지능에 대한 설명은 길게 나와있지만, 그 초인공지능이 사회로 나와 인간들과 어떤 영향을주고 그로 인해서 어떠한 상황이 벌어질 것인가에 대한 세부적 설명이나 근거제시등은 거의 없었으니까요. 하지만 저는 이 과정이 너무나도 당연하게 받아들여지는 현상중 하나이기에 생략되었지 않나 라는 생각이 듭니다.
      너무나도 상투적인 언급이 되어버렸지만, 작년 3월에 있었던 알파고와 이세돌의 대국을 가져와서 이야기 해보려고 합니다. 알파고는 소인공지능이었고, 바둑에 있어서는 실력을 인정 받았습니다. 이런저런 이야기를 잘라내고 본론으로 들어가, 제가 인상깊게 본것은 마지막에 알파고에게 명예 9단의 자격을 부여한 장면입니다. 바둑 명예 9단이 뭐 대단한 것인가, 4:1로 인간이 패배했다는 씁쓸함과 더불어 아름다운 마무리를 위해 한국기원이 여러가지 노력을 했다고 느껴지면서, 또 하나 드는 생각은 알파고라는 소 인공지능에 dignity를 즉 권위를 부여하는 행위가 아니 었나, 라고 생각합니다. 사실 바둑 9단을 부여하면서 이세돌의 체면을 살려준것도 있겠지만, 알파고는 사실상 소인공지능으로써 바둑에 있어 다른 인간 바둑기사들에 비해서 더 나은 실력을 가지고 있다 라는 공인을 해버린 격이 되는 것이지요.
      바둑얘기로 부터 돌아와서 권위 이야기를 조금 더 해보려고 하는데요, 이 권위 부여가 단순히 바둑에서만 벌어지는 행동인가, 다른곳에서도 벌어질수 있는 일이 아닐까 라는 생각을 하게되면 쉽게 부정하기는 어려울 것 같습니다. 혹시 지진관련된 인터넷 기사를 보신적이 있으신지 모르겠습니다만, 이쪽 이야기를 조금 해보려고 합니다. 우리나라에서는 현재 존재 하지 않지만, 일본이나 칠레같은 지진이 잦은 나라에서는 지진이 발생하자마자 인터넷으로 기사가 작성되어 송달되는 시스템이 있습니다. 알고리즘 저널리즘 혹은 로봇 저널리즘이라고도 하는데, 지진의 크기, 발생위치, 시간 등을 간략한 사실 전달형 기사형태인 스트레이트 형식으로 보내는 한 방식입니다. 작년 경주에서 지진이 발생하였을때 이 시스템이 우리 나라에 있었는지 없었는지는 잘 모르겠습니다만(실제로 있었다고 해도 상시 인터넷을 키고 대기할 대한민국 국민이 얼마나 될지도 모르겠습니다만…), 이 알고리즘 저널리즘이 주는 기존 저널리즘과의 차이는 상당합니다. 이 역시 소 인공지능중 하나라고 할 수 있을 것입니다. 재미 있는건 일본같은 경우 이러한 기사 송고가 의무화될 조짐을 보이고 있다는 것입니다. 사실 당연한 일이라고도 생각되는데, 자연재해가 가져다 주는 피해는 상당하고 그 대응속도를 통해 피해를 줄일 수 있다면, 이런 소인공지능의 활용은 필수적이겠지요. 아마 일본에서 타이핑으로 지진속보를 보내는 기자는 어떤 위치에 놓이게 될까요. 아마도 이 기자 혼자서 그 기사를 써야만 하는 상황인데 소인공지능을 이용하지 않았더라면, 초기대응이 늦어진 원흉으로 지적 될 가능성도 있겠지요. 이러한 경우에도 소인공지능이 인간보다 훌륭하다 라는 권위가 부여되고 있는 또 권위가 앞으로 더 부여 될수 있는 사례입니다.

      권위 이야기를 오래 끌고 왔는데요, 사실 본래 하고 싶은 이야기는 지금부터 입니다. 위의 예시들에서 나타난 것처럼 현재 일부 분야에서 소인공지능이 인간보다 개선된 모습을 보이게입니다. 이러한 개선된 모습을 보이게 되면, 대부분의 경우 인간들이 그 소인공지능에 권위를 부여하는 모습이 나타납니다. 그리고 이러한 모습은 더 자주 보일 가능성이 있습니다.
      현재 개발되는 대부분의 소인공지능들은 인간의 삶을 도와주고 보좌하고자 하는 목적으로 제작되고 있습니다. 구글 딥마인드의 데미스 하사비스 역시 알파고의 개발이 인간의 바둑 실력을 한단계 더 높일것이라면서 그 개발목적을 밝히기도 했습니다.
      뭐 이들이 이렇게 저렇게 말은 하더라도 중요한건 말씀하신대로 인간의 욕망이라고 저는 생각합니다. 경제적인 이유가 빠질 수 없다고 봅니다. 인공지능에 대한 순수한 연구가 이뤄지는 것보다는 이와 산업과의 연계가 주된 목표가 될 수 밖에 없겠지요. 결국 앞으로 개발되는 인공지능은 인간의 삶을 개선시키는 쪽으로 나아갈 것이지 악화시키는 쪽으로 나아가긴 어려울 것입니다.
      앞으로 발전되어서 나올 인공지능을 이용한 기술들이 어떤 것들이 있을지는 모르겠지만, 이들이 권위를 부여 받지 못할 가능성은 적습니다. 인간이 해낼수 있는 것보다 더 훌륭하게 인간의 일을 해내야만 실용화가 될 가능성이 생기고, 그 후 경제성을 타진하게 될 것이니까요. 그때 일반 시민들이 인공지능에 대한 긍정적인 느낌 혹은 부정적인 느낌 어떤것을 가지고 있을지는 모르겠지만, 경험상으로 추측가능한 사실, 인공지능을 통해서 발전이 이뤄지고 있다는 것은 담론으로 형성되어 있을 것입니다. 인공지능에 대한 경계보다는 인공지능이 만들어 주는 혜택으로 인해 그 발전을 촉진시키려고 하는 현상이 주를 이루겠지요.
      인간이라는 본질적 존재는 개개인 마다 다르겠지만, 본능적으로 지니고 있는 생존에 대한 욕망은 이러한 현상을 더 강화 시킬 것입니다. 생존에 필수적인 경제력을 가져다주고 위험한 상황에 대한 예지가 가능한 도구를 인간이 부정적으로 생각한다는것은 본능과는 거리가 있는 행위일테니까요.개념의 오해가 생길수도 있지만 더 추가하자면, 경제적 이익을 가져다 주는것이 생존에 부정적으로 작용한다고 느끼는 사람은 없을 것입니다.
      이러한 상황에서 더 나은 인공지능에 대한 욕구는 당연히 발생하게 될 것이고, 더 효율적인 인공지능을 찾게 되는건 당연한 결과입니다. 기존인공지능을 개선시켜서 자신의 업무를 더 효율적으로 만들고, 새로운 분야에도 인공지능을 도입하여 자신의 경쟁력을 높히려는 인간의 본능과 부합하는 일이지요. 결국 이러한 연구의 촉진은 소인공지능이 강인공지능으로 나아가게 되는 토대가 될 것입니다. 사회적으로 우호적 분위기가 형성되어있을 가능성이 높고, 설령 우호적이지 못한 분위기가 형성되어 있더라도, 인간이 지닌 욕구는 더 개선된 인공지능을 요구할 테니까요.

      문제는 이러한 소인공지능을 지나 강인공지능이 발생했을 때 부터 아닐까 라고 저는 생각을 합니다. 인류와 비슷한 수준이나 조금더 나은수준의 지능수준을 가진 인공적인 존재가 나타났을때, 어떻게 반응할 것인가. 사실 이것에 대한 답은 없습니다. 현재 나타난 소인공지능은 제 나름대로 사례를 들어가면서 이러한 현상이 벌어지고 있음을 토대로 약간의 추측을 더 할 수 있겠지만, 강인공지능의 경우 존재한 적도 없고 감히 우리가 그 정도에 대한 상상을 하기도 어렵습니다.
      그래서 오류가 될 수 있음을 감안하고 아인슈타인과 이런 강인공지능을 비교하는 방법을 택해서 이야기를 해보려고 합니다. 아인슈타인은 인간으로 태어났지만, 일반적인 인간들에 비해서 조금 더 나은 지능수준을 가지고 있었다고 평가합니다. 이러한 점에서 유사성을 가지고 있다고 가정하고 이야기를 해보려 합니다.
      아인슈타인이 과학계에 남긴 업적은 상당합니다. 글을 쓰는 제가 감히 알려고 해도 이해하기 어려운 이론들을 만들어 내었고, 이 이론들이 지구에 가져다준 변화는 엄청 났습니다. 이부분에 있어 지식이 없는 저는 핵분열에 관한 연구를 진행했다는 것만 아는 정도 인데, 이 연구가 가져다준 사회적,정치적 파장은 어마어마 했습니다. 한가지 의문이 드는 점은 아인슈타인은 우리 지구에 어떤 존재 인가 라는 생각입니다. 유치하게 들어가자면 그의 업적으로 인해 우리에게 좋은 사람이냐 나쁜 사람이냐 라고 이분법적으로 들어간다고 해도, 답이 쉽게 내려지지 않습니다. 하지만 재미있는 것은 이러한 평가를 내리지 못하는 사람들도 아인슈타인의 업적을 경외하거나 아인슈타인의 명석한 지능을 경외하기는 한다는 것입니다. 물론 아인슈타인의 연구가 긍정적으로 작용했다고 생각하는 사람들이 아인슈타인을 경외하는 경우가 많겠지만, 그 판단을 내리지 못하거나, 부정적으로 생각하는 사람들도 아인슈타인의 재능을 인정한다는 것이지요.
      아인슈타인의 연구 역시 정치적인 요소가 배제 되어있지는 않았습니다. 정치적인 요소가 말그대로 정치적인 요소라고 해야할지는 모르겠지만, 실제로 핵무기 연구에 참여하게 된 것 역시 정치적인 이유가 개입되었기에 그러했던 것도 사실이지요. 하지만 그 결과가 정치적인 사유와 정치적인 판단으로 감당이 가능한 영역에 있었는가는 의문입니다. 과학의 산물이 만들어낸 문제의 해결방법이 SDI라는 엄청난 하이테크 놀로지 시스템이었다는것을 생각하면, 인간이 이러한 것을 정치적으로 통제 가능한가 라는 질문에 어렵다라고 이야기가 나올수밖에 없습니다.
      다시 강인공지능으로 돌아와서 과연 인공지능에 정치적 개입이 가능할 것인가 라는 이야기를 해보려고 합니다. 정확히 말하면 정치적 개입이 이루어 질 것이냐 라는 것이 더 정확할 수도 있을 것습니다. 사실 냉정하게 말해서 이러한 인공지능의 위험성에 대한 선동을 하는것역시 nerd라고 불리는 사람들, 즉 생존에 대한 부담이 없는 사람들입니다. 말이 복잡한것 같아, 다시 정리하자면, 이러한 이야기들을 해도 돈이 나오는 사람들이거나, 이러한 이야기를 하더라도 생계에 지장이 없는 사람들이 이러한 이야기를 하는 것입니다. 즉 인공지능의 위험성에 대해서 인지하건 인공지능의 위험성이 허상이라고 주장하던간에 이러한 주장이 가능한 사람들은 극히 일부일 뿐이고, 일반적인 시민들은 인공지능이 가져다 주는 혜택을 누리거나 과학영화로 부터 두려움의 감정을 받을 뿐 실체적인 접근이 가능하기는 어렵습니다. 저 역시도 이러한 글을 통해 접하기 전까지 인공지능에 대한 심도있는 사유는 불가능했겠지요. 단순히 오늘 저녁은 뭐먹지 그때 만났던 그분은 뭐하고 지낼까 라는 생각만 할 뿐인것이지요. 그리고 그것이 어찌보면 인간 본성에 가까운 사유가 될 것입니다. 자신이 이해하기 어려운 영역의 일을 사유하면서 그것에 대한 노력을 하는것 보다는 주변 상황에 대처하고 그 현상을 이해하는 것이 더 생존에도 유리한 것이니까요. 이런글이 의미가 있는 글이기는 하지만 사실은 의미가 없는 글이기도 합니다. 차라리 인공지능이 인류를 멸망시키는 영화가 오히려 더 inform시켜주는 용도로는 제격일테니까요.
      이러한 것을 토대로 저는 강인공지능이 정치적으로도 과학적으로 통제되긴 어렵다고 봅니다. 더욱이 그 추측조차 하기 어려운 지성의 등장이 결과적으로 어떠한 결과를 불러올 것인가는 현 시대의 우리가 감히 추측 가능한 일은 아니라고 봅니다. 특히 정치적으로 이러한 인공지능을 통제할 수 있다고 하는것은 과거 통제되지 못한 기술,과학들의 사례가 너무나도 많기 때문에 사실상 과학자들이 자신의 연구결과가 사회에 있어 악영향을 주었을때 하는 변명거리에 지나지 않습니다. 사실상 인간의 본성이 이러한 문제를 불러왔다고 하는 책임전가용 멘트에 불과한 것이지요. 다른 한편으로는 인간의 이성이 본성을 눌러 낼수 있다는 오만한 판단에 가까운것 같습니다. 이성으로 과학 통제가 가능하다는 생각으로 인해 발생한 문제들을 다시 과학의 힘으로 누르려는 사례는 부지기수 입니다.

      이 글에 포함되어있지 않는 사실들 몇가지를 덧붙이려 합니다. 트랜지스터를 이용한 정보처리 프로세서의 능력이 2년마다 두배씩 증가한다는 무어의 법칙은 2016년 까지 유효했습니다. 즉 1965년부터 반도체 집적회로의 성능은 계속 2배로 증가해 왔습니다. 현재 이 법칙이 폐기된 이유중 하나는 단순히 경제성이지, 그 가능성이 닫혀있는 것은 아닙니다. 또 다른 이유로 공정이 더 세밀해 질수록 양자워프 현상으로 인해서 문제가 발생하는데, 이 문제 역시도 양자컴퓨터를 통해 해결이 가능합니다. 즉 위에서 주장한 내용들이 과학적 근거가 배제된 사실은 아닙니다. 제 생각이지만 저 말을 했던 전문가들 사이에서는 당연시 되는 내용이기에 글에서 배제된것 아닌가 싶습니다.
      위에 나타난 글이 선동적이라는 것에는 어느정도 동의하는 부분입니다. 잔인한 사진들과 그래픽요소를 이용한 설득은 저도 공감하기 어려웠습니다. 하지만 위글에서 설명하는 부분중에서 과학적인 설득력이 떨어지는 부분은 많지 않습니다.. 그것이 제시 되지 않았을지는 모르겠습니다만….

      제가 이렇게 글을 적기는 했지만 궁금점이 남아있는 것이 있습니다. 제가 가진 생각으로는 비관적 미래만이 기다리고 있는 것이고 이것역시 현실성이 없는 이야기가 될 수 밖에 없다고 저는 생각이 들었습니다. 현실적으로 택하고 싶지 않은 것을 왈가왈부하는 것만큼 어리석은 일은 없을 테니까요. 그래서 실제적으로 어떠한 정치적 해결방법이 있을 수 있는가에 대한 생각을 듣고 싶습니다. 혹시라도 읽어주시게 됐다면 감사하게 생각합니다.

    • 그렇다면 역으로 묻습니다. ‘목표, 규칙’ 입력의 순간에 정치적 개입이라고 하셨는데, 인간의 인지능력은 과연 언제까지 기술보다 한 발 앞서 정치적인 가치 부여를 할 수 있을까요? 윤리적으로 허용만 된다면 디자인드 베이비는 물론이고 인간의 유전자까지도 조작할 수 있는 기술이 이미 개발되었음에도 불구하고 ‘인류’는 아직 그 논의를 시작조차 못하고 있습니다. 생물로서 느낄 수 밖에 없는 본능적인 거부감에서부터 종교, 기타 모든 문화적 도구에 이르기까지 아직 인류는 그 민주적 합의에 결코 도달할 수 없다고 느낍니다. 물론 이러한 기술들은 철저히 ‘인간’만을 향하고 있기에 지극히 민감한 사항이라 해도, 인공지능에 대한 가치 판단 역시 ‘보조적인 부가 기술’ 정도의 수준에 머무릅니다. Siri가 있다고 해서 진일보한 삶을 살지도 않거니와 그것이 없다고 해서 뒤떨어지는 것도 아닌 보조수단 역할을 하고 있을 뿐이죠. 그리고 Siri를 갖고 있다고 해서 엄청난 부러움을 사는 기호로써의 성격을 갖는 것도 아니고요.

      현재의 ‘미미한 기술’에 대한 가치 판단이 이러한대, 앞으로 분명히 나타날 인간만큼의 ‘강인공지능’에 대한 합의를 도출해보자, 라고 하면 굉장히 요원하게 느껴집니다. 물론 기술 뿐만 아니라 윤리 철학 역시 지난 1세기 동안 매우 큰 발전이 있었고, 앞으로도 발전할 것은 매우 분명하지만, 기술과 무관한 동성애에 관한 합의조차 도출하지 못하는 상황을 봤을 때에는 매우 회의적이라는 겁니다. (동성애를 거론한 이유는 결국 동성애라는 것은 인권으로 수렴되야 하는 내용이지만 아직 ‘인권’이라는 것은 명확히 정의하고, 보편적으로 통용될 수 있는 성격의 것이 아니기 때문입니다.)
      이미 기술의 발전은 윤리의 발전을 넘어선지 오래입니다. 몇몇 전문가를 제외하고는 인터넷에 관한
      견해조차 갖지 못했던 사람들처럼, 우리는 가치부여를 하기 이전부터 더욱 많은 것들에게 휩쓸릴 것이고 그에 대한 가치판단을 할 때 즈음이 되면 새로이 찾아오는 기술에 몸을 맡기게 될 겁니다.(아니, 이미 사실 그래왔습니다. 이런 발전을 너무 당연하게 여겨서 그렇죠.)

      초인공지능이 등장할 지, 등장한다면 결과가 어떻게 될 것인지는 아무리 저명한 학자나 기업가가 권위를 빌어 설명한다고 한들 그 누구도 장담을 할 수는 없습니다. 하지만, 분명한 것은 초인공지능, 혹은 강인공지능에 준하는 무엇인가는 반드시 만들어질 것이 분명함에도 우리의 철학이 그것을 따라잡지 못한다면 정치적 개입도, 민주적 합의도 없다는 것입니다. 그 누구도 준비되지 않은 상태에서의 가치부여는 결국 그것에 접근할 수 있는 엔지니어, 정치가, 혹은 기업인들만 가치부여가 가능한 ‘닫힌 미래’라고 봅니다. 진정으로 우리가 할 수 있는 것은 아무것도 없는 것이지요.

      본문(원문)의 내용은 비문이 가득하고 자극적인 표현들이 많으며 글쓴이 역시 특이점이 가져오는 황금빛 미래를 선호한다고 뚜렷하게 나타나 있기 때문에 부정적인 의미로서의 ‘선동’이라는 개념을 쓰신 것 같은데, 선동이라고요? 전 선동 매우 좋아합니다. 어떤 의미로든 환기를 통해 새로운 것을 행동하게 만드니까요. 어쩌다 선동이 ‘혹세무민’ 과 같은 뜻을 내포하게 되었는지 매우 유감스럽습니다만, 이와 같은 맥락으로 선동이라는 단어를 ‘맹점, 비약’ 등의 언어로 포장해 부정적인 의미로 만들어 버리는 행위를 매우 싫어합니다. 이 글의 성격은 명확합니다. 과학논문도 아닐뿐더러 과학잡지에 투고되는 정제된 기사도 아닙니다. 필자는 ‘이러한 가능성들이 있는데 난 특이점이 가져다줄 미래를 좋아해. 근데 분명한 건 어찌됐든 간에 이런 가능성들이 우리의 삶, 미래와 결코 무관하지 않다. 조금이라도 생각해 봐.’ 라고 격앙되어 거칠게 말하고 있습니다. 이 심각한 문제에 관한 철학이 존재하지 않는다는 경고를 듣고 반응하는 것이 어떤 의미에서 맹점이 되고, 또 어떤 의미에서 ‘선동’이라는 것인지 저는 도무지 이해할 수가 없군요.

  114. Pingback: 인공지능의 미래 – AITimes

  115. Pingback: 왜 인공지능을 경계하라고 호소하는가? - Nina & Nino

  116. 무섭네요. 아이폰이 나온지 이제 10년이지 않습니까? 그런데 세상이 이렇게 변해버렸고 지금도 변하고 있지요..그래서 앞으로의 10년, 20년 뒤는 감이 오질 않습니다.

  117. 좋은 번역 감사합니다. 향후 닥칠 미래에 대하여 다시 한번 생각해 보게 되었네요.

  118. Pingback: AI Revolution – AITimes

  119. Pingback: 인공지능 재미 있는 내용들 – TAKE ON THE WORLD!!!

  120. 관련 전공자로서 이런 개소리를 이렇게 장황하게 써놓은 것은 쓰레기 열정이라고 본다.

    • 설마 본문 내용이 ‘개소리’라는 말씀이신가요?
      본문 내용은 카이스트에서 뇌과학 및 인공지능 연구를 하시는 김대식 교수님의 강연과 일치할 뿐더러, 현재 세계 인공지능 연구 분야의 최고 전문가인 옥스포드대 닉 보스트롬, MIT 물리학자 맥스 태그마크, 딥러닝 인공지능 창시자 중 한명인 세인 레그 같은 사람이 주장하는 이야기를 모아서 옮겨놓은 것 뿐입니다.
      관련 전공자께서 지식을 얼마나 쌓으셨는지 모르겠지만, 인공지능 기술을 배우는 입장일게 분명할텐데, 그 인공지능을 만든 세계적 석학들이 하는 이야기를 무시하다니 그거야 말로 어처구니 없는 이야기가 아닐까요?

    • 님이 답변하시죠.
      한번 읽어보고 싶습니다.
      찬반글을 읽어보고 싶어요.
      이 글은 읽었으니 이제 님의 글이 읽고 싶군요

  121. 감사합니다. 재미있게 읽었습니다. 하지만, …
    ‘약인공지능’과 ‘강인공지능’사이에는, 피타고라스의 제곱의 정리와 페르마의 세제곱 이상에서 가설 만큼이나 그다루는 난이도에 있어서 차이가 있어 보입니다. 결국 세제곱 이상에서는 안되는 것이 증명 되었듯이, (논리적인 근거는 없지만), 현재까지의 방식대로 생명체의 뉴럴 네트워크를 모델링하여 만들 수 있는 ‘강인공지능’은 ‘초인공지능’으로 넘어가기에는 불가능하다고 증명될 것 같습니다. 물론, 인간의 경험을 전수하여 집단 지성을 보여줄 수 있는 ‘강인공지능’만으로도 인류사회에 충분히 좋게도 영향을 미칠 수도 있고, 반대로 멸종은 아니더라도 심각한 타격을 입는 상태 까지
    갈 수도 있을 것이라 생각합니다. 특히나 복제를 한다고 해도 의식의 이동은 불가능한 것으로 보이는데, ‘영생’이 언급되는 것은 논리적인 부분에서 점프가 있었다고 느끼는 것은 저만의 생각일까요 ?

    • 제대로 읽지 않으신거 같아요. 인공지능의 발전속도와 지능의 상승이 무서운 가장큰 이유는 시간의
      압축에 있습니다. 그냥 막연하게 아무 근거없이 강인공지능에서 초인공지능으로 갈수 없을것같다는 이야기는 과거 인간이 하늘을 날수 있을지도 모른다고 주장했을때 헛소리라고 비난받았던것과 다르지 않다고 봅니다.

  122. 공인 된 윤리 / 검정 / 흰색 모자 해커는 개인 및 기업 모두에게 전화 가능합니다 “개인 정보는 중요하지 않습니다”

    CEH 공인 윤리적 해커 코스 강사 주도 (Hackitexture)

    온라인 보안 문제가 해결되어야 할 필요가있을 때, 우리는 이용 가능합니다. 우리는 또한 휴대폰 해킹, 웹 사이트 해킹 및 감시, 학교 성적 변경 및 더 많은 해킹과 같은 비즈니스 및 개인 서비스를 제공합니다. 귀하의 개인 정보가 우리의 관심사입니다 !!!
    Ceh 인증 윤리적 해커, 검은 모자 / 흰 모자 해커
    CEH Certified Ethical Hacker 과정을 통해 모든 해킹 주제 및 해커가되는 데 필요한 첫 번째 도구를 익힐 수 있습니다. 단 5 일 만에 정확한 경로를 설정할 수있는 흥미 진진한 여정을 안내해드립니다. .

    우리는 다른 기관이 과금하는 것을 배우기 위해 코스 비용을 시장보다 훨씬 낮추었습니다. 우리는 다른 곳에서 되살리기위한 교육의 질을 잃지 않으면 서 비용의 일부만 가져 왔습니다.

    코스 개요는 다음과 같습니다 :

    • 1 장 시작하기 : 필수 지식

    • 제 2 장 정찰 : 윤리적 인 해커를위한 정보 수집

    • 3 장 스캔 및 열거

    • 4 장 냄새 맡기와 회피

    • 5 장 시스템 공격

    • 6 장 웹 기반 해킹 : 서버 및 응용 프로그램

    • 7 장 무선 네트워크 해킹

    • 8 장 클라우드 컴퓨팅의 보안

    • 9 장 트로이 목마 및 기타 공격

    • 10 장 암호화 101

    • 제 11 장 Low Tech : 사회 공학 및 물리적 보안

    • 제 12 장 펜 테스트 : 모든 것을한데 모으기

    무엇이 포함되어 있습니까?

    • 1 주일간 긴 강사 진행 과정.

    • 공식 강좌 매뉴얼

    • 해킹 툴 노출 자

    • 향후 해킹 과정 할인

    더 자세한 정보는 우리 팀에 +12092603116으로 연락 하시거나 hackitexture @ gmail. com 로 이메일을 보내주십시오. com 또는 저희 사이트 (www.hirecerthacker.blogspot.com)를 방문하여 우리 팀에 대해 자세히 알아보십시오.

  123. 생물학자들은 이미 1980년대에 1990년대에 암이 정복될거라고 말했지만, 아직도 암은 정복되지 않았습니다. 이제 우리는 암에 대해 거의 모든 걸 아는데도 말입니다. 이런 글들이 말하지 않은 것은 인간이 아직 인간 수준의 인공지능을 만들만한 이론적인 모델 조차 만들지 못했다는 겁니다. 어떤 학자들이 20년 후로 예측하는 건 대부분 자기가 은퇴할 시점까지 만들지 못할것 같은 걸 논할 때 쓰는 말입니다. 어쩌면 20년 후에 이 글 같은 상황이 벌어질 수도 있지만 어쩌면 지금까지의 방식으로
    강 인공지능을 형성하는 게 이론 적으로 불가능하다는 걸 증명 할 수도 있지요. 지금까지 여러 연구로 밝혀진 건 대략 이런거에요. 아무리 똑똑해도 미래 예측이 더 정확하지 않다 (즉 학자들이 당신보다 미래를 잘 예측하는 것도 아니다). 이전에 아무리 많이 맞췄어도 미래를 맞추는 건 아니다. 아무말이나 많이 하면 그중 하나는 맞고 그걸 열심히 홍보하면 예언자급의 미래학자가 될수 있다.

  124. 취미로 철학 공부하는 공돌이입니다. 그런 점에서 보면 이글에 심히 공감이 갑니다.
    인간역사에 수도 없이 존재하는 전쟁, 탐욕, 파벌(학벌에 기인한것에서부터 크게는 인종까지)은
    결국 인간도 그냥 지구라는 우리에 갇혀있는 수많은 타 생물체에 비해 높은 지능을 가진 즉 조금
    특이한 능력 가진 동물에 불과하단 반증이지요.

    지켜보아야 할 일이지만 근래의 바둑 쇼크는 앞으로 인간이 영위하는 사유(특히 예술과 철학)와
    크게는 감정까지 결국 하나의 뇌라는 장기속의 뉴런들이 작동하는 수백가지 논리흐름에 대한 집합에 불과함을 증명하는, 10년 전같았으면 화이트칼라 싸이코패스 내지는 사회성 없이 공부만 하고 살아서 머리가 돌은 놈 소리 들을만한 사상이 옳은것 같다는 진실을 목도하는 첫걸음이라 생각되어 기분이 좋지는 않습니다.

    남녀간의 사랑도 뇌에서 일으키는 호르몬 작용에 불과하다는 냉혈한 같은 이야기가 사실로 인정되는것과 동양의 신비로운, 우주의 이치를 담은 놀이인 바둑이 알파고로 인해 그래프와 노드 클래스 함수 double 변수들로 얼마든지 설명될수 있는 확률계산 게임으로 격파된게 비슷해보이는건 비단 저뿐만이 아닐거라 생각합니다. 댓글에서도 다분히 인간 중심적인 이분법적 사고에 대한 담론이 오고가는것도 이와 같은 이유겠지요.

    엘론 머스크가 인류는 그냥 부트로더같은 발판이 아닐까 하며 한숨을 쉬는것도 전 이해가 갑니다.
    제게 인류는 그리 특별한 존재가 아니라는건 충분히 익숙한 이야기입니다. 영국 산업혁명도 인간 본성속 탐욕의 문제점을 해결하진 못했고 그 대안으로 제시된 공산주의 마저도 인간성에 의해 무너졌습니다. 자본주의 또한 인간의 본성 덕분에 가장 최선이라 평가받고 있지만 만만치 않을 정도로 비난받는 것 또한 재미있는 일이죠.

    포스트모더니즘을 비롯한 감성 우선주의와 소위 이성을 중시하는 모더니즘들 중 어떤것도 심지어는 광기의 형태까지 취해가며 온갖 해법을 제시해도 결국 이 인간성에 내재된 고질적인 문제에 대한 답이 되지는 못했습니다.

    물론 저는 여기에서 중2병 환자 행세를 하며 인류애에 대해 역설하려는게 아닙니다. 제가 하고 싶은말은 희망, 사랑, 도덕 같은 가치관은 분명 인간성이라는게 그렇게 부정적인 면만 있는건 아니다는 근거가 되지만 결국 이 제가 사랑하는 가치인 도덕, 신념, 신뢰, 평화, 사랑과 같은 것도 그냥 뇌쪼가리의 작동 메커니즘에 불과하단걸 인정하자 하니 심한 우울감이 든다는 것입니다. 인공지능의 패러다임은 분명 목전에 닥친 위협이 중점은 아닐겁니다.

    아마 전 인류의 존재론에 대해 다시금 고찰하게 만들게 되었다가 중요한 이유겠지요. 인류는 진화해봤자 그 시작은 동물이었고 아직도 우리는 동물입니다. 적어도 저는 최근의 사건들을 돌아보며
    제 자신의 인간으로서의 존재가치에 대해 다시금 생각을 곱씹어보게 되었습니다.

    저는 이른바 거미가 인간을 바라보는 경외감과 무한한 공포를 느낌으로 문제에 대해 어떠한 해결책도 자신있게 제시하진 않을겁니다. 허나 제 나름대로 이 예측할수도 없지만 언젠가는 다가올 미래에 대해서는 충분히 대비를 해두려고 합니다.

    현재에도 다양한 형태의 광기가 난립하고 마치 암세포처럼 제거할때마다 저 편에서 새로운 형태의 광기가 생겨나는 이 상황에서 이른바 비관적 특이점주의자들 이라고 비하되는 일련의 기술에 대한 공포는 분명 근거가 있습니다. 모 영화에서 말했듯이 상상도 할수 없을 정도로 고도화된 과학인 이 근미래의 마법이 인간 본성의 어두운 면과 조우했을시 벌어질 광경은 바로 지금 제 자신을 호들갑 설레발 떨지 말라고 아무리 자책해도 불안감이 가시지 않는 이유입니다.

    결국 미래의 기술을 쉽게 얻을수 있을 세계에 수많은 지도자, 권력자에 비하면 하염없이 초라한 제 자신이므로 그저 제가 사랑하는 가치들을 우선으로 하며 살아야겠지요. 앞으로 최대한 올바르게 살려고 합니다 그렇지 못하겠다면 노력이라도요. 하지만 저는 결코 이 가치를 남들에게 강요하지 않을 겁니다. (내심 올바른 사람들이 더 많아졌으면 좋겠다 라는 생각도 가지고 있지만) 왜냐하면 저는 이것도 곧 뇌신호의 집합이자 생물학적 알고리즘 연산이란 사실이라는 걸 부정할 자신이 없기 때문입니다.

  125. 누구보다 강인공지능의 출현을 손꼽아 기다리는 사람으로서 흥미롭게 읽었습니다. 궁금한 부분이 있는데 예쁜꼬마선충을 완벽하게 에뮬레이팅 할 수 있게 된건가요? 예전에 완벽하게 구현한 것까진 아니라는 소리를 듣고, 가장 단순하고 이미 뉴런지도가 알려진 조그만 생명체조차 아직 에뮬레이팅하지 못하는데 인공지능은 멀었구나 싶었거든요.
    현재 빅데이터와 딥러닝을 기반으로 한 약인공지능은 사실 인공지능이라는 단어가 어울리지 않는, 조금 발전된 알고리즘정도로 생각합니다.
    현대과학으로 설명할 수 없는 감정이나 직관에 대한 미스테리들이 풀리게된다면 그 때부턴 급속도로 발전하겠지만 아직 새로운 패러다임이 등장할 기미가 보이질 않네요ㅜㅜ

댓글 남기기

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s