추가 적립 안내

AI의 현주소, 가능성과 위험, 인간친화적 개발 방향을 담은
손꼽히는 인공지능 권위자 UC버클리 스튜어트 러셀 교수의 역작

“최근에 읽은 가장 중요한 책” _대니얼 카너먼
“인공지능의 위험에 대한 확고하고 유망한 해결책” _맥스 테그마크
“올해의 인공지능 관련서 중 가장 중요한 책” _〈가디언〉
아마존 AI/Robotics 분야 1위 / 〈파이낸셜타임스〉〈포브스〉 기술 분야 최고의 책

새롭게 찾아온 인공지능 연구의 황금기, AI는 어디까지 왔는가? 초지능 범용 AI는 과연 실현 가능한가? 기계가 인간을 지배할까? 인류에겐 어떤 미래가 기다리고 있는가? 인공지능이 가져올 장밋빛 미래에 대한 무책임한 낙관과 디스토피아적 전망을 넘어 현실적이고 폭넓은 관점에서 AI의 현주소, 가능성과 위험, 이에 대한 다양한 입장을 검토하며, 인간에게 이로운 AI를 만들기 위한 방향과 원칙을 제안한다. 표준적인 인공지능 교과서의 저자로 유명한 UC 버클리의 스튜어트 러셀은 그동안 인공지능의 위험에 대해 누구보다 사려 깊은 목소리를 내왔다. 이 분야에 정통한 일급 연구자로서 ‘휴먼컴패터블 AI 센터’를 만들어 오랜 시간 고민하고 탐구해온 내용, ‘트롤리 문제’가 사소하게 느껴질 만치 넓고 깊은 논의를 담았다. 인류의 미래에 가장 강력한 영향을 끼칠 가능성이 매우 높은 이 기술에 관하여 개발자는 물론 시민 모두가 함께 숙고해야 할 지금, 현재의 AI 논쟁을 이해하기 위한 필독서이자 AI 개발의 현재와 미래를 가늠하기에 더없이 유익한 가이드이다.

“현재 AI는 매일같이 언론의 전면을 장식한다. 밀려드는 벤처 자본에 힘입어서 수많은 스타트업 기업이 생겨나고 있다. 온라인으로 AI와 기계 학습 강좌를 듣는 학생이 수백만 명에 이르고, 이 분야의 전문가들은 수백만 달러의 봉급을 요구한다. 벤처 펀드, 정부, 대기업에서 연간 수백억 달러의 투자금이 쏟아지고 있다. 이 분야가 출범한 이래 받은 돈보다 지난 5년 사이에 받은 돈이 더 많다. 자율주행차와 개인 비서처럼 이 분야에서 이미 이루어진 발전들은 앞으로 10여 년 사이에 전 세계에 상당한 영향을 미칠 가능성이 크다. AI가 가져올 경제적 사회적 혜택은 엄청나고, 그런 혜택은 AI 연구에 더욱 큰 추진력을 부여할 것이다.”(21쪽)

인공지능 연구에 사람과 자금이 몰리고 있다. “미국, 중국, 프랑스, 영국, 유럽연합에서 앞다투어 AI 연구에 수십억 달러씩 투자하겠다고 발표하고 나섰고”(267쪽), 이는 한국의 실정도 크게 다르지 않다. 기업들이 개발자 구인난을 하소연하고 있다는 기사나, 유명 대학들에서 인공지능대학원을 신설하고 유능한 교수진을 확보하려고 열을 올리고 있다는 기사를 자주 볼 수 있다. 새로이 찾아온 인공지능 연구의 황금기다. 그러면 인공지능 연구는 어디까지 왔는가? 어디까지 발전할까? 인간보다 뛰어난 인공지능이 만들어지면 과연 인류의 난제들이 해결되고 단박에 삶의 질이 올라갈 것인가, 아니면 영화에서 흔히 보는 것처럼 인류의 생존 자체가 위협받을 것인가? 표준적인 인공지능 교과서 《인공지능》의 저자로 유명한 UC 버클리의 스튜어트 러셀 교수는 그동안 AI의 위험에 대해 누구보다 사려 깊은 목소리를 내왔다. 이 분야에 정통한 일급연구자로서 오랜 세월 고민하고 탐구해온 내용, 트롤리 문제가 사소하게 느껴질 만치 넓고 깊은 논의를 《어떻게 인간과 공존하는 인공지능을 만들 것인가》에 담았다. 인공지능이 가져올 장밋빛 미래에 대한 무책임한 낙관과 디스토피아적 전망을 넘어 현실적이고 폭넓은 관점에서 AI의 발전이 가져올 문제들, 초지능 AI에 대한 다양한 입장들을 검토하며, 탄탄한 근거와 더불어 인간에게 이로운 AI를 만들기 위한 방향과 원칙까지 제안한다. 지금의 AI 논쟁을 이해하기 위한 필독서이자, 인공지능의 발전 방향을 전망하고 기술의 작동 방식을 이해하기 위한 가이드다.

AI의 현주소, 가능성과 위험, 인간친화적 개발 방향을 담은
손꼽히는 인공지능 권위자 UC버클리 스튜어트 러셀 교수의 역작

“우리 지능보다 훨씬 더 뛰어난 지능을 만난다는 것은 인류 역사상 가장 큰 사건이 될 것이다. 이 책의 목적은 왜 그 일이 인류 역사의 마지막 사건이 될 수도 있는지, 그리고 그렇게 되지 않게 하려면 어떻게 해야 하는지를 설명하는 것이다.”(10쪽)

SF 소설과 영화, 그리고 대중의 상상 속에 등장하는 미래의 AI는 무시무시한 능력을 지닌 존재, 일자리와 인간관계뿐 아니라 문명과 인류의 생존 자체를 위협하는 존재다. 인간과 기계 사이의 충돌은 불가피하며, 결국 인류에게는 파국적인 미래가 기다리고 있을 것으로 그려진다. 하지만 스튜어트 러셀은 그 같은 시나리오를 피할 수 있다고 주장한다. 단, 그러려면 AI를 근본적으로 다시 생각해야 한다.
저자는 인간과 기계에서의 지능이라는 개념을 살펴보는 것으로 논의를 시작해(2장), 지적인 개인 비서, 자율주행차, 가정용 로봇에서 세계적인 규모 감지 능력 등에서 인공지능의 능력이 어디까지 왔는지를 살펴보고, 인간 수준의 범용 인공지능이 등장하려면 이루어져야 할 돌파구들을 개괄한다. 그리하여 현재 사용되고 있는 특정 분야에 특화된 인공지능을 넘어 범용 인공지능이 등장했을 때, 생활수준, 교육, 건강 등 각 부문에서 가능해질 일들에 대해서도 살펴본다(3장).
물론 인공지능의 능력이 커져감에 따라 생기는 문제들도 있다. 인공지능을 활용해 기업과 국가가 구사할 감시, 행동 통제에서부터 치명적인 자율무기, 직업의 소멸에 이르기까지, 인간이 이미 찾아낸 AI의 오용 방식들과 다가올 위험들도 다룬다(4장). 초지능 인공지능이 출현하면 인공지능과 인간의 관계는 지금 인간과 고릴라가 맺고 있는 관계와 비슷해질 것이다. 러셀은 이를 ‘고릴라 문제’라고 부르는데, “구체적으로 말하면, 상당히 더 뛰어난 지능을 지닌 기계가 존재하는 세상에서 인류가 우월성과 자율성을 유지할 수 있느냐 하는 문제다”(196-197쪽). 소설 《에레혼》이나 《듄》에서는 인류의 실존을 불안하게 하는 이 같은 위험에 맞서 기계를 금지하는 세계가 등장하지만, 오늘의 현실에서 범용 AI 연구를 금지하기란 쉽지 않다. 결국 초지능 인공지능은 ‘우리가 부여한 목적을 실행하기 위해’ ‘우리가 의도하지 않았던 일들을’ 수행할 터인데, 이를 통제하기란 불가능할 것이다.(5장)
6장에서는 AI의 위험을 두고 현재 이루어지고 있는 논쟁을 살펴본다. 초지능 인공지능의 출현 가능성을 부정하는 것에서부터 인공지능의 위험을 비판하는 이들을 러다이트로 몰아가는 주장, 혹은 문제가 될 만한 유형의 목표를 기계에 부여하는 것을 피하면 된다는 것까지, 현재 인공지능의 주요 연구자들과 철학자, 사상가, 기업가 등 저명하고 영향력 있는 인물들의 입장과 주장을 비판적으로 검토한다. 여기에는 페이스북의 마크 저커버그나 테슬라의 일론 머스크, 심층학습의 선구자 얀 르쿤, 기계학습과 자연어 연구 분야의 대가 에렌 에치오니, 저명한 인지과학자인 스티븐 핑커, 옥스퍼드대학교의 철학자 닉 보스트롬 등 저명한 지식인들이 두루 등장한다. 하지만 안타깝게도 저자가 보기엔 사안의 중요성에 비해 현재 이루어지고 있는 논의는 그리 높은 수준에서 이루어지지 않고 있다.
책의 뒷부분에서는 AI를 바라보는 새로운 관점과 기계가 인류에게 도움을 주는 상태로 영구히 남아 있게 할 방법을 제시한다(7-10장). 공리주의자 제러미 벤덤, 존 스튜어트 밀을 비롯해 G. E. 무어, 로버트 노직, 헨리 시지윅, 데릭 파핏 같은 철학자들, 애덤 스미스에서 존 하사니에 이르는 경제학자들의 논의를 검토하면서 인공지능이 인간의 선호를 어떻게 다루도록 할지를 고민한다. 관건은 우리가 무엇을 선호하는지를 AI가 잘 모르게 하는 것이다. 우리는 우리의 선호를 만족시킬 것을 AI에게 요구하는데, 그럴 때 기계가 본질적으로 인간의 선호에 관해 불확실한 상태에 있도록 설계하자는 것이다. 그러면 기계는 자기 자신의 목적이 아니라 우리의 목표를 추구하는 일에 몰두하는 겸손하고 이타적인 존재가 된다. 이 새로운 토대 위에서 AI를 구축한다면, 우리를 존중하고 우리에게 유익한 기계를 만들 수 있다는 것이다.

일급 AI 연구자의 냉정하고 거시적인 통찰, 고유한 해결책
기업가나 철학자, 기자가 아닌 인공지능 분야의 전문가가 냉정하고 거시적이고 현실적인 관점에서 썼다는 점에서 이 책은 특별한 가치가 있다. MIT의 물리학자 맥스 테그마크는 《라이프 3.0》에서 주류 연구자들이 당면 과제, 그러니까 현재 개발 중인 AI 시스템을 더 영리하게 만드는 과제에 집중할 뿐, 장기적인 결과는 숙고하지 않으며, 이를 고민하는 이들도 대체로 문제를 입 밖에 꺼내기를 주저한다고 지적한 바 있다. 이에 비해 스튜어트 러셀은 꽤 오랜 세월 자율무기의 위협, 인공지능의 장기적 미래 및 인류와의 관계 등에도 관심을 두고 연구했으며, 이에 대해 발언해왔다. 세계경제포럼의 ‘AI와 로봇학 위원회’ 부의장, ‘유엔 군축 문제’ 고문도 맡기도 했으며, 2016년에는 UC 버클리를 중심으로 여러 대학과 기관이 협력하는 연구기관 ‘휴먼컴패터블 AI센터’를 설립하여 AI 연구의 일반적인 추진 방향을 증명 가능하게 유익한 AI 시스템 쪽으로 재설정하는 데 필요한 개념적, 기술적 도구를 개발해왔다.
그는 초지능 인공지능이 금세기 중반에는 가능할 것이라고 보는 주류 연구자들에 비해, 이번 세기 내, 그러니까 80년쯤 뒤에는 가능할 것이라고 다소 보수적으로 전망한다(120쪽). 그러면서도 기술이 가시화될 때 논의를 시작하면 이미 늦을 테니, 바로 당장 이 문제를 놓고 고민해야 하며, 하루빨리 힘을 모아 해결책을 찾아야 한다고 주장한다. 그리고 “AI 연구를 그만둔다는 것은 실제로 이루어질 가능성도 적을뿐더러(너무나 많은 혜택을 포기해야 하기에), 실행하기도 무척 어려우므로”(213쪽) 연구의 방향을 바꾸는 것이 좀 더 현실적인 대안이라고 본다.

‘표준 모델’에서 ‘증명가능하게 이로운 기계’로
다시 말해 러셀은 표준 모델, 즉 “최적화하는 기계를 만들고, 목적을 주입하고, 작동시키는” 방식으로 인공지능을 개발하는 방식에서 벗어나, 인간에게 ‘증명 가능하게 이로운(provably beneficial) 기계’를 만드는 방향으로 선회할 것을 제안한다. 사실 표준 모델은 작동 범위가 한정되어 있을 때는 별 문제가 없다. 잘못된 목적을 주입한다면, 전원을 끄고, 문제를 바로잡고, 다시 시도할 기회가 충분히 있기 때문이다. 하지만 그러나 표준 모델에 따라 설계된 기계의 지능이 더 올라가고, 행동의 범위가 더 세계적이 되어감에 따라 이 접근법은 유지될 수 없다. 그런 기계는 자신의 목적이 얼마나 잘못되었든, 목적을 추구할 것이기 때문이다. 그의 접근법은 세 가지 원칙으로 요약되는데(“1. 기계의 목적은 오로지 인간 선호의 실현을 최대화하는 것이다. 2. 기계는 그런 선호가 무엇인지 처음에는 확실히 알지 못한다. 3. 인간의 선호에 관한 정보의 궁극적 원천은 인간의 행동이다“)(254쪽), 단순해 보이는 이 원칙은 탄탄한 논리로 뒷받침된다.

“AI의 표준 모형, 즉 인간이 부여한 정해진 목표를 기계가 최적화한다는 모형이 일종의 막다른 골목이라고 주장하련다. 문제는 우리가 AI 시스템을 구축하는 일에 실패할 수도 있다는 것이 아니다. 우리는 대성공을 거둘 수도 있다. 문제는 AI 분야에서 성공의 정의 자체가 잘못되었다는 것이다.”(32쪽)

“목적이 불확실하다는 것은 기계가 필연적으로 인간을 따를 수밖에 없다는 의미다. 즉, 기계는 허가를 요청하고, 수정을 받아들이고, 작동을 멈추는 일을 허용할 것이다. 기계가 명확한 목적을 지녀야 한다는 가정을 제거한다는 것은 인공지능의 토대 중 일부를 찢어내고 다른 것으로 대체할 필요가 있다는 의미다. 우리가 이루려고 시도하는 것의 기본 정의를 말이다. 또 그 상부구조(실제로 AI를 만들기 위해 쌓은 개념과 방법의 축적물) 중 아주 많은 부분을 재구축해야 한다는 의미다. 그렇게 한다면, 인간과 기계는 새로운 관계를 맺게 될 것이다.”(28-29쪽)

인공지능 개발 방향에 관한 사회적 논의를 위한 중요한 논점을 제공하는 책
그가 제안한 원칙은 지금 연구 현장에서 어느 정도 반향을 일으키고 적용되고 있을까? 그를 비롯한 수많은 인공지능 전문가들에 우려하는 것과 같이 초지능 인공지능이 잘못된 방식으로 작동할 가능성이 높고 그 영향이 심대하다면, 이는 기업과 연구자들에게만 맡겨둘 수만은 없다. 인류의 미래에 가장 강력한 영향을 끼칠 가능성이 매우 높은 이 기술에 관하여 개발자는 물론 시민 모두가 함께 숙고해야 할 때다. 전문가의 깊고 넓은 시야, 명쾌한 서술, 신중하지만 단호한 그의 제안이 같은 문제를 고민하는 우리 독자들에게도 유용한 가이드가 될 것이다.

“인류에게 심각한 문제를 일으킬 수 있는 것에 관해 걱정하기에 알맞은 때란 그 문제가 언제 일어날 것인가뿐 아니라, 해결책을 준비하고 실행하는 데 얼마나 걸리는가에 따라 정해진다. 2069년에 커다란 소행성이 지구에 충돌할 예정임을 알게 된다면, 걱정하기에는 너무 이르다고 말할 것인가? 정반대다! 그 위협을 막을 수단을 개발하기 위한 세계적인 비상 계획이 나올 것이다. 2068년까지 기다렸다가 해결책을 찾아 나서지는 않을 것이다”(224쪽)

마틴 리스 경(영국 왕실 천문학자)
스튜어트 러셀은 명확하고 설득력 있는 언어로 인공지능의 어마어마한 잠재적 이익, 위험과 윤리적 과제를 그려낸다. 특히 존경받는 최고의 권위자가 과대선전과 유언비어를 피하면서 이처럼 균형 잡힌 평가를 제공하는 것이 반갑다.

타비타 골드스타우브, 코그니션엑스 공동 창업자(영국 정부 AI 위원회 의장)
우리는 인간이 창조할 지적인 기계와 행복하게 공존할 수 있을까? 이 책은 “그렇다. 하지만 먼저...”라고 답한다. 인공지능의 기초를 밝게 재조명하면서 인공지능의 시초부터 시작하는 여행에 독자를 데려가고, AI 중심 사회에서 제기되는 물음들을 설명하며, 기계가 끝내 인간에게 이로운 존재로 남아 있게 하는 방법을 보여준다. 세계 최고의 전문가 중 한 명이 제시하는, 재미있고 엄청나게 중요한 미래 가이드다.

브라이언 크리스천(《알고리즘, 인생을 계산하다》 저자)
설득력 있는 논증과 명석한 상상이 담긴 이 책은 향후 수십 년 안에 어떤 현실이 우리를 찾아올 것인지를 단호하면서 예리한 시선으로 보여준다. AI의 위험에 대해 이보다 더 설득력 있는 주장을 펴거나 앞으로 나아갈 길을 더 명확하게 보여준 연구자는 없다. 미래를 진지하게 생각하는 사람은 누구나 주의를 기울여야 한다.

얀 탈린(스카이프 공동 창업자)
지능을 이해하려는 인류의 탐구를 기록하고, 왜 그것이 안전하지 않게 되었는지를 정확히 지적하며, 우리가 한 종으로서 살아남고 싶다면 어떻게 진로를 바로잡아야 하는지를 보여준다. 대표적인 인공지능 교과서의 저자인 스튜어트 러셀은 저명한 AI 연구자다운 풍부한 지식, 탁월한 교육자다운 설득력 있는 명확성과 재치로 이 모든 것을 해낸다.

샘 해리스(프로젝트 리즌 공동 창립자, 《종교의 종말》 저자)
스튜어트 러셀은 오랫동안 컴퓨터과학 분야에서 AI의 위험이라는 주제에 가장 사려 깊은 목소리를 내왔다. 그리고 이제 우리 모두가 기다리던 책을 냈다. 인류 역사상 최고이거나 최악의 기술 발전이 될 수 있는 것을 탁월하면서 이해하기 쉽게 설명한 안내서다.

맥스 테그마크(MIT 물리학과 교수, 《라이프 3.0》 저자)
필독서다. AI의 진정한 개척자 중 한 명이 점점 더 강력해지고 있는 인공지능의 위험을 매혹적이고 설득력 있는 방식으로 설명할 뿐 아니라, 확고하고 유망한 해결책을 제시한 지적 걸작이다.

요슈아 벤지오(튜링상 수상자, 《심층 학습》 저자)
무척 잘 쓰인 이 책은 인류에게 닥친 근본적인 위협, 다시 말해 ‘우리가 진정으로 의도하는 것’이 아니라 ‘단순히 우리가 요구하는 일’을 하는, 점점 지능이 높아지는 기계를 다룬다. 미래가 신경 쓰인다면 반드시 읽기를.

주디어 펄(튜링상 수상자, 《이유의 책》 저자)
이 책을 읽고서 나는 우리의 미래 창조물, 즉 초지능 기계를 통제하는 능력에 관한 러셀의 견해에 동의하게 되었다. 외부의 경계론자나 미래학자와 달리, 러셀은 AI의 손꼽히는 권위자다. 이 책은 그 어떤 책보다도 대중이 AI를 제대로 이해할 수 있도록 할 것이며, 희망도 품게 해준다.

<월스트리트저널>
깊이 들어가는 흥미로운 책. 천연스런 위트가 반짝인다.

〈더 타임즈〉
매혹적이고 중요한 책. 러셀은 의식을 가진 기계의 위험이 아니라, 초지능 기계가 오용되거나 그 자신을 오용할 수 있는 가능성을 경고한다.

〈파이낸셜타임스〉
AI의 과거 현재 미래에 대한, 생각을 불러일으키고 가독성 높은 설명. 러셀의 논의는 많은 한계를 포함한 실제의 기술 현실에 근거해 있으며, 공상과학의 과열된 언어로 비약하지 않는다. 비기술적 독자들을 얕잡아보지 않으면서 이 주제에 대한 진지한 개관을 담은 책을 찾고 있다면, 이 책이 시작하기에 그만이다. 지적으로 엄밀하면서도 간결한 문체, 능청스런 유머 덕에 일반 독자도 충분히 소화할 수 있다.

〈가디언〉
스튜어트 러셀은 인공지능 분야의 주요 전문가 중 한 명이며, 이 책은 점점 강력해지는 AI의 위험을 권위 있고 재미있게 개괄한 진정한 역작이다. 러셀은 지적인 기계를 설계하는 우리의 현재 접근법이 근본적으로 잘못되었으며, 인공지능 전도사들의 꿈이 결실을 맺게 된다면 실제로 디스토피아적인 결과로 이어질 수 있으리라고 믿는다. 그는 우리가 어떻게 지금 있는 곳에 도달했는지 설명하는 데 매우 능숙하고, 또한 우리가 어떻게 재앙적인 초지능을 피할 수 있는지, 그리고 어떻게 하면 기계가 인간을 쓸모없는 존재로 만드는 것이 아니라 인간의 능력을 증강시키게끔 할 수 있는지에 관해 설득력 있는 의견을 제시한다.

대니얼 카너먼(노벨상 수상자, 《생각에 관한 생각》 저자)
최근에 읽은 가장 중요한 책이다. 미래의 인공 초지능이 인류의 통제권을 어떻게 위협할지를 명쾌하게 설명한다. 중요한 점은 새로운 해결책과 낙관할 이유도 제시한다는 것이다.

들어가는 말
왜 이 책일까? 왜 지금일까?
이 책의 개요

1. 우리가 성공한다면
우리는 어떻게 여기까지 왔을까?
다음은 어떻게 될까?
무엇이 잘못되었을까?
바로잡을 수 있을까?

2. 인간과 기계의 지능
지능
컴퓨터
지적인 컴퓨터

3. 앞으로 AI는 어떻게 발전할까?
가까운 미래
초지능 AI는 언제 출현할까?
다가올 개념적 돌파구
초지능 기계를 상상하다
초지능의 한계
AI는 인류에게 어떻게 혜택을 줄까?

4. AI의 오용
감시, 설득, 통제
치명적인 자율 무기
우리가 아는 방식의 일 없애기
빼앗길 다른 역할들

5. 지나치게 지적인 AI
고릴라 문제
미다스 왕 문제
두려움과 탐욕: 도구적 목표
지능 폭발

6. 그저 그런 AI 논쟁
부정
비껴가기
부족주의
그냥…
논쟁의 재개

7. AI: 다른 접근법
이로운 기계의 원칙들
낙관론의 근거
신중해야 할 이유

8. 증명 가능하게 이로운 AI
수학적 보증
행동으로부터 선호 배우기
돕기 게임
요구와 명령
와이어헤딩
순환적 자기 개선

9. 상황을 복잡하게 만드는 요인: 우리들
다양한 사람들
많은 사람들
멋지고, 추하고, 질투하는 인간
어리석으면서 감정적인 인간
사람은 정말로 선호를 지닐까?

10. 해결된 문제는?
이로운 기계
AI 제어
오용
나약화와 인간의 자율성

부록 A 해결책 탐색
부록 B 지식과 논리
부록 C 불확실성과 확률
부록 D 경험을 통한 학습

감사의 말
주
사진 저작권
옮기고 나서
찾아보기

따라서 이런저런 AI 기법이 “인간의 뇌처럼 작동한다”라는 기사를 읽을 때면, 그 말이 그저 누군가의 추측이거나 그냥 허구라고 의심해도 괜찮다.
정말로 우리는 의식이라는 영역에 관해서는 아무것도 모르기에, 나도 아무 말도 하지 않으련다. AI 분야에서 누구도 기계에 의식을 부여하려는 연구를 하고 있지 않고, 그 일을 어디에서 시작해야 할지 아는 사람도 전혀 없을 것이고, 그 어떤 행동도 의식을 선행조건으로 삼지 않는다. _36-37쪽

원초적인 계산 능력에 초점을 맞추다가는 요점을 완전히 놓치게 된다. AI는 속도만으로 출현시킬 수 있는 것이 아니다. 엉성하게 설계된 알고리듬을 더 빠른 컴퓨터에서 돌린다고 해서 알고리듬이 더 나아지는 것이 아니다. 그저 틀린 답에 더 빨리 다다를 뿐이다. (그리고 데이터가 더 많을수록 틀린 답에 다다를 기회도 더 많아진다!) 더 빠른 기계의 주된 효과는 실험에 걸리는 시간을 더 짧게 줄인다는 것, 따라서 연구를 더 빨리 진행할 수 있다는 것이다. AI를 지체시키는 것은 하드웨어가 아니다. 소프트웨어다. 우리는 기계를 진정으로 지적으로 만드는 방법을 아직 알지 못한다. 기계가 우주만큼 크다고 해도 마찬가지다. _65쪽

알파고가 이세돌을 물리치고 그 뒤에 다른 모든 최고의 바둑 국수들을 물리쳤을 때, 많은 이들은 머리가 아주 좋은 사람에게도 매우 어렵다고 알려진 바둑 대국에서 바둑을 전혀 모르는 상태에서 배우기 시작한 기계가 인류를 이겼으므로, 그것이 종말의 시작을 의미한다고 가정했다. 즉, AI가 인간을 정복하는 것은 시간문제일 뿐이라는 의미였다. 알파제로가 바둑뿐 아니라 체스와 장기에서도 이겼을 때, 일부 회의주의자들까지도 그런 견해를 믿는 쪽으로 돌아섰을지도 모르겠다. 그러나 알파제로는 뚜렷한 한계를 지니고 있다. 불연속적이고 관찰 가능하고 규칙이 알려진 2인용 게임이라는 유형에서만 작동한다는 것이다. 이 접근법은 운전, 교육, 정부 운영, 세계 정복에는 전혀 먹히지 않을 것이다. _80쪽

그리고 구글이 불행하게도 고릴라 문제에 직면한 것이 바로 그 때문이다. 2015년 재키 알시네라는 소프트웨어 공학자는 구글 포토의 사진 분류 서비스가 자신과 친구들을 고릴라로 분류했다면서 트위터에 불만을 털어놓았다. 이 오류가 정확히 어떻게 일어난 것인지는 불분명하지만, 구글의 기계 학습 알고리듬이 값을 명확히 지정해놓은 손실 함수를 최소화하도록 설계되었던 것이 거의 확실하다. 게다가 모든 오류에 동일한 비용을 할당했을 것이다. 다시 말해, 사람을 고릴라로 잘못 분류했을 때의 비용이 노퍽테리어를 노리치테리어로 잘못 분류했을 때의 비용과 같다고 가정했을 것이다. 그 뒤에 일어난 여론 악화가 잘 보여주었듯이, 구글(또는 그 이용자들)의 진정한 손실 함수는 그렇지가 않았다. _97쪽

AI 연구자가 볼 때, 진짜 돌파구는 딥블루가 대중의 의식에 불쑥 들어오기 30-40년 전에 이미 일어났다. 마찬가지로, 심층 합성곱망도 언론의 표제를 장식하기 20여 년 전에 이미 나와 있었고, 수학적으로도 다 규명된 상태였다. 대중이 언론을 통해 접하는 AI 돌파구가 열리는 광경(인간을 상대로 얻은 압도적인 승리, 사우디아라비아 시민권을 획득한 로봇 등등)은 세계의 연구실에서 실제로 일어나는 일과 거의 아무런 관계가 없다. 연구실에서의 연구는 화이트보드에 수학 공식을 쓰면서 많이 생각하고 토의하는 과정을 수반한다. 끊임없이 새로운 착상이 나오고 버려지고 재발견되곤 한다. 좋은 착상(진정한 돌파구)이 그 당시에는 알아차리지 못한 채 그냥 넘어갔다가 나중에야 AI에 상당한 발전을 이룰 토대를 제공했다는 것을 사람들이 깨닫기도 한다. 더 적절한 시기에 누군가가 재발견함으로써 그런 일이 일어나기도 한다. _101쪽

촉각 감지와 손 구성 문제는 3D 프린팅을 통해 해결될 가능성이 커 보인다. 이미 보스턴다이내믹스는 인간형 로봇인 아틀라스의 몇몇 복잡한 부품에 이 기술을 쓰고 있다. 로봇 제작 기술은 어느 정도는 심층 강화 학습 덕분에 빠르게 발전하고 있다. 최종 단계의 발전(이 모든 것을 하나로 모아서 영화 속 로봇의 경이로운 신체 능력에 가까워 보이기 시작하는 무언가를 만드는 것)은 그다지 낭만적이지 않은 창고 산업에서 나올 가능성이 크다. 아마존만 해도 거대한 창고의 통에서 상품을 꺼내 포장하여 고객에게 발송하는 일을 하는 직원이 수십만 명에 달한다. 2015년부터 2017년까지, 아마존은 이 일을 할 수 있는 로봇 개발을 촉진하기 위해 해마다 ‘피킹 챌린지’를 개최했다. 아직 갈 길이 멀긴 하지만, 핵심 연구 문제가 해결될 때(아마 10년 이내에) 고도의 능력을 지닌 로봇이 아주 빠르게 출현할 것으로 예상할 수 있다. _115쪽

우리가 원하는 것은 일어서기가 무엇임을 스스로 발견하는 로봇이다. 즉, 유용한 추상적 행동임을, 걷거나 달리거나 악수를 하거나 벽 너머를 보기 위한 전제 조건(일어섬으로써)을 달성하는 것이자, 그리하여 온갖 목표를 위한 많은 추상적 계획의 한 부분을 이루는 것임을 발견하는 로봇이다. 마찬가지로, 우리는 로봇이 이곳에서 저곳으로 이동하고, 물건을 집고, 문을 열고, 매듭을 짓고, 요리하고, 내 열쇠를 찾아내고, 집을 짓는 것 같은 행동뿐 아니라, 우리 인간이 아직 찾아내지 못했기에 그 어떤 인간의 언어로도 이름이 붙여지지 않은 다른 많은 행동도 발견하기를 원한다. 나는 이 능력이 인간 수준의 AI에 이르는 데 필요한 가장 중요한 단계라고 본다. _136-137쪽

AI 연구를 종식시키자고 주장하는 사람은 아주 설득력 있게 그런 주장을 펼쳐야 할 것이다. AI 연구를 종식시킨다는 것은 인간의 지능이 어떻게 작동하는지를 이해할 주요 통로 중 하나뿐 아니라, 인간 조건을 개선할, 즉 훨씬 더 나은 문명을 만들 황금 같은 기회마저 내버린다는 의미가 될 것이기 때문이다. 인간 수준 AI의 경제적 가치는 수천조 달러에 달하므로, 기업과 정부의 AI 연구를 추진하는 힘은 엄청날 가능성이 크다. 그 힘은 버틀러의 표현을 빌리자면, “전문 지식으로 쌓은 명성”이 아무리 크든 간에, 철학자의 모호한 반대를 압도할 것이다. _200-201쪽

그 목적이 인간의 선호와 충돌을 빚는다면, 우리는 영화 〈2001: 스페이스 오디세이〉의 줄거리와 똑같은 상황에 처한다. 영화에서 컴퓨터인 ‘할 9000’은 자기 임무를 방해하는 것을 막기 위해서 우주선에 탄 승무원 다섯 명 중 네 명을 살해한다. ... 아이작 아시모프의 로봇 3원칙 중 “로봇은 자기 자신을 보호해야 한다”로 시작하는 세 번째 원칙은 사실 아예 필요가 없다. 자기 보존은 도구적 목표이므로 탑재할 필요가 전혀 없다. 도구적 목표란 거의 모든 원래의 목적을 달성하는 데 유용한 하위 목표를 말한다. 명확한 목적을 지닌 존재라면 자동적으로 도구적 목표도 지닌 양 행동할 것이다. _208-209쪽

독자는 현재 탁월한 사상가들이 이 심사숙고를 이미 하고 있으리라고 생각할지 모르겠다. 진지한 논쟁을 하고, 위험과 혜택을 헤아리고, 해결책을 추구하고, 해결책의 허점을 살펴보는 등의 일을 하고 있을 것이라고 말이다. 그러나 내가 아는 한, 아직 그렇지 않다. _216쪽

기술을 찬성하는 쪽은 위험을 부정하고 숨기며, 위험을 말하면 러디즘이라고 비난한다. 반대하는 쪽은 위험이 극복 불가능하고 문제가 해결 불가능하다고 확신한다. 기술 찬성 부족에서 문제를 너무나 정직하게 대하는 사람은 배신자라는 낙인이 찍힌다. 대개 그 문제를 해결할 능력을 갖춘 이들이 대부분 기술 찬성 부족에 속해 있다는 점을 생각하면 매우 안타까운 일이다. 기술 반대 부족에서 완화의 가능성을 이야기하는 사람도 배신자다. 그 부족은 기술의 가능한 효과를 따지는 것이 아니라, 기술 자체를 악이라고 보기 때문이다. 이런 식이 되면, 각 부족에서 가장 극단적인(상대방의 목소리에 가장 귀를 기울이지 않을) 사람들만 목소리를 낼 수 있다. _235-236쪽

도구적 목표를 논의할 때 이미 살펴보았듯이, 자기 보존, 자원 습득, 지식 발견, 또는 극단적으로 세계 정복 같은 ‘감정’이나 ‘욕망’을 AI에 주입할지 말지는 중요하지 않다. 기계는 어쨌든 그런 감정을 지니게 될 것이다. 우리가 주입한 목적의 하위 목표로서, 성별에 상관없이 그럴 것이다. 기계 입장에서 죽음은 그 자체로 나쁜 것이 아니다. 그럼에도 죽음은 피해야 한다. 죽으면 커피를 가져다주기 어렵기 때문이다. _244쪽

AI에 관한 세계 정책의 발전에 AI 연구자가 미칠 수 있는 영향은 한정되어 있다. 우리는 경제적 사회적 혜택을 제공할 가능한 응용 방안을 제시할 수 있다. 또, 감시와 무기 같은 가능한 오용 사례를 경고할 수 있다. 가능성 있는 향후 발달 경로와 그 영향도 알려줄 수 있다. 아마 우리가 할 수 있는 가장 중요한 일은 가능한 한, 인간을 위해서 증명 가능하게 안전하면서 이로운 AI 시스템을 설계하는 것이 아닐까? 그런 뒤에야 AI에 관한 일반적인 규제를 시도하는 것이 의미가 있을 것이다. _268쪽

저명한 인지과학자 스티븐 핑커는 앳킨스보다 더 낙관적인 주장을 펼친다. 그는 “고도 사회의 안전 문화”가 AI의 모든 심각한 위험을 제거할 것이라고 본다. 따라서 그런 위험에 주의를 기울이는 것은 부적절하고 역효과를 낸다는 것이다. 설령 우리의 고도 안전 문화가 체르노빌, 후쿠시마, 마구 치닫고 있는 지구 온난화로 이어졌다는 사실을 무시한다고 해도, 스티븐 핑커의 주장은 요점을 완전히 놓치고 있다. 안전 문화는 가능한 실패의 양상을 지적하고 그런 일이 일어나지 않게 할 방법을 찾으려는 사람들이 있기 때문에 나온다. (그리고 AI 분야에서는 표준 모델이 바로 그 실패 양상이다.) 어차피 안전 문화가 바로잡을 것이므로 실패 양상을 지적하는 것이 어리석다고 말하는 것은 뺑소니 사고를 보았을 때 누군가 구급차를 부를 테니, 구급차를 부를 필요가 없다는 말과 같다. _314쪽

그래서 나는 이로운 기계가 이런 기계라고 제시한다. 우리의 목적을 달성할 것으로 예상할 수 있는 행동을 하는 기계. 이런 목적은 우리에게 있고, 기계에 있는 것이 아니므로, 기계는 우리가 어떤 선택을 하고 어떻게 선택하는지 관찰함으로써 우리가 진정으로 원하는 것이 무엇인지 더 많이 배울 필요가 있을 것이다. 이런 식으로 설계된 기계는 인간을 따를 것이다. 허락을 얻을 것이다. 지침이 불분명할 때면 신중하게 행동할 것이다. 자신을 끄도록 허용할 것이다. _361쪽

이런 온갖 활동이 이루어지고 있으니, 통제 쪽으로 실질적인 진전이 이루어지리라고 전망할 수 있을까? 아마 놀랍겠지만, 답은 “그렇다”이다. 적어도 사소한 측면을 보면 그렇다. 전 세계 많은 정부는 규제 수단을 개발하는 과정을 돕는 자문 기구를 갖추고 있다. 그중에 유럽연합의 인공지능고위전문가집단(AI HLEG)이 아마 가장 유명할 것이다. 사용자 사생활 보호, 데이터 교환, 인종편향 회피 같은 현안을 위한 동의, 규정, 표준도 출현하고 있다. 정부와 기업은 자율주행차를 위한 규칙을 마련하기 위해 열심히 애쓰고 있다. 필연적으로 국경을 초월하는 요소를 지니게 될 규칙들이다. AI 시스템을 신뢰할 수 있으려면 AI의 의사 결정이 설명 가능해야 한다는 데 합의가 이루어져 있고, 그 합의는 이미 유럽연합의 GDPR 법을 통해 일부 시행되고 있다. 캘리포니아에서는 AI 시스템이 특정한 상황에서는 인간을 대신하지 못하게 막는 새로운 법이 제정되었다. 설명 가능성과 의인화라는 이 두 항목은 AI 안전성과 통제라는 현안과 분명히 어느 정도 관련이 있다.
현재, AI 시스템의 통제권을 유지하는 문제를 고민하는 정부나 다른 기관에 제시할 수 있는 실행 가능한 권고안 같은 것은 전혀 없다. “AI 시스템은 안전하고 제어 가능해야 한다” 같은 법률 조항은 아무런 무게도 지니지 않을 것이다. 이런 용어들은 아직 정확한 의미를 지니고 있지 않을뿐더러, 안전성과 통제 가능성을 확보할 널리 알려진 공학적 방법론도 아직 없기 때문이다. _366-367쪽