추가 적립 안내

지도처럼 한눈에 들여다보는 인공지능의 지형학
AI를 둘러싼 부와 권력, 정의의 문제를 생각하고 그 대안을 찾는다

인공지능이 정치와 경제 활동에 깊이 스며들고 지구의 자원을 고갈시키면 무슨 일이 일어날까? 우리가 자신과 사회를 이해하는 방식에 AI는 어떤 영향을 미치고 있을까? 인공지능의 사회적 의미를 선도적으로 연구하는 케이트 크로퍼드는 10여 년간의 연구를 바탕으로 AI가 추출의 기술임을 확신한다. 현대 AI 시스템은 지구의 에너지와 광물자원, 값싼 노동력, 대규모 데이터의 추출이 필수 요건이라는 것. 이 책은 미국 네바다의 리튬 광산에서부터 아마존 창고와 시카고의 도축장, 데이터 센터, 이미지 데이터베이스, 파푸아뉴기니의 산악 마을, 스노든 자료실, 텍사스 서부의 로켓 기지 등에서 AI가 실제로 어떻게 만들어지고 있는지를 탐구하는 여정이다. 이러한 전 지구적 네트워크가 어떻게 해서 비민주적 통치와 불평등을 증폭하는지 폭로하면서 AI를 만드는 데 무엇이 필요한지, AI가 어떻게 권력을 집중하는지에 대한 물질적이고 정치적인 관점을 제시하고 다양한 자료와 전문가들의 의견에 귀 기울이면서 기술 기업들이 인공지능을 이용하여 세계를 재편하는 과정에서 무엇이 위기에 처했는가를 설득력 있게 서술한다.

AI는 우리가 살고 있는 세계를 어떻게 바꾸고 있을까?
“인공지능은 결코 인공적이지도 않고 지능도 아니다!”

오늘날 사람들은 ‘AI(인공지능)’를 어떻게 이해하고 받아들이고 있을까? 현대 과학과 첨단 기술의 정점으로, 또는 인간이 풀지 못한 문제까지도 단번에 해결할 수 있는 놀라운 존재로 여기고 있는 건 아닐까? 하지만 이는 맹목적인 신뢰가 빚어낸 환상일 뿐이라고 이 책은 말한다. 미국 뉴욕 대학교 AI 나우 연구소의 공동 설립자이자 인공지능의 사회적 의미를 오랫동안 연구해온 케이트 크로퍼드는 이 책에서 인공지능이 만들어지는 과정을 면밀히 들여다보면서, 그것이 어떤 함정을 만들어내는지 낱낱이 파헤친다. 아직까지 많은 사람들은 인간 정신과 비슷한 시스템을 백지상태에서 만들어낼 수 있고 인공지능을 자연적이며 독자적으로 존재하는 무언가로 받아들이지만, 이는 너무나 단순하고 편협한 인식일 뿐이라는 것이다.
이 책은 AI가 ‘인공’적이지도 않고 ‘지능’도 아니라고 주장한다. 오히려 인공지능은 체화되고 물질적인 지능이며 천연자원, 연료, 인간 노동, 하부 구조, 물류, 역사, 분류를 통해 만들어진다. AI 시스템은 자율적이지도 합리적이지도 않으며 대규모 데이터 집합이나 기존의 규칙 및 보상을 동원한 방대하고 집약적인 훈련 없이는 아무것도 분간하지 못한다. 사실 우리가 아는 형태의 인공지능은 훨씬 폭넓은 정치적ㆍ사회적 구조에 전적으로 의존한다. 또한 AI를 대규모로 구축할 자본과 AI를 최적화할 방법이 필요한 탓에 AI 시스템은 궁극적으로 기득권에 유리하게 설계된다. 이런 의미에서 인공지능은 권력의 등기부인 셈이다.
이 책은 인공지능이 어떻게 만들어지는지를 폭넓은 의미에서 들여다보고 인공지능을 빚어내는 경제적ㆍ정치적ㆍ문화적ㆍ역사적 힘을 탐구한다. AI를 이 넓은 구조와 사회체제에 연결하면 우리는 인공지능이 순전히 기술적 영역에 속한다는 통념에서 벗어날 수 있다. 기본적 차원에서 AI는 기술적 행위이자 사회적 행위요, 제도이자 토대요, 정치이자 문화다. 연산 추론과 체화된 일은 서로 깊숙이 연결되어 있다. AI 시스템은 사회관계와 세계에 대한 이해를 반영하는 동시에 생산한다.
이 책에서는 AI를 ‘정치, 노동, 문화, 자본을 아우르는 대규모의 산업적 구성물’이라는 의미로 쓴다. 사실 ‘인공지능’이라는 용어는 마케팅에서 더 많이 쓰인다. 자금 지원을 신청하는 기간이나 벤처 투자가들이 수표장을 들고 찾아올 때, 연구자들이 새 연구 결과에 대해 언론의 주목을 끌고 싶을 때는 AI라는 용어가 곧잘 동원된다. 이 때문에 AI라는 용어는 채택되기도 하고 거부되기도 하면서 의미가 끊임없이 달라진다.
그런데 인공지능이 만들어지는 과정을 이해하는 데 어떻게 지도책이 도움이 될 수 있을까? 지도책 비유는 곧 인공지능을 이해하는 새로운 방법이다. 인공지능을 추동하고 지배하는 국가와 기업, 지구에 흉터를 남기는 추출식 채굴, 데이터 대량 수집, 이를 떠받치는 불평등하고 착취적인 노동 관행 등을 설명하는 AI 담론이 필요하기 때문이다. 지형학적 접근법은 인공지능이나 최신 기계학습 모형의 추상적 약속을 넘어선 새로운 관점과 규모를 제시한다. 그 목적은 연산의 다양한 지형을 주파하면서 이것들이 어떻게 연결되는지 살펴봄으로써 AI를 더 넓은 맥락에서 이해하는 것이다.
AI 분야에 존재하는 것은 열어야 할 하나의 블랙박스, 폭로해야 할 하나의 비밀이 아니라 수없이 얽힌 권력의 체계이다. 그렇기에 완전한 투명성은 불가능한 목표다. AI가 세상에서 어떤 역할을 하는지 더 잘 이해하려면 물질적 구조, 맥락 환경, 지배적인 정치적 성격에 주목하여 그것들이 어떻게 연결되는지 추적해야 한다. 이 책에 담긴 저자의 사상은 과학ㆍ기술 연구, 법학, 정치철학을 배경으로 10년 가까이 학계와 업계 AI 연구실에 몸담은 경험에서 영감을 얻은 것이다.

AI가 어떻게 부와 권력을 집중시키고 있을까?
인공지능을 둘러싼 자원 채굴, 노동권, 개인정보 보호, 국가와 기업, 불평등…

이 책은 인공지능을 ‘추출 산업’으로 규정한다. 현대 AI 시스템을 창조하려면 지구의 에너지와 광물자원, 값싼 노동력, 대규모 데이터를 추출해야 한다. 이 일이 벌어지는 현장을 관찰하기 위해 저자는 AI가 실제로 만들어지는 장소들을 여행한다.
인공지능이 무엇이고 무엇으로 만들어지는지를 알기 위한 첫 번째 출발점은 컴퓨터에 동력을 공급하는 데 필요한 여러 광물 채굴장 중 하나인 미국 네바다의 리튬 광산이다. 채굴은 AI에 추출의 정치적 성격이 결부되었음을 가장 적나라하게 보여주는 분야다. 희토류, 석유, 석탄에 대한 기술 부문의 수요는 엄청나지만 이 채굴의 진짜 비용을 AI 업계에서 부담하는 경우는 전혀 없다. 소프트웨어 부문을 보자면, 자연어 처리와 컴퓨터 시각의 모형을 구축하려면 에너지가 어마어마하게 필요하며 더 빠르고 효율적인 모형을 제작하려는 경쟁 때문에 AI의 탄소 발자국을 키우는 탐욕스러운 연산 기법이 도입되었다. 최초의 대서양 횡단 해저 케이블에 필요했던 라텍스를 생산하기 위해 수확된 말레이시아의 마지막 나무로부터 독성 잔류물이 모여 생성된 내몽골의 거대한 인공 호수에 이르기까지 지구적 연산 네트워크의 환경적ㆍ인간적 출생지를 추적하며 이 행위들이 어떻게 지구를 대규모로 변화시키는지 살펴본다.
사실 인공지능은 인간의 노동으로 만들어진다. 단순 반복 작업을 위해 클릭을 하면서 푼돈을 받는 디지털 삯꾼과 거대 물류 제국의 알고리즘에 장단을 맞추는 아마존 창고의 직원들, 동물 사체를 해체하고 가공하는 시카고의 도축장에서 일하는 노동자들…… 이들은 기업주를 위해 감시와 통제를 강화하는 AI 시스템에 어떻게 적응해나가고 있을까? 인간의 행동을 로봇과 조립 라인 기계의 반복적 동작에 맞추기 위해 시간 관리 메커니즘이 어떻게 작동하는지, 그 문제점이 무엇인지를 꼼꼼하게 짚어봄으로써 노동의 미래가 어떤 모습일 것인가를 가늠해볼 수 있을 것이다.
지구와 인간 노동의 관계를 규정한 추출의 논리는 AI가 데이터를 이용하고 이해하는 방식과도 결부된다. 공개적으로 접근할 수 있는 모든 디지털 자료는 AI 모형을 생성하는 데 이용되는 훈련 데이터 집합을 위해 자유롭게 수집되는데, 이것들은 얼굴 인식, 언어 예측, 대상 탐지 등의 기능을 수행하는 알고리즘을 개선하는 데 쓰인다. 그런데 AI가 데이터를 이용하는 현재의 관행은 개인정보 유출과 감시 자본주의라는 심각한 문제 외에도 적잖은 윤리적ㆍ방법론적ㆍ인식론적 우려를 낳는다. 그중 가장 대표적인 것은 인공지능 시스템에서의 분류 행위이다. 현행 시스템이 어떻게 이분법적 성별, 획일적 인종 구분, 성격과 신용에 대한 미심쩍은 평가 등을 라벨의 주된 바탕으로 삼아 신원을 예측하는지 들여다보고 그 과정에서 AI 시스템이 어떻게 위계를 강화하고 불평등을 증폭하는지 알 수 있다.
AI가 인간의 감정을 어떻게 인식하는지도 중요한 쟁점이다. 심리학자 폴 에크먼 등의 연구 성과를 통해 감정 인식을 둘러싼 여러 주장을 검토하고, 파푸아뉴기니의 산악 마을을 여행하며 감정 인식의 역사를 탐구한다. 아마존, 마이크로소프트, IBM 같은 기술 기업들이 어떻게 감정 탐지 시스템을 설계하고 적용하는지 알아보고, 그에 따른 과학적 논란 및 우려와 부작용 가능성도 살펴본다.
AI 시스템이 어떤 방식으로 국가 권력의 도구로 이용되고 있는지도 이 책의 핵심 내용 중 하나다. 과거와 현재 인공지능의 군사적 활용은 감시, 데이터 추출, 위험 평가 등의 관행을 빚어냈다. 기술 부문과 군사 부문의 밀접한 관계는 강력한 국가주의적 의도에 들어맞도록 통제되고 있다. 한편 정보 부문에서 쓰이던 탈법적 도구들이 군사 분야에서 상업 기술 분야로 전파되어 교실, 경찰서, 직장, 고용지원센터에서 쓰이고 있다. AI 시스템을 빚어낸 군사적 논리는 이제 지방정부 운영의 일부가 되었으며, 더 나아가 국가와 국민의 관계를 왜곡하고 있다.
인공지능이 어떻게 권력 구조의 역할을 하며 하부 구조, 자본, 노동을 결합하는지 제대로 알고 그 대안을 마련하는 것은 우리의 현재, 미래와 직결되어 있다. 교묘하게 통제받는 우버 운전자를 비롯하여 추적당하는 미등록 이민자, 주택 내 얼굴 인식 시스템에 항의하는 공영주택 임차인에 이르기까지 AI 시스템은 자본, 치안, 군사화의 논리에 따라 구축되며 이 조합은 기존의 권력 불균형을 더욱 확대한다. 따라서 AI 시스템이 산업적 추출과 차별이 아니라 정의와 평등을 향해 시급히 새로운 길을 열어야 한다. 기술 우선식 접근법을 거부하고 기저의 불평등과 불의에 맞서는 국가적ㆍ국제적 운동을 확장해야 할 필요성이 제기되고 있으며 노동, 기후, 데이터 정의를 함께 요구해야 한다는 것이다. 이 책은 인공지능이 실제로 어떻게 만들어지고 있는지를 생생하게 들여다보면서 이전의 편향된 인식과 불확실한 기술 낙관주의에서 벗어나 현실적이고 지속 가능한 미래를 그리는 데 큰 도움이 될 것이다.

[추천사]
★ 유려하고 명료하고 심오하다. 이 책은 우리 시대의 고전이다. 인공지능의 사회적ㆍ물질적ㆍ정치적 차원을 해명하여 우리가 신식민주의의 밝고 빛나는 요소들에 현혹되지 않게 한다. _제프리 C. 바우커(캘리포니아 대학교 어바인 캠퍼스 교수)
★ 필독서다. 이 책은 리튬 광산에서 데이터 추출까지, 노동 착취에서 정부 감시까지를 넘나들며 지능이 어떻게 ‘만들어’지는지를 솜씨 좋게 밝혀낸다. 이 책은 ‘윤리’를 촉구하는 무기력한 외침이 아니라 AI로 인해 우려되는 환경 파괴, 자본 축적, 노동 여건에 대한 탐구다. _전희경(사이먼프레이저 대학교 뉴미디어학과 캐나다 150 석좌교수)
★ 능수능란하고 철저한 조사 작업을 통해 고삐 풀린 기술적 팽창을 떠받치는 끔찍한 토대를 묘사한다. 방법론적으로 독창적이고 매우 지적인 이 책은 현재를 이해하는 데 꼭 필요한 지도이며, 독자에게 더 공정하고 지속 가능한 미래를 그리라고 대담하게 촉구한다. _얼론드라 넬슨(사회과학협의회 회장)
★ 인공지능은 기계 속의 유령처럼 세계에 출몰하는 것처럼 보인다. 하지만 알고리즘, 데이터, 하드웨어의 혼합물인 이것은 결코 비물질적인 것이 아니다. 이 책은 AI라는 유령의 실체를 드러낸 빼어난 업적이다. _피터 갤리슨(「아인슈타인의 시계, 푸앵카레의 지도」 저자)
★ 이 책은 인공지능의 역사, 신화, 윤리, 정치를 명민하게 추적하여 AI를 둘러싼 이야기가 AI 시스템을 구성하는 수학 모형 못지않게 필수적임을 상기시킨다. _루하 벤저민(「기술 경주Race After Technology」 저자)
★ 이 책은 AI를 재생산하는 권력관계에 대한 엄밀한 조사이자 그 한계에 대한 필수적 측량이다. 꼭 필요한 책이다. _시몬 브라운(「암흑 물질Dark Matters」 저자)

루시 서치먼(인간-기계 재구성Human-Machine Reconfigurations 저자)
당신이 전문 연구자이든 AI 실무자이든 데이터의 위력 증대를 우려하는 일반 독자이든, 이 책은 AI의 깃발을 따라가며 지구 자원, 노동 주체, 권력관계를 들여다봄으로써 데이터의 제국이 지속 가능하지 않음을 밝혀내는 놀라운 여정이다.

마이크 애너니(서던캘리포니아 대학교 교수)
정치, 노동, 토지, 데이터를 아우르는 기술적 성취와 문화적 약속으로서의 인공지능을 보여주면서, 우리로 하여금 AI의 능력을 실감하면서도 이의를 제기할 수 있도록 독특하고 현실적인 지도를 그려낸다.

조지프 터로(보이스 캐처 저자)
21세기에 데이터가 생성되고 관리되는 과정과 의미, 윤리에 대한 통찰력 넘치는 탐구다. 광산, 서버 팜, 물류 창고, AI 스타트업 등 다양한 분야를 넘나들며, 우리의 시스템이 ‘실패하면 위태롭고 성공하면 해로울’ 정도로 성장한 과정을 생생하게 보여준다

<뉴욕 리뷰 오브 북스>
인공지능은 우리에게 신의 기계적 출현으로 다가오지 않고, 우리가 잘 알지 못하는 많은 인간성을 없애는 추출 관행을 통해 다가온다

<뉴요커>
기계학습 시스템이 훈련되는 데이터의 매혹적인 역사이다

<파이낸셜 타임스>
AI를 둘러싼 과대광고에 대한 가치 있는 비판이자 우리의 미래를 위한 유용한 사용 설명서이다

<월스트리트 저널>
케이트 크로포드는 AI가 물질적이고 편향적이며 우리 자신의 관점과 이데올로기에 종속된다고 열정적으로 주장한다

<사이언스>
인공지능에 대한 광범위한 견해를 바탕으로 한 쓰인 시의적절하고 긴급한 문제 제기이다

프레드 터너(민주적 주변Democratic Surround 저자)
어떤 현실이 중요한가에 대한 인문학자의 시각과 예술가의 감각으로 인공지능을 바라본다. 당신이 AI를 오로지 빅데이터와 기계학습의 문제로 치부한다면 이 경이로운 책은 당신을 일깨워줄 것이다. AI는 자연 세계, 정치, 역사, 때로는, 심지어 아름다움의 문제라고.

<네이처>
AI 성공의 어두운 면을 드러낸다. 꼼꼼하게 조사하고 훌륭하게 써내려간다.

서문
세상에서 가장 영리한 말│AI란 무엇일까?│AI를 지도책으로 보아야 하는 이유│연산의 지형학│추출, 권력, 정치

1 지구
AI를 위한 채굴│연산의 풍경│광물학적 층위│검은 호수와 흰 라텍스│청정 기술이라는 환상│물류의 층위│거대기계로서의 AI
2 노동
작업장 AI의 과거 역사│포템킨 AI와 메커니컬 터크│해체와 작업장 자동화에 대한 구상 : 배비지, 포드, 테일러│시카고의 도축장│시간 관리, 시간 사유화│사적인 시간은 권력의 전략│속도의 무자비한 리듬
3 데이터
기계에 보는 법 훈련시키기│데이터 수요에 대한 짧은 역사│얼굴 포착│인터넷에서 이미지넷으로│동의 따위는 필요 없다│데이터의 신화와 은유│로켓이 어디 떨어지든 무슨 상관이랴│공유재 포획으로 억만장자 되기
4 분류
순환 논증 체계│편향 해소 시스템의 한계│편향에 대한 여러 정의│분류 엔진으로서의 훈련 집합 : 이미지넷의 사례│‘사람’을 정의하는 권력│인종과 성별을 구성하다│측정의 한계
5 감정
감정 예언자 : 감정이 돈이 될 때│세계에서 가장 유명한 관상가│감정 : 관상학에서 사진까지│감정을 포착하다 : 감정을 연기하는 수법│표정은 실제로 감정을 표현하는가│얼굴의 정치학
6 국가
제3차 상쇄 전략│메이븐 계획│국가의 외주화│테러범 신용 점수에서 사회적 신용 점수로│초국가, 국가, 나의 일상
맺음말ㆍ권력
한계를 모르는 게임│AI의 파이프라인│지도는 영토가 아니다│정의를 위한 연대를 향하여
덧붙이며ㆍ우주

ㆍ감사의 말
ㆍ옮긴이의 말
ㆍ주
ㆍ참고문헌
ㆍ찾아보기

데이터 센터는 세계 최대의 전기 소비처 중 하나다. 이 다층적인 기계에 동력을 공급하려면 석탄, 가스, 원자력, 재생에너지 등의 전력이 필요하다. 일부 기업은 대규모 연산의 에너지 소비에 대해 점차 적극적으로 대응하고 있는데, 애플과 구글은 탄소 중립(탄소배출권을 구입하여 자사의 탄소 배출을 상쇄한다는 뜻)을 공언하고 있으며 마이크로소프트는 2030년까지 탄소 네거티브를 실현하겠다고 약속했다. 하지만 사내 직원들은 환경 죄책감을 덜기 위해 면죄부를 살 것이 아니라 총 배출량을 감축하라고 요구했다. 게다가 마이크로소프트, 구글, 아마존은 모두 화석연료 기업들이 땅속에서 연료를 찾아내고 채굴하는 일을 지원하기 위해 자사의 AI 플랫폼, 엔지니어링 인력, 인프라에 대한 이용 권한을 부여함으로써 인류발 기후변화에 가장 큰 책임이 있는 산업을 더욱 육성하고 있다. [1ㆍ지구]에서

이제 고용주는 공장을 직접 둘러보지 않고도 노동력을 감시할 수 있다. 노동자들은 출입증을 긁거나 전자시계에 부착된 판독기에 지문을 갖다 대어 근무시간을 기록한다. 그들의 앞에 놓인 시한장치는 현재 작업을 끝마쳐야 하는 시간을 분이나 초 단위로 표시한다. 노동자의 몸에 달린 센서들은 체온, 동료와의 물리적 거리, 할당 업무 대신 웹사이트 탐색에 쓰는 시간 등을 끊임없이 보고한다. 2019년 나락에 떨어진 협업 공간업계의 거인 위워크(WeWork)는 데이터에서 이익을 창출할 새로운 방법을 모색하며 자사의 업무 공간에 은밀히 감시 장비를 설치했다. 2019년 공간 분석 스타트업 유클리드(Euclid)를 인수했을 때는 유급 회원들의 시설 내 동선을 추적하려는 계획이 아닌가 하는 우려를 자아냈다. 도미노 피자는 주방에 기계 시각 시스템을 설치하여 직원이 지정된 표준에 따라 피자를 만들었는지 확인하기 위해 완성품을 검사한다. 감시 장비를 설치하는 논리는 알고리즘적 일정 관리 시스템에 정보를 입력하거나 고성과나 저성과와 상관관계가 있을 행동 신호를 추려내거나 데이터 중개 업체에 정보로 판매하겠다는 것이다. [2ㆍ노동]에서

기본적으로, 오랜 데이터 축적 관행은 강력한 추출의 논리에 일조했는데, 이 논리는 이제 AI 분야가 작동하는 방식의 핵심 특징이 다. 이 논리는 가장 큰 데이터 파이프라인으로 기술 기업들을 살찌웠으며, 데이터 수집으로부터 자유로운 공간은 처참하게 쪼그라들었다. 버니바 부시가 예견했듯 기계는 먹성이 무지막지하다. 하지만 기계가 무엇을 어떻게 공급받느냐는 그 기계가 세상을 어떻게 이해하는가에 어마어마한 영향을 미치며 기계 주인들의 우선순위는 항상 그 시야에서 어떻게 이익이 산출될 것인가를 만들어낼 것이다. AI 모형과 알고리즘을 형성하고 여기에 정보를 공급하는 훈련 데이터의 층위들을 살펴보면 세계에 대한 데이터를 수집하고 라벨을 붙이는 일이 (순수한 기술적 행위를 가장하지만 실은) 사회적ㆍ정치적 개입임을 알 수 있다. [3ㆍ데이터]에서

자동 감정 탐지 시스템은 현재 널리 도입되고 있으며 채용 분야에서 특히 활발하게 쓰인다. 휴먼(Human)이라는 런던의 스타트업은 감정 인식을 이용하여 입사 지원자의 동영상 면접을 분석한다. 〈파이낸셜 타임스〉의 보도에 따르면 ‘이 회사는 입사 희망자의 감정 표현을 포착하여 성격 특질을 파악할 수 있다고 주장한’다. 그런 다음에야 정직성이나 업무 열정 같은 성격 특질에 대해 점수를 매긴다는 것이다. 골드만삭스, 인텔, 유니레버 등을 고객으로 둔 AI 채용 기업 하이어뷰(HireVue)는 기계학습을 통해 얼굴 단서를 평가하여 사람들의 업무 적합도를 추정한다. 2014년 이 회사는 동영상 취업 면접에서 미세 표정과 어조 등의 변인을 추출하는 AI 시스템을 출시했는데, 이것을 이용하여 입사 지원자를 회사 내 최고 성과자와 비교한다. [5ㆍ감정]에서

정부의 AI 시스템 계약이 대규모로 증가하고 있지만 정부가 이 시스템을 이용하는 과정에서 피해가 발생했을 때 민간 AI 기술업체들이 법적 책임을 져야 하는가의 문제는 거의 주목받지 못했다. 정부가 (치안 체제이든 복지 체제이든) 국가의 의사 결정을 위한 알고리즘 아키텍처의 공급을 도급업체에 의존하는 일이 비일비재한 상황에서 팔란티르 같은 기술 도급업체들이 차별을 비롯한 위법 행위에 책임져야 하는 사례가 발생하고 있다. 현재 대부분의 국가는 조달된 AI 시스템으로 인한 문제에 대해 어떤 책임도 지지 않으려 하며 ‘이해하지 못하는 것에 대해서는 책임질 수 없다’라고 주장한다. 이 말은 상업적 알고리즘 시스템이 유의미한 책임성 메커니즘 없이 정부의 의사 결정 과정에 관여한다는 뜻이다. 나는 법학자 제이슨 슐츠와 함께 정부의 결정에 직접적 영향을 미치는 AI 시스템 개발자가 정부에 소속되어 일정한 맥락에서 헌법적 책임을 져야 한다고 주장했다. 그래야 국가와 마찬가지로 그들에게도 위해에 대한 법적 책임을 지울 수 있다. 그때까지 공급업체와 도급업체는 자신들의 시스템이 역사적 피해를 가중하거나 전혀 새로운 피해를 만들어내지 않도록 할 유인을 거의 느끼지 않을 것이다. [6ㆍ국가]에서