H대 클래식기타 동아리 기술 진보를 걱정하는 “로봇의 지배” 읽기 모임

16일차 (~p.287) 중국의 딥러닝 기술이 사람의 얼굴이나 행동을 인식하는데 집중하고 있음이 명백해지는건 심각한 AI시대의 디스토피아적인 모습을 보여주는 것 같습니다. 위구르지구에서 테스트된 기술이 중국전역으로 퍼져 개개인을 감시하는 수단으로 이용되는 상황... 문제는 더 나아가 특정 개인이 아닌 불특정인을 행동이나 의복으로 민족, 성별, 종교를 구분하고 정부가 규정하는 일정 기준, 예를 들어 이슬람교도가 특정지역의 10%이상이 되거나 3명이상이 모이거나 하는 식의 알고리즘을 운영할 수도 있다는 점입니다. 무단횡단한 사람을 AI가 식별해서 공개적으로 망신을 주는 게 중국의 현실이라니 이게 웃을 일인지 모르겠습니다. 그리고 (요즘 유행하는) 보편적 가치를 중시하지 않는 아랍국가들에 이러한 기술을 수출하고 명백하게 인권탄압적인 내용을 아무런 거리낌없이 드러내어 광고하는 사회를 보면 섬뜩하기도 합니다. 중국에 입국하는 순간 CCTV와 AI와 핸드론 기지국 정보, 신용카드 사용 내역이 함께 버무려져 가공할 통제력으로 나의 일거수 일투족을 통제한다고 생각하면 끔찍한 일입니다.

17일차 (~p.298) 어제는 중국의 AI악용실태를 비판적으로 읽었는데 이는 정부가 적극적으로 개인을 감시하고 통제하기 위한 수단으로 활용하기 때문에 비난 받아 마땅한 것이었습니다. 하지만 그렇게 적극적으로 의도하지는 않더라도 각종 SNS 등 공식적으로 노출된 정보를 분석하는 기술은 이미 미국에서도 활용되고 있다고 책은 소개합니다. 클리어뷰AI라는 회사는 자신들은 해당 정보를 공적인 조직에만 제공한다고 주장했으나 해커들이 회사로부터 빼낸 자료에는 그 고객명단에 일반 기업을 포함하고 있어서 그들의 주장이 얼마나 터무니 없는지, 이러한 데이터의 관리가 얼마나 어려운지, 그리고 이제는 정말 개인정보라는게 있기는 한 건지 암담하기만 합니다. FBI도 미국 성인 인구 절반에 해당하는 1억 1,700만 명의 이미지를 데이터베이스로 관리하고 있다고 합니다. 우리 나라만 해도 곳곳에 설치된 CCTV를 단지 육안으로 특별한 상황의 발생을 감지하는 수단으로만 이용하지는 않을 것 같습니다. (또 우리는 드라마에서 범죄가 발생하고, 현장에서 찍힌 범인의 얼굴을 AI가 분석해서 실시간으로 그가 어디에 있는지를 추적하는 것을 보고 얼마나 감탄을 마다하지 않았던가요?) 아무튼 전체주의 국가에서건 민주주의 국가에서건 (서로 다른 목적이라 하더라도) 개인을 식별할 수 있는 수단이 되는 데이터를 꾸준히 모으고 있다는 점에서 같다고 볼 수 있을 것 같습니다.

d-8 (~p.312) 딥페이크. 훈련을 통해 세상에 없는 상황을 만들어 내는 기술이 이미 우리 곁에 도래했다. 특정인의 발음상 특성, 표헌방식, 목소리를 만들어 내는 로봇의 등장 이런 기술의 도입을 영화의 소재로 끌어오면 이야기의 구조가 허술하단 비난이 인다. 상대를 속이는 것으로 위기의 순간을 너무 쉽게 넘겨 버릴 수 있으니… 하지만 현실의 세계에서 내 앞에 펼쳐지는 영상과 목소리가 실제 내가 아는 사람의 이야기인지 환상인지를 매번 의심하며 살이야할 근미래가 두렵다.

d-7 (~p.319) 딥러닝으로 훈련된 자율 무기가 특정 범주의 인간(예를 들면, 특정지역/종교색이 있는 옷차림/언어...)을 살상하는 미래는 어떨까? 지금까지의 드론은 이를 조정하기 위해 드론 수만큼의 조종사가 필요했지만 이제 인공지능드론은 소수의 사람이 군집단위로 드론을 조종할 수 있고, 이에 따른 해악이 적지않다. 사람을 죽이는 것과 관련한 판단을 로봇이 스스로 한다면 이는 도덕적으로 수용가능할까? 전장에서 목표물을 잘못 판단하여 실수가 발생하는 경우 책임은 누가 질 수 있을까?

d-6 (~p.326) 인공지능을 이용하여 얼굴인식기술로 국민을 통제하는 중국, SNS등 공개된 정보를 모아 특정인을 찾아내는 기술을 상용화한 미국(그러나 공공기관에만 제공한다던 서비스는 일반 기업에도 제공이 되었고), 또 한편에선 특정인의 영상을 만들어내고 음성을 만들어내는 딥페이크까지... 인공지능의 시대가 도래가 가져온 여러가지 디스토피아적인 두려움도 함께 도래한 상황에도 본질적인 위험 하나를 더 소개한다. 인공지능의 특성상 기존에 사람들이 해오던 분류의 결과를 딥러닝의 과정을 통해 처리하다보니 기존에 사람이 하던 편향이 그대로 인공지능에 인식되고 더 확대되는 문제다. 왜 이런 결과가 나오게 되었는지 인공지능의 러닝과정을 제대로 공개하고 검증하지 못한다면.... 특히 그 문제가 대학입학을 위한 지원서나 입사지원서, 혹시 형사상 유무죄나 보석허가 여부를 가리는 문제라면... 소수인종이나 여성이라는 이유로 배제되는 상황은 기존 러닝 데이터에서 다룬 데이터량의 차이에서 기인하는 일이 많기 때문에 이에 대한 적절한 보완은 필수적으로 요구된다. 제대로 준비해 갈 수 있을까?

d-5 (~p.349 完了) 초반 스케줄을 빡빡하게 잡아서 지난 주 끝나는 일정이었지만 또 그런 이유로 주 후반부에 다소 느슨해져서 무리하지 않고 일부를 이번 주로 이월하여 읽었습니다. 인공지능으로 얼굴인식기능을 강화하여 국민을 통제하려는 시도, 공개된 자료로 특정 개인의 위치를 찾아내는 서비스(해당 서비스가 공권력에 의해 통제되지 않고 상업적으로도 활용가능한 상황의 도래), 편향된 데이터로 학습된 인공지능의 편향성 강화와 이에 대한 적절한 감독의 부재 등등의 인공지능의 도래로 인한 여러가지 폐해를 들여다 봤지만 무엇보다 인류에 위협이 되는건 초지능의 도래라고 합니다. 우리는 90년대부터 이런 상황을 영화(ex. 터미네이터)를 통해 봐왔습니다. 이에 대해 어떤 이는 너무 먼 이야기라 걱정할 단계가 아니고 초지능이 가져올 상황을 예측하는 것부터 불가능하다고 이야기합니다. 반대로 초지능이 일단 도래하면 인간은 통제력을 잃기때문에 어떻게든 초지능이 도래하기 전에 통제 문제를 해결해야 한다는 주장도 있습니다. 초지능이 가져올 통제불능상황에 대해 이 업계에서 '종이클립극대화'라는 사고실험이 있다고 합니다. 클럽 생산 최적화라는 구체적인 목표를 위해 설계된 초지능을 가정할 수 있는데 끊임없이 목표를 추구하던 이 초지능이 결국에는 지구의 모든 자원을 클립으로 바꿀 수 있는 기술을 발명할 수 있는데 인간이 이를 제지하려고 해도 이미 초지능(인간보다 지능이 높은 상황)은 종이 클립의 생산 극대화의 목표를 위해 인간의 간섭도 쉽게 저지할 수 있는 상황이라고 합니다. 사용자의 참여(구독, 좋아요, 다운로드, 시청 등)가 매출에 직결되는 페이스북이나 유튜브가 생존하는 방식도 이와 비슷합니다. 이러한 알고리즘이 추구하는 바는 사용자의 참여이고 결국 알고리즘은 정치적으로 양극화된 콘텐츠를 제공하는 것이라는 것을 파악하게 됩니다. 이미 끔찍 직전입니다. 인간이 주도하는 기술 발전은 수 년 전에 이미 정체기에 돌입한 상황이고, 이를 돌파할 수 있는 거의 유일한 방법은 인공지능의 활용일 것이지만 이로 인해 모든 인류가 노동에서 해방되어 하기 싫은 일들을 하지 않고도 지적으로 성숙하 문화인들로 살아가는 유토피아가 될 수 있도록 사회안전망(저자는 일단 기본소득의 도입을 강하게 주장합니다.)을 준비해야 하는 상황입니다. 하지만 인간의 욕심이 이와는 반대로 인공지능을 소유한 소수와 그 밖의 다수로 나뉘는 사회도 걱정해야할 판입니다. 직업을 찾지 못하고, 삶의 의욕을 잃은 이들이 찾는 곳... 대안 현실을 찾는 상황은 이미 사회문제이고 인공지능의 광범위한 도입은 이를 걱정하지 않을 수 없을 것 같습니다. 인공지능을 선용할 수 있는 현자들의 시대가 오기를 바라며 이 책의 일독을 마칩니다.