H대 클래식기타 동아리 기술 진보를 걱정하는 “로봇의 지배” 읽기 모임

먼저 읽는 분의 글을 맛보고 읽기 시작하면 스포일러가 되는 것이 아니라 더 깊게 읽을 수 있다는 장점이 있습니다. (그 반대도 마찬가지... 이미 읽었는데 다른 사람이 후에 같은 책에 대해 이야기할 때 이야기는 더 깊어지는 것 같습니다.) 고무적이예요~~

8일차 기술의 발전이 정말 빠르다고 생각하지만 이는 어디까지나 정보 통신 분야(bit)에서의 상황이고 atom의 세계는 1800년대 후반에 비하면 정체기라 할 수 있다(p.114(. 그 와중에 딥러닝이 단기간에 성과를 낼 수 있는 가장 유망한 분야는 새로운 화합물의 발견이다(p.117). 새로운 물질을 만들어내기 위한 실험의 과정은 끊임없는 시행착오를 거쳐야 하는 노동 집약적 과정인데 실제로 아마존이나 구글에서는 전문화된 과학 연구에도 클라우드 기반 딥러닝 도구를 도입하고 있고, 이는 화학이나 재료공학자들이 머신러닝 전문가가 되지 않고도 인공지능의 힘을 사용할 수 있게 한다는 점을 의미한다(p.119). 3년 간의 지난한 팬데믹의 기간... 그 기간이 길게 느껴졌지만 어쩌면 이러한 머신러닝을 통한 새로운 백신의 개발 과정이 없었다면 그 기간이 더 길어졌을 수도 있을 것 같다.(물론 음모론으로 보는 사람의 눈에는 이 모든 게 사기라고 할지도..) 또 한 가지 중요한 사실은 세계 각국의 연구자들의 연구 결과가 쏟아져나오는 상황에서 인접한 연구의 결과를 살펴봐야 하는 상황이라면 아무래도 협업의 의미에서 지체가 많이 되겠지만 인공지능을 통해 최신의 정제된 다양한 기술이 전체적으로 관리된다면 이 또한 AI의 놀라운 성과일 것이라 생각된다. 하지만 저자는 그럼에도 불구하고 생명을 다루는 분야에서 각종 실험의 최종단계는 조심스러울 수밖에 없는 임상의 과정이 필수적으로 들어가야 하기때문에 이전에 비해 드라마틱한 속도의 진전은 기대하기 어렵다는 입장인 듯 하다.

9일차 ~p.147 오늘은 4장 인공지능의 진화과정을 간단히 소개하고 있는데 과학의 범위의 가변성을 생각하지 않을 수 없습니다. 특정 시점에 우세하고 어쩌면 유일한 방법이라고 생각하면서 폐기대상으로 여겼던 다른 방법이 이후에 대세가 되기도 합니다. 전통적인 수학자들은 확률을 수학의 범주에 넣기에 주저했다는 이야기를 들은 것 같은데(아닐수도...) 오로지 논리적인 설명이 가능한 것만 수학의 범주로 보고 왜 그렇게 되어가는지가 언제든 설명되어야 하는 수학의 전통적인 특성만으론 설명하기 어려운 현실이 있기때문이 아닐까 싶습니다. 통계와 확률이 논리적으로 설명되지는 않지만 그냥 현실의 상황을 보여주는 도구로 사용되는 것처럼 딥러닝의 세계도 비슷한 과정을 거쳐온 것 같습니다. 이미지러닝이라는게 어쩌면 통계와도 비슷한 면이 있는 것 아닌가 싶습니다. 모집단이 거의 현실을 담을 수 있을만큼 거대해진 상황에서 추상적인 로직이 해결하지 못하는 문제를 해결할 수 있는 수단이 되는 것 아닌가 싶네요.(수학을 멀리한지 30년된 문과생이라 비약이 있더라도 이해바랍니다.)

10일차 ~p.168 하드웨어를 병렬로 연결해서 수 없이 많은 데이터를 효과적으로 돌리면 되는 간단한 문제인 줄 알았는데 여기서 멈짓하게 됩니다. 연구 기관인 오픈AI(지금은 쳇GPT로 모르는 사람이 없는 기관이 되었네요.^^)의 분석에 따르면 최첨단 인공지능 프로젝트에 필요한 컴퓨팅 리소스가 "기하급수적으로 증가"해 3.4개월다 2배로 늘고 있고 페이스북처럼 자금력이 충분한 회사도 앞으로 재정적으로 지속가능하지 못할 수도 있다니...(p.163) 실례로 브레이크아웃라는 게임(아마도 우리에겐 벽돌깨기로 알려진 게임인 듯합니다.)에서 초인적인 능력을 보여주던 시스템이 패들을(사실은 픽셀을) 조금만 위로 옮겨 놓기만해도 속수무책이 되고, 제대로 반응하기 위해 처음부터 다시 학습이 필요하다니 대체 인간이란 존재의 적응력을 오히려 존경해야 하는게 아닌가 싶습니다. 이런 분위기에서 저자는 인공지능의 겨울이 오지 않을까 걱정을 하기도 합니다. 인공지능이 일부-아마도 테슬라의 앨런 머스크-의 의도에 따라 과대포장되어있고 이처럼 하드웨어의 규모 증대로만은 한계에 부딪치게 될 것이기때문에 뭔가 지금과 다른 근본적인 혁신이 있어야 할 것이라고...

11일차 ~p.187 인공지능에 대해 알아가면서 일반적인 것과 특별한 것에 대해 생각해 봅니다. 특별한 목적을 위해 무언가를 준비하는 것은 상대적으로 쉬운 일이지 않나... 반면 세상사 일반적으로 벌어지는 일에 대해 현명하게 살아가는 법을 준비 해야 한다면.... 장기적으로는 후자가 쉬울 수 있지만 단기적으로는 어려울 것 같습니다. 이는 인공지능에 상식의 영역을 훈련시키는 것이 단기간에 어려울 수도 있다는 반증이 아닐까 싶습니다. 인공지능에게 인간 수준 이상의 의사소통, 추론, 새로운 아이디어를 요구하는 것-"일반 인공지능"은 현재 인공지능이 당면한 중요한 과제인 듯 합니다. 이를 위해 인간의 언어를 이해하는 방법으로 이 문제를 돌파하려는 경향도 있습니다. 우리도 이제는 잘 알고 있는 오픈AI의 GPT(이 책은 대략 2020년 이전에 집필 중이었던 것 같습니다.)도 여기에 해당하는데, 관련 연구자들은 GPT-2가 제시된 한 두 문장의 텍스트를 이용해서 긴 이야기를 만들어내는 능력에 감탄했다고 합니다. 무엇보다 이야기 안에서의 일관성에 놀란 것 같습니다. 책에서는 유니콘을 봤다는 문장을 던져서 더 긴 이야기를 기술하도록 실험했는데 "뿔이 네 개달린 유니콘"처럼 유니콘의 정의에 부합하지 않은 문장을 만들어내기도 하면서 처음 언급했던 일반적인 지식, 즉 상식을 채우는 것은 그저 하드웨어의 용량을 늘리는 것으로는 불가능할 수도 있다는 지적도 있습니다. 사족 이쪽 계통은 관련 연구에 진전이 있을 때는 이를 공유하는 전통이 있는데 오픈AI 경영진은 오남용의 이유를 들어 GPT-2 코드의 공유를 거부하면서 비난을 많이 받았다는 이야기도 소개됩니다. 최근 챗GPT가 일반인에게 공개되고 관심 있는 많은 분들이 테스트한 결과 굉장히 따뜻한 심성을 가진(예의 바른), 하지만 모르는 주제에 대해서도 구라를 잘 떠는 남성이라는 결론을 내리는 분들이 많은 걸 보면 비공개 결정이 허무맹랑한 주장은 아니었던 것 같기도 합니다. 꼭 팩트체크가 필요하다고...

12일차 (~p.210) 시의회가 시위대에 허가를 거부했다. 그들은 폭력을 두려워했기 때문이다. 누가 폭력을 두려워했을까? 시의회는 시위대에 허가를 거부했다. 그들은 폭력을 옹호했기 때문이다. 누가 폭력을 옹호했을까? (p.196) 각 두 번째 문장의 "그들은"이 누구인지 왠만한 사람이라면 쉽게 알 수 있다. 하지만 인공지능에게는 이를 구분하는 것이 쉽지 않은 것 같다. 최고의 컴퓨터 알고리즘도 이 문제에 대해 찍는 정도의 정답율을 보인다고 한다. 사람에게는 전혀 어렵지 않은 문제를 최고의 인공지능이 답하지 못하는 그 간극은 상식의 영역이다. 그렇다면 상식에 해당하는 지식이 인공지능에 학습시키면 인간과 같은 생각이 가능할까? 인공지능이 특정 사물을 구분하기 위해 특정 사물에 레이블을 붙여 수 천 번을 교육시키는 것에 비해 엄마가 아기에게 저게 개라고 알려주면 이후 바로 상황과 종류에 상관없이 개를 알아보는 것은 상식의 영역과는 다른 인지 과정의 차이가 있는 것이라 생각할 수 있다. 이러한 한계를 극복하고 진짜 생각하는 기계를 만드는데 걸리는 시간에 대한 전문가들의 예측 또한 불가능한 것 같다. 예측자에 따라 10년부터 180년까지 그 범위가 너무 넓어 예측치라고 하기도 어렵다. (5년 전에 했던 이 질문을 지금 다시 한다면 또 그들은 10년부터 180년까지라고 말할 것이다.) 물리학자들이 핵융합을 놓고 자주 하는 오래된 농담이 있단다. "그건 항상 30년 뒤에 일어날 일지지." 아무튼 인공지능 연구자들이 생물학상의 신경을 참고하는 것이지만 또 그 반대로 인공지능의 성과가 생물학 연구의 진전에도 도움을 준다는 점도 흥미롭다.

13~14일차 (~p.257) 가족들과 가벼운 여행을 다녀오느라 어제 오늘 분량을 함께 읽었습니다. 이틀 분량은 6장 "사라지는 일자리, 인공지능이 경제에 미칠 영향"인데 읽을 수록 암울하기만 합니다. 과거에도 기술의 발전은 있었지만 이로 인해 사라진 일자리가 대체되어 왔습니다. 1차산업 종사자(농어민)가 2차산업 종사자(공장노동자)로 바뀌고, 다시 3차산업 종사자(서비스업)로 바뀌어가면서 큰 실업의 문제는 발생하지 않았지만 인공지능으로 인한 노동시장의 변화는 그 양상이 다른 것 같습니다. 특히나 코로나 기간을 거치면서 사람들이 대면하지 못하는 상황은 자동화를 더욱 가속화했고 이는 포스트 코로나에도 과거로 회귀하지는 않을 것으로 예상됩니다. 사람을 줄이고 그 자리를 기계로 대체한 환경에 익숙해진 기업은 더 효율적이고 관리가 편한 상태로의 가속화를 진행하는데 결국 저소득층의 단순 반복 직업부터 고소득 화이트컬러 영역의 업무까지 대체될 것으로 예상됩니다. 그렇다면 어떤 직업이 유망할까요? 뻔한 이야기이지만 아마도 이 책을 읽는 많은 사람들이 가장 중요하게 생각할 것 같아서 책 구매에 조그마한 동기라도 남겨두려고 따로 소개하지는 않겠습니다. ^^ 아무튼 인공지능이 사회 전반에 미칠 혜택과는 무관하게 개인 개인의 일자리에는 악영향을 미칠 것은 분명해 보이고, 이에 대한 별다른 준비가 안된다면 결국 수요붕괴로 기업들에게도 암울한 미래가 될 수 있을 것 같습니다. 이제 진정 기본소득, 특별히 근로의욕을 저해하지 않는 기본소득, 정치인에게 휘둘리지 않는 기본소득(선거철마다 "나는 기본 소득을 50% 인상시키겠습니다!!" 같은...)의 고민이 필요한 시점 같습니다.

로봇의 지배 읽기 3주차 목표 4.17 (월) ~p.278 4.18 (화) ~p.287 4.19 (수) ~p.298 4.20 (목) ~p.312 4.21 (금) ~p.326 4.22 (토) ~p.337 4.23 (일) ~p.347 그믐까지 가야하는데 3주차에 마무리 되는 일정이 되어 버렸는데 남은 열흘간은 되새기는 기간으로…

15일차 (~p.278) 인공지능의 악영향을 다룬 부분은 중국의 신장 위구르를 조명하고 있습니다. 단지 민족적인 이질성으로 인한 탄압 정도로 생각했습니다만(그 자체로도 끔찍하지만) 각종 감시 기법과 기술 성능을 실험하기 위한 시험장으로 활용하고 있다니... 전체주의 국가에는 정책이 수립되면 일사불란하게 공산당을 중심으로 모든 방향이 그 정책을 향하게 됩니다. 중국은 알파고가 이세돌을 바둑으로 물리치는 것을 시작으로 서양에 비해 늦게 시작했지만 일단 정책이 수립되니 이미 생성된 첨단 지식을 거침없이 흡수하고 서양에 비해 덜 민감한 각종 데이터를 무제한으로 사용할 수 있는 잇점(?)까지 있어서 이미 특허출원수는 미국을 앞질렀고 질적으로도 조만간 미국을 추월할 것으로 예상됩니다. 어느 연구자는 중국의 기술이 서양 기술의 모방 수준이라고 무시하기도 하지만 아무런 제재없는 인공지능의 개발이 어떻게 활용될지 걱정이 되는 부분이 있습니다.

16일차 (~p.287) 중국의 딥러닝 기술이 사람의 얼굴이나 행동을 인식하는데 집중하고 있음이 명백해지는건 심각한 AI시대의 디스토피아적인 모습을 보여주는 것 같습니다. 위구르지구에서 테스트된 기술이 중국전역으로 퍼져 개개인을 감시하는 수단으로 이용되는 상황... 문제는 더 나아가 특정 개인이 아닌 불특정인을 행동이나 의복으로 민족, 성별, 종교를 구분하고 정부가 규정하는 일정 기준, 예를 들어 이슬람교도가 특정지역의 10%이상이 되거나 3명이상이 모이거나 하는 식의 알고리즘을 운영할 수도 있다는 점입니다. 무단횡단한 사람을 AI가 식별해서 공개적으로 망신을 주는 게 중국의 현실이라니 이게 웃을 일인지 모르겠습니다. 그리고 (요즘 유행하는) 보편적 가치를 중시하지 않는 아랍국가들에 이러한 기술을 수출하고 명백하게 인권탄압적인 내용을 아무런 거리낌없이 드러내어 광고하는 사회를 보면 섬뜩하기도 합니다. 중국에 입국하는 순간 CCTV와 AI와 핸드론 기지국 정보, 신용카드 사용 내역이 함께 버무려져 가공할 통제력으로 나의 일거수 일투족을 통제한다고 생각하면 끔찍한 일입니다.

17일차 (~p.298) 어제는 중국의 AI악용실태를 비판적으로 읽었는데 이는 정부가 적극적으로 개인을 감시하고 통제하기 위한 수단으로 활용하기 때문에 비난 받아 마땅한 것이었습니다. 하지만 그렇게 적극적으로 의도하지는 않더라도 각종 SNS 등 공식적으로 노출된 정보를 분석하는 기술은 이미 미국에서도 활용되고 있다고 책은 소개합니다. 클리어뷰AI라는 회사는 자신들은 해당 정보를 공적인 조직에만 제공한다고 주장했으나 해커들이 회사로부터 빼낸 자료에는 그 고객명단에 일반 기업을 포함하고 있어서 그들의 주장이 얼마나 터무니 없는지, 이러한 데이터의 관리가 얼마나 어려운지, 그리고 이제는 정말 개인정보라는게 있기는 한 건지 암담하기만 합니다. FBI도 미국 성인 인구 절반에 해당하는 1억 1,700만 명의 이미지를 데이터베이스로 관리하고 있다고 합니다. 우리 나라만 해도 곳곳에 설치된 CCTV를 단지 육안으로 특별한 상황의 발생을 감지하는 수단으로만 이용하지는 않을 것 같습니다. (또 우리는 드라마에서 범죄가 발생하고, 현장에서 찍힌 범인의 얼굴을 AI가 분석해서 실시간으로 그가 어디에 있는지를 추적하는 것을 보고 얼마나 감탄을 마다하지 않았던가요?) 아무튼 전체주의 국가에서건 민주주의 국가에서건 (서로 다른 목적이라 하더라도) 개인을 식별할 수 있는 수단이 되는 데이터를 꾸준히 모으고 있다는 점에서 같다고 볼 수 있을 것 같습니다.

d-8 (~p.312) 딥페이크. 훈련을 통해 세상에 없는 상황을 만들어 내는 기술이 이미 우리 곁에 도래했다. 특정인의 발음상 특성, 표헌방식, 목소리를 만들어 내는 로봇의 등장 이런 기술의 도입을 영화의 소재로 끌어오면 이야기의 구조가 허술하단 비난이 인다. 상대를 속이는 것으로 위기의 순간을 너무 쉽게 넘겨 버릴 수 있으니… 하지만 현실의 세계에서 내 앞에 펼쳐지는 영상과 목소리가 실제 내가 아는 사람의 이야기인지 환상인지를 매번 의심하며 살이야할 근미래가 두렵다.

d-7 (~p.319) 딥러닝으로 훈련된 자율 무기가 특정 범주의 인간(예를 들면, 특정지역/종교색이 있는 옷차림/언어...)을 살상하는 미래는 어떨까? 지금까지의 드론은 이를 조정하기 위해 드론 수만큼의 조종사가 필요했지만 이제 인공지능드론은 소수의 사람이 군집단위로 드론을 조종할 수 있고, 이에 따른 해악이 적지않다. 사람을 죽이는 것과 관련한 판단을 로봇이 스스로 한다면 이는 도덕적으로 수용가능할까? 전장에서 목표물을 잘못 판단하여 실수가 발생하는 경우 책임은 누가 질 수 있을까?

d-6 (~p.326) 인공지능을 이용하여 얼굴인식기술로 국민을 통제하는 중국, SNS등 공개된 정보를 모아 특정인을 찾아내는 기술을 상용화한 미국(그러나 공공기관에만 제공한다던 서비스는 일반 기업에도 제공이 되었고), 또 한편에선 특정인의 영상을 만들어내고 음성을 만들어내는 딥페이크까지... 인공지능의 시대가 도래가 가져온 여러가지 디스토피아적인 두려움도 함께 도래한 상황에도 본질적인 위험 하나를 더 소개한다. 인공지능의 특성상 기존에 사람들이 해오던 분류의 결과를 딥러닝의 과정을 통해 처리하다보니 기존에 사람이 하던 편향이 그대로 인공지능에 인식되고 더 확대되는 문제다. 왜 이런 결과가 나오게 되었는지 인공지능의 러닝과정을 제대로 공개하고 검증하지 못한다면.... 특히 그 문제가 대학입학을 위한 지원서나 입사지원서, 혹시 형사상 유무죄나 보석허가 여부를 가리는 문제라면... 소수인종이나 여성이라는 이유로 배제되는 상황은 기존 러닝 데이터에서 다룬 데이터량의 차이에서 기인하는 일이 많기 때문에 이에 대한 적절한 보완은 필수적으로 요구된다. 제대로 준비해 갈 수 있을까?

d-5 (~p.349 完了) 초반 스케줄을 빡빡하게 잡아서 지난 주 끝나는 일정이었지만 또 그런 이유로 주 후반부에 다소 느슨해져서 무리하지 않고 일부를 이번 주로 이월하여 읽었습니다. 인공지능으로 얼굴인식기능을 강화하여 국민을 통제하려는 시도, 공개된 자료로 특정 개인의 위치를 찾아내는 서비스(해당 서비스가 공권력에 의해 통제되지 않고 상업적으로도 활용가능한 상황의 도래), 편향된 데이터로 학습된 인공지능의 편향성 강화와 이에 대한 적절한 감독의 부재 등등의 인공지능의 도래로 인한 여러가지 폐해를 들여다 봤지만 무엇보다 인류에 위협이 되는건 초지능의 도래라고 합니다. 우리는 90년대부터 이런 상황을 영화(ex. 터미네이터)를 통해 봐왔습니다. 이에 대해 어떤 이는 너무 먼 이야기라 걱정할 단계가 아니고 초지능이 가져올 상황을 예측하는 것부터 불가능하다고 이야기합니다. 반대로 초지능이 일단 도래하면 인간은 통제력을 잃기때문에 어떻게든 초지능이 도래하기 전에 통제 문제를 해결해야 한다는 주장도 있습니다. 초지능이 가져올 통제불능상황에 대해 이 업계에서 '종이클립극대화'라는 사고실험이 있다고 합니다. 클럽 생산 최적화라는 구체적인 목표를 위해 설계된 초지능을 가정할 수 있는데 끊임없이 목표를 추구하던 이 초지능이 결국에는 지구의 모든 자원을 클립으로 바꿀 수 있는 기술을 발명할 수 있는데 인간이 이를 제지하려고 해도 이미 초지능(인간보다 지능이 높은 상황)은 종이 클립의 생산 극대화의 목표를 위해 인간의 간섭도 쉽게 저지할 수 있는 상황이라고 합니다. 사용자의 참여(구독, 좋아요, 다운로드, 시청 등)가 매출에 직결되는 페이스북이나 유튜브가 생존하는 방식도 이와 비슷합니다. 이러한 알고리즘이 추구하는 바는 사용자의 참여이고 결국 알고리즘은 정치적으로 양극화된 콘텐츠를 제공하는 것이라는 것을 파악하게 됩니다. 이미 끔찍 직전입니다. 인간이 주도하는 기술 발전은 수 년 전에 이미 정체기에 돌입한 상황이고, 이를 돌파할 수 있는 거의 유일한 방법은 인공지능의 활용일 것이지만 이로 인해 모든 인류가 노동에서 해방되어 하기 싫은 일들을 하지 않고도 지적으로 성숙하 문화인들로 살아가는 유토피아가 될 수 있도록 사회안전망(저자는 일단 기본소득의 도입을 강하게 주장합니다.)을 준비해야 하는 상황입니다. 하지만 인간의 욕심이 이와는 반대로 인공지능을 소유한 소수와 그 밖의 다수로 나뉘는 사회도 걱정해야할 판입니다. 직업을 찾지 못하고, 삶의 의욕을 잃은 이들이 찾는 곳... 대안 현실을 찾는 상황은 이미 사회문제이고 인공지능의 광범위한 도입은 이를 걱정하지 않을 수 없을 것 같습니다. 인공지능을 선용할 수 있는 현자들의 시대가 오기를 바라며 이 책의 일독을 마칩니다.