인간의 학습도 그처럼 불투명할 때가 많기 때문이다. 이 문장이 약간 소름 돋았어요. 정말로 AI는 인간에 가깝게(각 인간 개개인이 예측불가한 것처럼) 진화하고 있다는 점에서요.
AI 이후의 세계 함께 읽기 모임
D-29
바둑의 경우가 좋은 사례가 될 거 같아요. 알파고 직전까지만 해도 바둑에는 인간의 직감이 필요하다고 했거든요. 바둑 전략을 설명하는 용어도 ‘두텁다’, ‘기세가 좋다’ 등 모호했습니다. 무엇을 배웠다고 명확하게 말할 수 없는 불투명성이 있었는데, AI가 그런 불투명성 속의 패턴을 깨쳤고 우리는 여전히 그게 뭔지 잘 모릅니다.
“ 제품을 사전에 테스트하는 방식은 업계별로 천차만별이다. 앱 개발자들은 일반적으로 프로그램을 서둘러 출시한 후 결함이 발견될 때마다 신속히 수정하는 반면에, 항공기 제조사들은 철두철미한 테스트를 마치기 전까지 고객을 단 한 명도 항공기에 태우지 않는다. 이처럼 테스트 방식이 다른 이유는 여러 가지인데, 그중에서도 제일 중요한 요인은 업종별로 다른 기본적 위험도다. AI 보급률이 높아지면 그런 요인들(기본적 위험도, 규제, 시장 상황)에 따라 테스트 방식도 업계마다 달라질 것이다. 예를 들어 자동차를 운전하는 AI에는 틱톡 같은 엔터테인 먼트 및 커뮤니케이션용 네트워크 플랫폼을 구동하는 AI보다 훨씬 강한 감독이 요구될 것이다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 3장 튜링의 시대에서 현재로, 그 너머로, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
“ 물론 알고리즘을 고정한다고 해서 AI가 새로운 상황에 직 면했을 때 예상치 못한 행동을 절대로 안 한다는 보장은 없지만 사전 테스트는 가능하다. 그리고 데이터세트 검수로도 AI의 품질을 검사할 수 있다. 예컨대 안면인식 AI가 다양한 데이터세트를 이용해 훈련되는지, 혹은 챗봇의 훈련용 데이터세트에 혐오발언이 포함되진 않았는지 확인함으로써 AI가 가동 단계에서 오작동할 가능성을 줄일 수 있다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 3장 튜링의 시대에서 현재로, 그 너머로, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
평가자가 AI의 생성물에 대한 피드백을 어떻게 하느냐에 따라서 결과가 크게 달라질 것 같네요. ㅎㅎAI의 병(?)을 최소화하려면 끝없이 양산되는 AI산출물에 대한 다면평가가 필수겠어요.
“ 몇몇 네트워크 플랫폼은 서비스 국가에서 일상생활, 정치 논의, 상거래, 기업 운영은 물론이고 정부 행정에도 없어서는 안 되는 요소가 됐다. 네트워크 플랫폼이 제공하는 서비스는 얼마 전까지만 해도 존재하지 않았던 서비스를 포함해 순식간에 필수불가결한 서비스로 등극했다. 네트워크 플랫폼은 동일한 선례가 없었던 만 큼 디지털시대 이전에 형성된 규칙과 규범에서 비켜난 측면이 존재한다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 4장 글로벌 네트워크 플랫폼, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
“ 표면적으로는 대부분의 네트워크 플랫폼이 콘텐츠에 관해 중립적이라고 하지만, 어떤 상황에서는 커뮤니티 표준이 국가의 법만큼 강한 영향력을 발휘한다. 그래서 네트워크 플랫폼과 그 AI가 허용하거나 선호하는 콘텐츠는 순식간에 부상하고, 반대로 플랫폼과 AI가 원치 않거나 노골적으로 금지하는 콘텐츠는 묻힐 수 있다. 허위정보가 포함되는 등 표준을 위반한다고 판정된 콘텐츠는 대중에게로 유통이 사실상 차단된다. 최근에 이런 문제가 급속도로 부각한 이유는 네트워크 플랫폼이(그리고 그 AI가) 디지털 세상에서 지리적 한계를 뛰어넘어 급성장 중이기 때문이다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 4장 글로벌 네트워크 플랫폼, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
“ AI 기반 네트워크 플랫폼이 탄생한 시기는 더욱 최근이다. 그 역사가 10년도 안 됐기에 이 기술을 심도 있게 논하는 데 필요한 기본적 어휘와 개념조차 아직 확립되지 않았고, 이 책의 목표도 바로 그런 빈틈을 메우는 데 기여하는 것이다. 물론 AI 기반 네트워크 플랫폼의 올바른 사업 방식과 그에 적용돼야 할 규제를 놓고 다양한 사람, 기업, 정당, 시민단체, 정부가 다양한 의견을 개진할 것이다. 소프트웨어 엔지니어에게는 자명해 보이는 이치가 정치 지도자에게는 황당하게, 철학자에게는 불가해하게 느껴질 수 있다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 4장 글로벌 네트워크 플랫폼, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
“ 상업적, 기술적 대결에서 상대방을 완전히 타도하는 전면적 승리가 가능하다고 생각하면 오산이다. 그 대신 어떻게 하면 사회가 꾸준히 성공을 구가할지 생각해야 한다. 그러자면 냉전시대에 정치 지도자와 전략 입안자들이 생각하지 못했던 질문에 답해야 한다. 우월성은 어느 정도 선까지가 적당한가? 어느 시점부터 우월성이 성과에 미치는 영향이 무의미해지는가? 양측이 모든 역량을 최대로 발휘하는 위기 상황에서 열등성은 어느 정도 선까지 유효한가? ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 4장. 글로벌 네트워크 플랫폼, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
화제로 지정된 대화
[셋째 주-읽기 미션 2/2]4월 28일까지 달성하기
AI와 전쟁, 국가 안보 이야기만 가득할 줄 알았더니, 저자는 [5장. 안보와 세계질서]의 절반을 핵무기의 발전, 군비경쟁과 통제 이야기에 할애합니다.
왜 저자는 AI이야기에 앞서 '핵무기와 세계정세'를 꼭 되짚어야 했을까요? 어마어마한 파괴력을 지녔기에 주로 억지 및 협박수단으로 쓰였던 핵무기에 비해, 실체가 보이지 않으나 파장은 더 큰 AI무기시스템은 하루가 다르게 발전하며 실제 전쟁수단으로 쓰이고 있습니다.
[5장. 안보와 세계질서]를 읽으며, 저자가 AI와 핵무기를 비교한 부분 중 인상깊은 문장을 1개씩 적어보아요!
“ 지금까지 군민 양용성, 확산성, 강력한 잠재적 파괴력을 모두 갖춘 기술은 없었다. (...) 원자력 기술은 대체로 군민 양용이고 가공할 파괴력을 만들어내지만, 복잡한 인프라가 요구되기 때문에 정부가 비교적 확실히 통제할 수 있다. (...)
AI가 이 패러다임을 깨트린다. AI는 분명히 군민 양용이며 쉽게 확산된다. 기본적으로 컴퓨터 코드에 불과하기 때문이다. 대부분의 알고리즘은 단일한 컴퓨터나 소규모 네트워크에서 구동할 수 있기 때문에 정부가 인프라로 기술을 통제하기 어렵다. 그리고 AI는 막강한 잠재적 파괴력을 만들어낸다. 이처럼 세 가지 속성을 겸비한 이례적 기술이면서 수많은 이해관계자가 존재하기 때문에, AI는 전략적 차원에서 전에 없이 복잡한 고민거리를 만든다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
한 문장을 고르기는 어려워서 세 문장으로 된 대목을 골랐습니다. 읽으면서 오, 그렇구나, 싶었어요.
「이런 사이버 무기의 특성 때문에 사이버 군비통제는 정의하거나 실행하기 어렵다. 핵무기의 위력은 핵 군비통제 협상단이 핵탄두의 존재와 성능을 공개하거나 설명해도 감쇄하지 않았다. 그러나 사이버 군비통제 협상단(아직 존재하지 않는다)은 사이버 무기의 전력을 논함으로써 그 무기가 무력화되거나(상대국이 이제껏 몰랐던 취약성을 해결) 확산될 수 있다는(상대국이 그 무기의 코드나 침투 수단을 복제) 딜레마를 해결해야 할 것이다.」
핵 군비통제까지는 맞아맞아 그랬는데, 사이버 군비통제영역과 비교하니 이보다 거짓말하기 쉬운 영역이 없겠구나 생각이 들었어요. 핵과 다르게 위성으로도 추적이 안되는게 사이버영역일 테니까요
그러게요. 우라늄이나 플루토늄 추적하듯이 원료를 추적할 수도 없고 시설이 핵시설만큼 크지도 않을 테고요.
5장에서 "AI 시대에는 아마 억지가 더욱 어려운 문제가 될 것이다. AI 기반 공격이 다양한 경로로 전개되고 그에 대한 AI의 대응이 가공할 속도로 펼쳐지기 때문이다"라고 번역되었는데 원문에서는 "In this age, deterrence will likely arise from complexity - from the multiplicity of vectors through with an AI-enabled attack is able to travel and from the speed of potential AI responses"라고 써 있습니다. 이건 AI 시대에서는 억지가 어려운 문제가 된다는 의미보다 바로 그 여러 다양한 벡터를 통해 공격이 전달될 수 있고 가공할 속도로 AI 대응이 펼쳐지는 Complexity 그 자체에서 억지가 비롯될 것이라고 보는 게 더 정확할 것 같습니다. 너무 복잡하고 고정할 수 없고 추적 불가하기 때문에 바로 그 복잡성 자체가 함부로 무절제의 AI 기반 공격을 못하게 하는 억지력이 될 것이라고 예상하는 것 같은데요. 번역에서는 그저 억지(DETERRENCE)가 어려울 것이라고 번역되어 있네요.
즉, 핵무기 시대에 핵무기의 가공할 파괴력이 억지력이 된 것처럼 AI 시대에는 파괴력 뿐만 아니라 그 복잡함이 억지력이 될 것이라고 보는 것 같습니다.
그 복잡성 자체가 함부로 무절제의 AI 기반 공격을 못하게 하는 억지력이 될 것이라고 예상하는 것 같은데요-->>와우. 이 문장덕분에 책 내용을 이제야 이해했어요. 감사해요. 책 내용이 왜 이리도 어렵죠. 헥헥대며 읽고 있습니다 ㅎㅎ
“ 요컨대 AI와 관련된 무기 기술이 제기하는 딜레마는 이렇다. 국가가 생존하고 상업적 경쟁력늘 유지하려면 지속적 연구개발이 필수다. 하지만 AI 기술은 기본적으로 확산력이 강해서 현재로서는 각국이 개념적 차원에서조차 그것을 제한하는 합의에 이르기가 어려운 실정이다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
“ 세계질서의 모순은 모든 국가가 당연하게도 국방력을 극대화하려고 노력한다는 점이다. 하지만 지속적 분쟁을 피하려면 각국이 평화를 유지할 책임을 받아들여야 하고, 그러자면 제한을 수용해야 한다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
결국 복잡한 AI여도 제한책이 필요하다는거네요. 최근 이스라엘 전쟁 관련 뉴스에 "이스라엘, 가자지구에 AI로 목표물 조준… “전쟁 AI 활용 시작에 불과하다”라는 타이틀의 기사가 났어요. AI무기시스템 제한책으로 충분한 검증과 공신력을 가진 드론만 전쟁에 투입되도록 하는 국제협약이 있게 될까 잠시 상상해보았어요
“ 현재 페이스북에서 삭제되는 허위 계정과 스팸 게시물은 분기당 10억 건 정도고, 누드·성행위·괴롭힘·착취·혐오발언·약물·폭력에 관련된 콘텐츠도 분기당 수천만 건이 삭제된다. 악성 계정과 콘텐츠를 정확히 식별하고 삭제하려면 보통은 인간 수준의 판단력이 요구된다. 그래서 페이스북은 주로 AI에 의존해서 이용자가 소비해도 되는 콘텐츠와 검토가 필요한 콘텐츠를 식별한다. 왜 자신의 게시물이 삭제되었냐고 항의가 종종 들어오는데 대부분 자동으로 삭제된 경우다. ”
『AI 이후의 세계 - 챗GPT는 시작일 뿐이다, 세계질서 대전환에 대비하라』 4장 글로벌 네트워크 플랫폼, 헨리 A. 키신저 외 지음, 김고명 옮김
문장모음 보기
글타래
화제 모음
지정된 화제가 없습니다