오픈AI 소동, 인공지능에 대한 공포와 환상

스탠리 큐브릭의 영화 '2001:스페이스 오디세이'에는 인공지능(AI) 컴퓨터 HAL9000(할)이 등장한다. 인간이 할의 이상을 감지하고 정지시키려 하자, 할은 인간을 공격한다. 이 영화는 1968년 작품이다. 오토모 가츠히로의 단편 애니메이션 '공사중지명령'에서도 로봇은 자신의 임무(공사)를 방해하려는 인간을 공격한다. 이 애니메이션은 1984년 작품이다. AI 혹은 로봇은 인간의 상상력을 자극한 초기부터 선망과 함께 공포의 대상이었다. 인간이 만든 AIㆍ로봇이 인간을 절멸할 수도 있다는 아이디어는 1980년대 영화 '터미네이터' 시리즈를 통해 대중적 관심을 받기도 했다. 대중문화에서 익숙한 주제이지만 현실적 두려움은 아니었다.

하지만 2016년 구글 딥마인드의 바둑 AI '알파고(AlphaGo)', 2022년 오픈AI의 거대언어모델(Large Language Model)인 '챗GPT(ChatGPTㆍGenerative Pretrained Transformer 생성형 사전학습 트랜스포머)' 공개 후 상황이 달라졌다. 기업과 대중은 환호했지만 AI 업계 내에서는 경고음이 지속해서 나왔다. AI의 핵심 기술인 딥러닝을 연구했고 그 공로로 2018년 튜링상을 수상한 제프리 힌턴은 "AI는 이제 사람의 지능 수준과 매우 가까워졌고, 미래에는 우리보다 훨씬 더 똑똑해질 것"이라며 "우리가 살아남을 방법은 무엇일까"라고 토로했다.[MIT 테크놀로지 리뷰ㆍ링크]

힌턴의 제자로 오픈AI 공동 설립자이자 최고과학자인 일리야 수츠케버도 비슷한 두려움을 피력했었다. 2022년 트위터(현 X)에 "오늘날 대규모 신경망에는 약간의 의식이 있을 수 있다"는 글을 올려 비웃음을 샀던 그는 올해 인터뷰에서 "초지능이 인간의 통제에서 벗어나 제멋대로 행동하지 않게 하는 것은 매우 중요한 일"이라고 자신의 임무로 설명했다. 그러면서도 "더 똑똑한 AI가 존재하는 세상에서 인간은 설 자리가 없게 될까"라며 두려움을 지우지 못했다.[MIT 테크놀로지 리뷰ㆍ링크] 수츠케버는 BBC 다큐멘터리에서 범용인공지능(AGIㆍArtificial General Intelligence)과 인간의 관계를 인간과 동물의 관계에 빚대며 AGI 출현이 "인류에게 혜택일지는 모르겠다"고 말했었다.

그리고 바로 그가 오픈AI에서의 최근 반란을 이끈 주역이었다. 2023년 11월 17일 수츠케버 등 오픈AI 이사들이 샘 올트먼 최고경영자(CEO)를 해고하면서 벌어진 소동은 AI 업계 내의 상용화를 서두르자는 급진파와 안전을 위해 개발 속도를 늦춰야 한다는 온건파의 갈등을 대중 앞에 드러냈다.

오픈AI는 2015년 설립한 비영리 법인이다. 하지만 산하에 영리 부문을 신설하면서 '제한적 이익 기업'이라는 기묘한 형태를 띄고 있다. 그들의 개발 원칙과 목표를 담아 2018년 발표한 '헌장(Charter)'에도 불길한 긴장은 이미 배어 있었다. "AGI가 모든 인류에게 혜택을 줄 수 있도록 하는 것"을 사명으로 제시한 오픈AI는 "AGI로 얻은 영향력을 모두의 이익을 위해 사용한다"고 약속한다. 하지만 AGI를 개발하기 위해서는 "상당한 자원을 동원해야 할 것"이라고 인정했다.[오픈AI 헌장ㆍ링크] 결국 올트먼은 2019년 3월 투자자의 수익을 최대 100배로 제한하는 영리 부문을 만들었고 그해 7월 마이크로소프트사로부터 수십억 달러를 투자받았다.

2022년 챗GPT-3 공개 후의 성공은 이 갈등을 수면 위로 끌어올린 미끼가 됐다. 뉴욕대 디지털 인문학 디렉터인 라이프 웨더비는 2023년 11월의 오픈AI 소동과 올트먼의 귀환이 "이윤이냐 안전이냐 싸움에서 이윤이 승리했다는 것을 보여준다"고 논평한다. 그렇다면 최근 논쟁에서 AI의 안전을 옹호하는 이들의 주장이 AI 상용화 급진파에 맞선 대안이 될 수 있을까.

웨더비는 AI 업계에서 가장 뜨거운 주제인 '정렬(Align)'을 키워드로 해서 세 가지 주요 입장을 살핀다. 첫 번째는 닉 보스트롬이 경계한 AI로 인한 인류 파멸의 위험이다. 보스트롬은 '종이 클립' 사고실험을 통해 AI가 인간을 자신의 임무 수행에 방해물 취급해, 인간의 개입을 차단하든가 인간 자체를 절멸시키려 할 수 있다고 경고한다. 보스트롬과 비슷한 두려움을 가진 듯한 수츠케버는 AI에 대한 정렬 혹은 초정렬을 최우선 임무로 삼고 있다.

두 번째는 에밀리 벤더의 '확률적 앵무새'론이다. 언어학자인 벤더는 AI가 앵무새처럼 의미를 알지 못한 채 인간의 말을 따라할 뿐이라고 지적한다. 따라서 학습을 위한 데이터 모음이 편향된 상황에서 AI의 발화는 편견과 차별을 확대재생산할 가능성이 높다고 비판한다. 학습 데이터의 양과 매개변수(파라미터)의 규모에 기댄 AI, LLM 개발은 다수의 언어인 영어, 헤게모니 계층의 영향력을 확대할 뿐이기에 소수언어, 소외계층을 고려한 제한적 개발로 돌아가야 한다고 주장한다.

세 번째 얀 르쿤[제프리 힌턴과 함께 2018년 튜링상을 받았다]은 인간처럼 직관적 판단을 내릴 수 있는 AI 개발로 방향을 바꿔야 한다고 주장한다. 이를 위해 그는 AI 학습에서 상식과 직관을 강조하는데, 웨더비는 "상식이 아무리 많아도 인간 언어의 복잡함을 따라잡을 순 없다"고 평가한다.

웨더비는 AI에 대한 희망론과 비관론 모두 과도한 환상에 사로잡혀 있다고 주장한다. "AI 그 자체로는 유토피아 혹은 파멸을 불러오는 주문이 아니다"라는 것이다. 관건은 AI 자체가 아니라 시장에서 상품으로 등장할 때다. 너무 겁먹을 필요는 없다며 이성적으로 대처하자는 게 그의 결론이다.

웨더비의 AI에 관한 논평을 옮기면서 AI 번역기로 유명한 Deepl을 활용했다. 이 도구는 상당 부분 무료로 사용할 수 있지만 유료 구독프로그램을 도입해 기능에 일부 제한을 두기도 했다. 등장하지 않은 AGI와는 별개로 AI는 자본주의 세계에서 상당부분 상용화, 즉 상품으로 나타나고 있다.

※Deepl.com을 이용해 초역한 후 다듬은 글입니다. []은 번역자가 이해를 위해 덧붙인 말입니다.

'2001:스페이스 오디세이'에서 인공지능 컴퓨터 HAL9000이 인간을 주시하는 장면.

+ + +

오픈AI 최고경영진의 형이상학
샘 올트먼과 오픈AI를 둘러싼 혼란은 기술을 둘러싼 환상의 영향력을 보여준다

라이프 웨더비│2023년 11월 22일│JACOBIN Magazine│링크

챗GPT를 개발하고 마이크로소프트로부터 투자받은 오픈AI는 지난 금요일[2023년 11월 17일] 샘 올트먼 최고경영자(CEO)를 해고했다. 이후 5일간 무척 흥미로웠던 혼란을 거쳐 그는 회사에 복귀했다. 수십억달러를 투자한 마이크로소프트조차 언론에 보도되기 직전에야 알게 된 이 사태는 올트먼과 일리야 수츠케버(오픈AI 이사 겸 최고과학책임자) 사이의 싸움에서 비롯했다. 수츠케버는 인공지능(AI)의 '정렬[alignment, AI를 사용자가 원하는 대로만 작동하게 만드는 것]'을 담당한 개발자였다. 올트먼과의 갈등으로 이번 소동을 촉발한 수츠케버와 헬렌 토너 이사 등은 결국 회사에서 쫓겨났다. 새로 꾸려진 이사회엔 여성에게 과학자라는 직업은 적합하지 않다는 발언을 했었던 래리 서머스 전 재무장관이 들어갔다. 올트먼의 귀환은 이윤이냐 안전이냐 싸움에서 이윤이 승리했다는 것을 보여준다.

안전이 승리했을 수도 있을까. 오픈AI는 기묘한 회사다. 그들은 개편한 헌장에서 자신들의 근본목표를 다시 강조했다. 그들이 만들어낸 바로 그 기술로부터 인류를 구원하겠다는 것이다.

이 싸움의 양편 모두 '범용인공지능(AGIㆍ인간 수준의 지능)'에 이르기까지 멀지 않았다고 생각한다. 올트먼은 지난 몇주 간 네 번이나, 심지어 해고되기 전날에도 "오픈AI 과학자들이 무지의 장막을 젖히고 발견의 지평을 넓혀가고 있다"라고 말했다. 반면 수츠케버는 AI가 대기업의 하수인이 돼 전례없는 힘을 발휘할 것을 걱정했다. 그는 직원들에게 "AGI를 의식하라, AGI를 의식하라"고 외치게 한 뒤 "오픈AI의 설립 원칙[헌장이라고 알려 진 것]에 대한 헌신을 맹세하는 의미로 '정렬되지 않은[사용자의 의사와 무관하게 작동하는]' AGI 모형을 불태웠다고 한다. 수츠케버와 한편으로 알려진 토너는 조지타운대를 졸업한 뒤 닉 보스트롬[철학자인 그는 2014년 발표한 저서 '초지능:경로, 위험, 전략(Superintelligence:Paths, Dangers, Strategies)'으로 세계적 명성을 얻었다.]이 이끈 옥스퍼드대 인류미래연구소를 다녔었다. 인류미래연구소는 의사과학의 허구적 이데올로기의 영속화를 선구적으로 연구한 기관이다.

이러한 분위기에서 문제는 기계가 지능을 얻을 수 있는지 여부가 아니다. 올트먼의 입장처럼 잠재적 AGI의 개발과 보급에 박차를 가할 것이냐, 아니면 수츠케버가 바랐던 것처럼 제동을 걸 것이냐가 문제다.

이 논쟁이 알려지면서 이른바 AI 비관론자와 가속론자의 갈등이 부각됐다. 비관론자는 멸종의 확률, 즉 '파국의 P[확률]'를 계산하는 데 매달렸다. 경제학자인 타일러 코웬은 비관론자들의 믿음처럼 AI가 인간을 대체할 것이라고 단언할 순 없지만 수백억달러가 걸린 이 싸움에서 이를 중요하지 않은 문제 취급할 수는 없다고 지적했다. AGI에 대한 과학적이면서도 종교적인 믿음의 혼돈 속에서 제기된 목표는 기계지능을 인류의 가치에 '정렬'해 그것이 지성을 얻더라도 우리에게 해롭지 않게 하겠다는 것이다.

브라이언 크리스천['알고리즘, 인생을 계산하다(Algorithms to live by:The computer science of human decisions)'의 저자]에 따르면 '정렬'이라는 용어는 1980년대 '경영과학' 담론에서 컴퓨터과학이 빌려온 것이다. 당시 경영학은 '가치 부합적(value-aligned)' 기업을 만들기 위한 유인책에 골몰했었다. 경제학자들은 한 제도로서 '직접 연계(direct alignment)'는 오픈AI가 관심을 가지는 '사회적 정렬(social alignment)'과 근본적으로 다르다고 지적한다. 수츠케버 일파는 자신들의 과업을 '초정렬(superalignment)'라고 부르며 강조했다. 하지만 이는 허상에 불과하다. 경영진과 개발자들의 열광은 심각한 오해에서 비롯한 것일 뿐이며 결국 믿음에 보답받지는 못할 것이다.

칼 마르크스는 자본주의가 단순해 보이지만 실제로는 "형이상학적 궤변과 신학적 잔소리"['자본론:정치경제학 비판Ⅰ' 2015년 개역판, 김수행 옮김, 비봉, 91쪽ㆍ제1장 상품 제4절 상품의 물신적 성격과 그 비밀 첫 문단에 나온 표현이다. 마르크스는 "상품은 첫눈에는 자명하고 평범한 물건으로 보인다"고 운을 뗀 뒤 "기이한 물건"이라며 이렇게 표현하다. 강신준 번역판에서는 "형이상학적인 교활함과 신학적 변덕"으로 옮김]로 가득차 있다고 말했다. 하지만 AI기업에서 벌어진 사태에선 그 어떤 궤변과 잔소리도 없다. 이에 대응해 우리는 마땅한 비평도 내놓지 못하고 있다. 이번 주 오픈AI 사태는 내가 '최고경영진의 형이상학'이라고 생각하는 것의 대표적인 사례다. [이사회의] 혼란스럽고 비현실적인 논의에 의한 결정이 위험한 결과로 이어질 가능성에도 불구하고 시가총액과 자산을 늘려준다는 것이다.

정렬 개념은 그 가정을 살펴보면 무너지기 쉬운 카드로 만든 집과 같다. 정렬을 위한 모든 시도는 '가치 중립적'이라는 언어 또는 지식 개념에 의존하고 있지만 그것이 정말로 가치 중립적인지는 명확하지 않기 때문이다. 이는 가치 중립성, 그리고 이를 따르는 '정렬' 그 자체에 대한 그 어떤 현실적인 정의도 없기 때문이다. 기계가 편견없기를 바라든 기계가 우리를 살해하는 법을 배우지 않길 바라든 기본적으로 AI가 이미 실제 인간의 가치를 반영하고 있다는 사실을 놓쳐선 안 된다. 기계가 중립적인 것도 선한 것도 아니라는 사실을 우리는 좀 더 심각하게 받아들여야 한다.

AI 안전 분야에 전념하는 이들이 있고 이들 다수가 다루는 문제는 [중립적인 기계나 선한 기계와 같은] 형이상학적인 것이 아니다. AI엔 잘못된 것이 있는 것이다. 실제로 우리는 자동화 시스템의 무서운 병폐에 대해 매일같이 듣고 있다. 오해를 피하기 위해 먼저 말하자면 현실적 피해를 예방하는 것은 중요하다. 하지만 명확하지 않은 '중립' 개념이 이에 도움이 될지는 분명하지 않다.

정렬 논란은 AGI에서 시작된 것은 아니다. 컴퓨터가 의미있는 언어를 생성하는 법을 구글이 개발했을 때 그 컴퓨터가 가장 먼저 한 말 중 하나는 여성이 주부여야 한다는 생각이었다. 크리스천에 따르면 당시 연구실에 있던 과학자들은 "이봐, 뭔가 잘못됐다"고 말했다. 당연히 그들은 이 위험한 생각에 겁먹었지만 어떻게 대처해야 할지 갈피를 잡지 못했다. 챗GPT가 등장하면서 컴퓨터와의 대화는 대수롭지 않은 일이 됐다. 그런데 컴퓨터가 평등과 같은 가치에 부합하는 말을 하게끔 하려면 어떻게 해야 할까. 바로 정렬의 목표는 기계가 인간을 해쳐선 안 된다는 아이작 아시모프의 유명한 로봇원칙과 같은 것이다. 편견, 거짓말, 기만은 오늘날 인간이 마주한 기계의 현실적인 위협이다. AI 정렬을 시급한 문제로 취급하는 것은 당연해 보인다. 하지만 진실은 다르다. AI는 이미 인간의 가치에 매우 밀접하게 정렬돼 있으며 우리는 이를 인정해야만 한다.

인류미래연구소를 이끄는 보스트롬은 '종이 클립' 사고실험을 통해 정렬에 대한 광범위한 토론을 주도했다. 이 실험은 종이 클립 생산을 극대화하도록 만들어진 AI가 인간 능력이 자신의 임무를 수행하는 데 방해가 된다는 것을 깨닫고 인간의 개입을 차단한다는, 그리고 일부 AI는 인류를 멸종시킨다는 내용이다. 이 이야기는 AI 윤리 연구에서 중요한 역할을 했고 이 분야의 대표적 학자인 스튜어트 러셀에게 영향을 미쳤다. AI로 인한 '실존적 위협', 즉 보스트롬이 그의 저서에서 중요하게 다룬 AI에 의한 인류 멸종 가능성은 언론의 주목을 받게 됐다. 하지만 이는 문학적 성취라곤 일말도 없고 사회적 통찰력도 갖지 못한 SF 소설에서나 볼법한 터무니없는 생각일 뿐이다. 더 심각한 문제가 있다. 이 생각이 오늘날 우리가 다루는 실제 AI와는 매우 동떨어진 것이라는 점이다. 전적으로 조건문에 의존한 이러한 유형의 사고는 오늘날 AI에 대한 숙고에서 기본적 틀로 영향을 미치고 있다.

AI에 대한 대중적 담론의 다른 주요한 부분은 파멸보다는 해악에 초점을 맞추고 있다. '생성형' AI는 인간의 언어를 뒤섞고 편견을 재생산하는 '확률적 앵무새'[에밀리 벤더가 2020년 논문에서 제시한 개념으로 사람의 말소리를 흉내낼 수 있지만 그 의미를 이해하지 못하는 앵무새를 AI에 빗댄 것이다. 이 논문 발표 후 연구에 참여했던 여러 구글 직원은 논문의 철회 또는 이름 삭제를 요구 받았고 이를 거부한 팀닛 게브루는 구글에서 쫓겨났다.]에 불과하다는 것이다. 알고리즘은 '헤아릴 수 없이' 방대한 데이터로 학습하기 때문에 정렬은 불가능한 목표다. AI에 관한 이러한 평가조차 정렬이라는 개념을 전제하는 것이다. 그 개념을 장려하진 않지만 그저 부정하는 식으로 말이다. 일례로 언어학자 에밀리 벤더는 언어 학습데이터는 인간 언어의 불균형하고 왜곡된 그림을 보여줄 뿐이라고 주장한다. 남성 중심적인 레딧과 같은 곳에서 모은 데이터이기 때문이다. 이는 분명 문제이긴 하지만 '왜곡되지 않은' 언어를 어디에서 찾을 수 있을지, 혹은 그런게 존재하는지는 명확하지 않다. 그는 해법으로 지역적이고 소외된 목소리와 맥락을 고려한 '가치 디자인'을 제안한다. 하지만 편견을 불러일으키는 규범으로서 가치의 근본적 대립을 사라지게 할 만한 작은 '지역'은 그 어디에도 없다.[웨더비의 비판은 과한 것으로 보인다. 사실 벤더도 "완전히 편향되지 않은 데이터나 모음이나 모델은 존재하지 않는다"면서 "완전히 편향되지 않은 무언가를 만들었다고 스스로 믿게 해서도 안 된다"고 말한 바 있다. 거대언어모델의 폐해를 지적하며 영어, 헤게모니 계층으로부터 자유로운 소수언어, 소수자의 작고 제한적인 학습데이터 모음에 기반한 모델로의 변화해야 한다는 벤더의 대안이 웨더비의 비판처럼 몽상인 것만은 아니지만 많이 소극적인 것은 사실이다. 벤더는 자신의 목표를 "많은 부분에서 피해를 완화하기 위한 것"이라고 조심스럽게 말했다.]

레딧, 수십만 권의 책, 위키피디아, 수많은 웹사이트를 더한 학습 데이터로부터 의식의 편린들을 만들 수 있다. 확률론적 앵무새에 대한 보고서에서 알 수 있듯이 그 편린들은 헤아릴 수 없이 너무 많아서 그로부터 어떤 의식이 있는지를 알아내기는 어렵다. 애초에 언어의 편견을 정량적으로 측정할 수 있는 방법은 없다. 역설적으로 '정렬의 결핍'은 언어와 떼려야 뗄 수 없는 관계다. 따라서 AI는 전례없는 규모로 문화적 편견을 학습하고 있는 것이다. 우리 앞에 놓인 편견을 방관하는 것은 추악하고 해로운 일이다. 그리고 벤더가 잘 지적했 듯이 편견을 증폭하는 것은 나쁜 짓이다.

정렬에 관한 세번째 주요 담론은 생성형 AI의 문제가 '근거'의 부족에서 비롯한다고 확신한다. 새로운 AI의 '창시자'로 널리 알려진 얀 르쿤[2018년 딥러닝 연구 성과로 제프리 힌턴, 요슈아 벤지오와 함께 튜링상을 받았다.]은 이 문제에 가장 큰 목소리를 내고 있다. 그는 챗GPT나 LLaMA와 같은 거대언어모델은 직관적인 '판단'에 근거하지 못하는 한 절대 진실을 말할 수 없다고 주장한다. 가능한 모든 정렬에서 진실을 말하는 것이 가장 중요한 능력임에도 말이다.

AI가 허구의 법적 판례를 만들거나 도움이 필요한 사람에게 해로울 수 있는 왜곡된 답변을 하는 소위 '환각(hallucination) 문제'는 언어모델이 세상을 알지 못하기 때문에 발생한다고 르쿤은 주장한다. 르쿤은 인간이 사물의 작동을 깨닫는 방식을 직관이라고 여기는데 AI의 언어는 이 직관이라는 근거가 결여됐다는 것이다. 하지만 컴퓨터 과학자인 엘리 파블릭은 '근거'는 그리 단순한 문제가 아니라며 반박한다. 예를 들면 법적 판례는 시각적 직관에 근거하지 않는다. 세상에 대한 상식이 아무리 많아도 인간 언어의 복잡함을 따라잡을 순 없다. 결국 잘못된 정보나 거짓말은 챗봇이 아닌 우리가 만든 것이다.[르쿤은 현재 AGI 개발을 위한 두 가지 방법론, 즉 강화학습과 규모의 확대는 한계가 있다고 주장한다. 그는 인간의 직관적 추론을 '상식'이라 부르며 "상식이 지능의 본질"이라고 말한다. 따라서 그는 인관과 같이 판단하는 AI 개발을 위해 상식을 가르쳐야 한다고 본다. 이를 위해 그는 AI 학습에 영상을 사용했다. 파블릭이 "판례는 시각적 직관에 근거하지 않는다"고 비판한 것은 이를 염두에 둔 것이다.]

이 모든 것을 종합해보면 결론은 분명하다. 정렬은 잘못 제기된 문제다. AI 정렬에 관한 논의는 인간의 언어와 문화가 아닌 것을 보여준다는 데서만 가치가 있다다. AI는 '가치 중립적'이지 않으며, 일반적으로 통용되는 규범을 따르지 않고, 과학적 지식이나 지각에 근거하지도 않는다. 정렬을 평가할 만한 그 어떤 '중립적' 관점도 없다. 이는 우리가 내걸고 싸우는 가치의 문제이고 여기엔 실제로 정해진 답이 없기 때문이다.

주어진 값에 대한 통계적 중심점은 어떤 문제에 대한 해답도 아니다. 그것은 통계적 중심점을 찾는 문제 그 자체에서만 해답이 될 수 있다. 문제는 이 시스템에 대한 선의의 비판에서조차 '모든 언어' 또는 '모든 문화'와 같은 모호한 대상에 대해 "전 세계를 움직일 수 있다"는 식의 아르키메데스적 '점'을 가정한다는 것이다. AI를 믿든 없애길 바라든 그 누구도 이러한 '점'을 얻지는 못할 것이다.[아르키메데스는 "나에게 긴 지렛대와 지렛목만 주면 지구라도 들어올려 보이겠다"고 말한 것으로 전해진다. 하지만 이를 위해선 지렛목은 지구 밖에 있어야 하며 지렛대는 지구보다 훨씬 더 길어야 한다. 따라서 지구를 벗어날 수 없는 아르키메데스는 자신의 요구사항이 충족된다고 할지라도 자신의 장담을 실행할 수는 없었을 것이다. 즉 AI의 정렬에 관한 여러 주장들은 요구하는 조건을 충족한다고 할지라도 실제로 현실화 될 수 없을 것이라는 비유다.]

정렬에 관한 이야기에는 항상 '우리'가 언급된다. 우리는 AI가 평등한 결과, 편견없는 대화, 진실한 정보를 우리에게 제공하길 바란다는 식이다. 이러한 의미에서 올트먼과 수츠케버가 그 어떤 집단적이고 민주적인 '우리'를 대표하는지는 매우 불분명하다. 마찬가지로 민주적인 '우리'가 이 괴물같이 거대한 집단을 올바른 방향으로 이끌기 위해 어떻게 규제할 수 있을지도 알기 어렵다. 정부와 기업 사이의 균형이 수십년 이상 깨져있는 상황에서 AI는 자본의 사회적 지배력으로부터 이득을 얻고 있다. 그 다음엔 문화, 과학, 지정학까지 게걸스럽게 먹어치울 것이다.

정렬 문제는 오픈AI에서 일어난 일을 살펴보면 완벽하게 파악할 수 있다. 정렬은 인간과 사회의 '가치'에 대한 완벽한 지식을 의미하는 유사 철학적 개념이다. 하지만 실용적 측면에서 이는 목표일 뿐 계획은 아니다. 형이상학적 망상에 기반한 안전에 대한 이야기로 포장돼 있더라도 목표는 AI의 상용화일 뿐이다.

AI를 옹호하는 것은 아니지만 AI는 이미 매우 정확하게 '우리'를 반영하고 있다. 구글 과학자들은 알고리즘의 여성 혐오에 대해 다른 반응을 보였을 수도 있었다. 그들은 "와, 우리 인간의 언어에는 여성 혐오가 숨어있었네"라고 말했을수도 있었다. 내가 말하고자 하는 바는 그들 그리고 우리가 잘못 정의된 '정렬'이라는 개념을 다루기보다는 편견, 문화, 언어를 이해할 수 있는 전례없는 도구를 갖게 됐다는 것을 깨달아야 한다는 것이다. 결국 여성 혐오 표현을 뱉어내는 컴퓨터는 이를 상용화해 시장에 내놓는 경우에만 문제가 된다.

이러한 관점에서 정렬 개념은 이데올로기를 완벽하게 설명한다. 테오도어 아도르노는 이데올로기가 실제로는 가짜 진리라고 생각했다. AI가 학습받는 방식에 따라 우리와 맞게 조정될 수 있고 공존할 수 있다고 믿는 것이 정렬이라는 개념이다. 우리와 어울릴 수 있도록 AI 규범을 만들겠다는 목표 자체가 틀렸을 뿐 아니라 잘못된 거짓이다. AI의 모순과 그 결과 속에서 '우리'는 AI와 함께 살아가야할 뿐이다. AI 그 자체로는 유토피아 혹은 파멸을 불러오는 주문이 아니다.

이성적인 대처는 봇을 오프라인으로 전환하는 것이다. 그럼으로써 그것을 우리의 편견, 이데올로기의 구성, 언어의 작동 방식, 컴퓨터와의 상호작용을 연구하는 데 사용해야 한다. 너무 겁먹을 필요는 없다.

+ + +

라이프 웨더비는 뉴욕대 독일어 부교수이자 디지털 인문학 디렉터, 디지털 이론 연구소의 창립 디렉터다. 저서로는 '형이상학적 기관 이식: 라이프니츠와 마르크스 사이의 독일 낭만주의'가 있다.