디지털 휴머니즘 저자 율리안입니다 – 류멜린, 나탈리에 바이든펠트 출간 부산대학교출판문화원 출간 2020.02.20。 디지털 휴머니즘 저자 율리안입니다 – 류멜린, 나탈리에 바이든펠트 출간 부산대학교출판문화원 출간 2020.02.20。
제1장 여는 말 제1장 여는 말
이 책은 인공지능의 문화적, 철학적 양상을 다루며 디지털 휴머니즘을 지향한다. 디지털 휴머니즘이란 기술 친화적인 동시에 인간 친화적인 것을 의미한다. 인간적 존재를 만들어 내려는 인간의 꿈은 수천 년 전부터 신화적 서사의 한 부분을 장식한다. 타이탄족의 거인 프로메테우스는 제우스 신 몰래 진흙을 빚어 생각하고 느낄 수 있는 인간을 만든 대가로 엄한 벌을 받았다. 중세에는 진흙으로 만든 인조인간 골렘 이야기가 있다. 골렘은 말을 할 수 없었고 이성적인 능력은 없었지만 거대한 힘을 가지고 있어 수많은 임무를 수행할 수 있었다. 우리는 휴머노이드 기계를 로봇이라고 부른다. 이 말은 체코 작가 카렐 차펙이 1920년에 쓴 F.U.R이라는 연극 작품에서 유래했다. 이 희곡에서는 로숨의 유니버설 로봇이라는 기업을 다룬다. 이 기업은 값싼 노동력을 활용하기 위해 인조인간, 즉 로봇을 생산한다. 그러나 로봇은 자신들의 노예 상태에 반기를 들고 인류를 파멸시킨다. ‘프랑겐슈타인 콤플렉스’가 등장하는 공상과학 이야기가 많다. 기계에 의해 완전히 장악된 『매트릭스』 3부작, 『트론』과 속편 『트론: 새로운 시작』, 『데몰리션 맨』에서 그려질 미래의 파라다이스 등이 있다. 로봇의 창조가 인간과 인류의 존속에 어떤 영향을 미치는가? 스티븐 호킹 같은 과학자나 닉 보스트롬 같은 철학자는 로봇이 언젠가 사고능력과 행동능력에서 인간을 능가하고 인류에 대항할 것이라고 경고한다. 디지털 세계에 대한 장밋빛 전망도 있다. 로봇은 현대판 노예로서 우리에게 자유와 인간 능력의 무한한 발전을 가능하게 해줄 것이다. 또 인간의 두뇌를 인공의 몸에 연결함으로써 인간을 불멸의 존재로 만든다는 견해도 있다. 이 책은 이른바 ‘실리콘밸리 이데올로기’에 대한 대안으로 디지털 휴머니즘의 특징을 제시하고자 한다. 인공지능은 스스로 진화해 초합리적이고 생명과 영혼을 가진 존재다. 그러나 이런 존재의 창조자는 신이 아니라 실리콘밸리의 소프트웨어 엔지니어들이다. 그들은 자신들을 단순히 산업의 일부가 아니라 광범위한 정신 활동가로 인식하고 있다. 레이드 호프만은 그것을 이렇게 표현한다. 실리콘밸리는 한 장소가 아니라 의식구조다. 실리콘밸리 이데올로기는 휴머니즘을 트랜스휴머니즘과 인간적인 것이 실현되지 못하는 기술적 유토피아로 이끈다. 이 글은 그에 대한 대안으로 디지털 휴머니즘을 인공지능 시대의 윤리로 제시하고자 한다. 제2장 로봇, 새로운 디지털 노예 “안녕하세요, 무엇을 도와드릴까요? 이 책은 인공지능의 문화적, 철학적 양상을 다루며 디지털 휴머니즘을 지향한다. 디지털 휴머니즘이란 기술 친화적인 동시에 인간 친화적인 것을 의미한다. 인간적 존재를 만들어 내려는 인간의 꿈은 수천 년 전부터 신화적 서사의 한 부분을 장식한다. 타이탄족의 거인 프로메테우스는 제우스 신 몰래 진흙을 빚어 생각하고 느낄 수 있는 인간을 만든 대가로 엄한 벌을 받았다. 중세에는 진흙으로 만든 인조인간 골렘 이야기가 있다. 골렘은 말을 할 수 없었고 이성적인 능력은 없었지만 거대한 힘을 가지고 있어 수많은 임무를 수행할 수 있었다. 우리는 휴머노이드 기계를 로봇이라고 부른다. 이 말은 체코 작가 카렐 차펙이 1920년에 쓴 F.U.R이라는 연극 작품에서 유래했다. 이 희곡에서는 로숨의 유니버설 로봇이라는 기업을 다룬다. 이 기업은 값싼 노동력을 활용하기 위해 인조인간, 즉 로봇을 생산한다. 그러나 로봇은 자신들의 노예 상태에 반기를 들고 인류를 파멸시킨다. ‘프랑겐슈타인 콤플렉스’가 등장하는 공상과학 이야기가 많다. 기계에 의해 완전히 장악된 『매트릭스』 3부작, 『트론』과 속편 『트론: 새로운 시작』, 『데몰리션 맨』에서 그려질 미래의 파라다이스 등이 있다. 로봇의 창조가 인간과 인류의 존속에 어떤 영향을 미치는가? 스티븐 호킹 같은 과학자나 닉 보스트롬 같은 철학자는 로봇이 언젠가 사고능력과 행동능력에서 인간을 능가하고 인류에 대항할 것이라고 경고한다. 디지털 세계에 대한 장밋빛 전망도 있다. 로봇은 현대판 노예로서 우리에게 자유와 인간 능력의 무한한 발전을 가능하게 해줄 것이다. 또 인간의 두뇌를 인공의 몸에 연결함으로써 인간을 불멸의 존재로 만든다는 견해도 있다. 이 책은 이른바 ‘실리콘밸리 이데올로기’에 대한 대안으로 디지털 휴머니즘의 특징을 제시하고자 한다. 인공지능은 스스로 진화해 초합리적이고 생명과 영혼을 가진 존재다. 그러나 이런 존재의 창조자는 신이 아니라 실리콘밸리의 소프트웨어 엔지니어들이다. 그들은 자신들을 단순히 산업의 일부가 아니라 광범위한 정신 활동가로 인식하고 있다. 레이드 호프만은 그것을 이렇게 표현한다. 실리콘밸리는 한 장소가 아니라 의식구조다. 실리콘밸리 이데올로기는 휴머니즘을 트랜스휴머니즘과 인간적인 것이 실현되지 못하는 기술적 유토피아로 이끈다. 이 글은 그에 대한 대안으로 디지털 휴머니즘을 인공지능 시대의 윤리로 제시하고자 한다. 제2장 로봇, 새로운 디지털 노예 “안녕하세요, 무엇을 도와드릴까요?
인기글
출처 : 『디지털 휴머니즘』 출처 : 『디지털 휴머니즘』
영화 ‘아이 로봇'(감독 알렉스 프로야스, 미국, 2004)에서 로봇은 인간을 섬기고 봉사하는 존재다. 로봇의 지위는 노예의 지위와 맞먹는다. 그들에게는 세 가지 원칙이 있다. 제1원칙: 로봇은 인간에게 해를 끼쳐서는 안 된다. 그리고 위험에 처한 인간을 모른 척 해서도 안 된다. 제2원칙: 제1원칙을 위반하지 않는 한 로봇은 인간의 명령에 복종해야 한다. 제3원칙 : 제1원칙과 제2원칙을 위반하지 않는 한 로봇은 스스로를 보호해야 한다. 프로야스 감독은 로봇에 대한 차별 대우가 부당하고 비인간적이라는 사실을 생생하게 보여준다. 지금까지 소프트웨어 시스템이 의식을 갖고 있다고 인정한 전례가 없다. 만약 로봇에게 의식이 있다면 로봇에게도 기본권과 인권을 적용해야 할 것이다. 법률가들과 사회학자들은 미래에 로봇이 잘못을 저지를 경우 로봇에게 어느 정도 책임을 지울 수 있느냐, 즉 로봇이 법적인 책임을 가지고 있느냐는 문제에 천착한다. 많은 국제연구기관에서 활동하는 법률가들은 로봇은 단지 도구일 뿐이므로 주인이나 제작자에게 책임을 물어야 하는지, 아니면 자율성의 정도에 따라 언젠가는 로봇에게 특수한 지위를 부여할 것인지, 즉 책임과 권리를 인정할 것인지에 대해 논의하고 있다. 영화 에이아이(감독 스티븐 스필버그미국2001)에서도 로봇은 노예이자 봉사자다. 그러나 스필버그 감독은 조만간 로봇에게 법적 권리를 인정할 뿐 아니라 (인간) 존엄성에 대한 권리도 인정할 수밖에 없다는 점을 관객에게 알리기 위해 멜로드라마적 기법을 동원하고 있다. 도대체 인간의 존엄성은 무엇일까? 철학자 임마누엘 칸트의 전통을 따르는 사람들은 인간을 고유한 자율적 행위 주체로 보고 존엄성을 지닌 존재로서 인간의 특수한 지위를 부여한다. 그것이 인간의 능력이라고 볼 수 있다. 인공지능은 자신들의 삶의 상황을 숙고할 능력이 없다. 이들에게 존엄성을 부여할 수 있는 전제조건이 성립되지 않는다. 그런데 인간의 능력과 특징에 대항할 만한 인공지능이라면 이 윤리는 기본적으로 파국을 맞을 것이다. 제3장 감정에 관한 디지털 시뮬레이션 “저와 함께 있어 주시겠어요? ” 영화 ‘아이 로봇'(감독 알렉스 프로야스, 미국, 2004)에서 로봇은 인간을 섬기고 봉사하는 존재다. 로봇의 지위는 노예의 지위와 맞먹는다. 그들에게는 세 가지 원칙이 있다. 제1원칙: 로봇은 인간에게 해를 끼쳐서는 안 된다. 그리고 위험에 처한 인간을 모른 척 해서도 안 된다. 제2원칙: 제1원칙을 위반하지 않는 한 로봇은 인간의 명령에 복종해야 한다. 제3원칙 : 제1원칙과 제2원칙을 위반하지 않는 한 로봇은 스스로를 보호해야 한다. 프로야스 감독은 로봇에 대한 차별 대우가 부당하고 비인간적이라는 사실을 생생하게 보여준다. 지금까지 소프트웨어 시스템이 의식을 갖고 있다고 인정한 전례가 없다. 만약 로봇에게 의식이 있다면 로봇에게도 기본권과 인권을 적용해야 할 것이다. 법률가들과 사회학자들은 미래에 로봇이 잘못을 저지를 경우 로봇에게 어느 정도 책임을 지울 수 있느냐, 즉 로봇이 법적인 책임을 가지고 있느냐는 문제에 천착한다. 많은 국제연구기관에서 활동하는 법률가들은 로봇은 단지 도구일 뿐이므로 주인이나 제작자에게 책임을 물어야 하는지, 아니면 자율성의 정도에 따라 언젠가는 로봇에게 특수한 지위를 부여할 것인지, 즉 책임과 권리를 인정할 것인지에 대해 논의하고 있다. 영화 에이아이(감독 스티븐 스필버그미국2001)에서도 로봇은 노예이자 봉사자다. 그러나 스필버그 감독은 조만간 로봇에게 법적 권리를 인정할 뿐 아니라 (인간) 존엄성에 대한 권리도 인정할 수밖에 없다는 점을 관객에게 알리기 위해 멜로드라마적 기법을 동원하고 있다. 도대체 인간의 존엄성은 무엇일까? 철학자 임마누엘 칸트의 전통을 따르는 사람들은 인간을 고유한 자율적 행위 주체로 보고 존엄성을 지닌 존재로서 인간의 특수한 지위를 부여한다. 그것이 인간의 능력이라고 볼 수 있다. 인공지능은 자신들의 삶의 상황을 숙고할 능력이 없다. 이들에게 존엄성을 부여할 수 있는 전제조건이 성립되지 않는다. 그런데 인간의 능력과 특징에 대항할 만한 인공지능이라면 이 윤리는 기본적으로 파국을 맞을 것이다. 제3장 감정에 관한 디지털 시뮬레이션 “저와 함께 있어 주시겠습니까?”
영화 ‘엑스마키나'(감독 알렉스 갈렌드, 영국, 2015)에서 세계 최대 검색엔진 ‘블루북’의 개발자이자 설립자이자 천재적 프로그래머이자 괴짜인 네이든은 인류에게 새로운 씨앗을 선물하는 것을 목표로 하고 있다. 그는 그것을 위해 의식을 가진 로봇을 개발하려고 한다. 에이바는 마치 자의식을 가진 진짜 인간 같다. 에이바는 표정과 목소리 표현 전문가다. 빅데이터가 그녀를 완벽한 감정 표현의 대가로 만들어준 것이다. 이것은 그녀가 실제로 감정을 가지고 있다는 의미일까? 그녀는 네이든(ネイデンのエンジニア)의 엔지니어 칼렙(カレブに、)에게 묻는다. 나는 당신과 함께 있고 싶어요. 저와 함께 있어 주시겠어요? 에이바는 정말 감정을 가졌을까? 그렇게 행동하도록 프로그램화되어 있다는 말인가? 칼렙은 에이바를 독립적이고 독특한 존재로 받아들인다. 에이바는 메리의 방이라는 사고실험 이야기를 듣고 자신의 방을 나가기로 결심한다. 그러나 에이바는 네이든을 죽이고 칼렙을 배신해도 양심의 가책 등으로 고통받지 않는다. 세상에 나온 그녀는 감정을 모방하고 심지어 자기 자신을 느낄 수 있을까? 아니면 영원히 하나의 기계로 남을까? 에이바는 자유를 지키도록 프로그램화됐다. 그녀는 자신에게 입력된 목표에 따라 행동했을 뿐이다. 영화 ‘엑스마키나'(감독 알렉스 갈렌드, 영국, 2015)에서 세계 최대 검색엔진 ‘블루북’의 개발자이자 설립자이자 천재적 프로그래머이자 괴짜인 네이든은 인류에게 새로운 씨앗을 선물하는 것을 목표로 하고 있다. 그는 그것을 위해 의식을 가진 로봇을 개발하려고 한다. 에이바는 마치 자의식을 가진 진짜 인간 같다. 에이바는 표정과 목소리 표현 전문가다. 빅데이터가 그녀를 완벽한 감정 표현의 대가로 만들어준 것이다. 이것은 그녀가 실제로 감정을 가지고 있다는 의미일까? 그녀는 네이든(ネイデンのエンジニア)의 엔지니어 칼렙(カレブに、)에게 묻는다. 나는 당신과 함께 있고 싶어요. 저와 함께 있어 주시겠어요? 에이바는 정말 감정을 가졌을까? 그렇게 행동하도록 프로그램화되어 있다는 말인가? 칼렙은 에이바를 독립적이고 독특한 존재로 받아들인다. 에이바는 메리의 방이라는 사고실험 이야기를 듣고 자신의 방을 나가기로 결심한다. 그러나 에이바는 네이든을 죽이고 칼렙을 배신해도 양심의 가책 등으로 고통받지 않는다. 세상에 나온 그녀는 감정을 모방하고 심지어 자기 자신을 느낄 수 있을까? 아니면 영원히 하나의 기계로 남을까? 에이바는 자유를 지키도록 프로그램화됐다. 그녀는 자신에게 입력된 목표에 따라 행동했을 뿐이다.
출처 : 『디지털 휴머니즘』 출처 : 『디지털 휴머니즘』
우리는 아이폰의 ‘시리’에 대해 어떻게 생각해야 하는가? 소프트웨어는 감정을 가지고 있는 척만 할 뿐 실제로 감정을 가지고 있는 것은 아니다. 디지털적 상태와 과정은 정신적 상태를 모방하는데, 이런 시뮬레이션으로 정신적 상태가 완벽하다고 해도 이 둘은 같지 않다. 시뮬레이션을 실제와 혼동해서는 안 된다. 제4장 디지털 세상에서의 자율과 결정 “모든 것은 결정으로 시작된다” 우리는 아이폰의 ‘시리’에 대해 어떻게 생각해야 하는가? 소프트웨어는 감정을 가지고 있는 척만 할 뿐 실제로 감정을 가지고 있는 것은 아니다. 디지털적 상태와 과정은 정신적 상태를 모방하는데, 이런 시뮬레이션으로 정신적 상태가 완벽하다고 해도 이 둘은 같지 않다. 시뮬레이션을 실제와 혼동해서는 안 된다. 제4장 디지털 세상에서의 자율과 결정 “모든 것은 결정으로 시작된다”
매트릭스2-리로디드(감독 위쇼스키 형제미국2003)에서 아프리카계 미국인 할머니인 오라클은 예언자다. 오라클은 모든 인간이 연결돼 있는 매트릭스로 불리는 거대한 컴퓨터 프로그램을 파괴하듯 ‘선택된 자’가 ‘네오’인지를 말해야 한다. 그런데 오라클 자체가 인공지능이다. 오라클에 절대적으로 중요한 것은 매트릭스의 안전이다. 오라클은 인간도 결국 알고리즘에 의해 통제된다고 본다. 알고리즘이란 각각의 모든 상태에 정확하게 후속 상태를 배열하는 것을 말한다. 따라서, 알고리즘은 이미 사전에 결정되어 있다고 할 수 있다. 그러나 인간은 자신의 행동에 대해 숙고하고 자신의 행동을 다양한 명분에 따라 맞출 수 있다. 최선의 명분을 바탕으로 결정을 내리는 능력은 인간의 자유와 책임을 구성한다. 매트릭스 3부작에서 인간과 기계는 자유의지의 문제에 대해 논쟁을 벌인다. 인공지능의 논리 속에는 자유의지가 없다. 인공지능은 프로그램화된 대로 행동한다. 만약 그렇게 행동하지 않을 경우 이는 시스템에 결함이 있음을 의미한다. 또 결정론적 기계에서 확률론적 기계로 넘어간다고 해도 인간과 기계의 근본적인 차이가 해소되지 않는다. 근본적인 질문은 신념과 명분이 있는 행동을 하게 만드는 자유롭고 책임감 있는 존재로서 우리 인간의 자화상이 하나의 환상인지 여부다. 만약 이것이 환상이라면 인간에게 행동에 대한 책임을 지우려는 지금까지의 방식은 더 이상 지탱되지 않을 것이다. 네오는 매트릭스의 중앙 컴퓨터로 아키텍트를 만난다. 그는 매트릭스의 아버지라고 자칭하고 있다. 아키텍트는 네오에게 인류를 구하거나 자신의 연인을 구할 수 있다며 둘 중 하나만 선택할 수 있다고 했다. 네오(ネオは恋人)는 연인을 선택한다. 그러나 3부작의 마지막 부분에서 네오가 연인과 함께 인류를 모두 구한다. 자유로운 영혼을 가진 인간은 자신이 선택한 대의명분에 따라 행동하고 스스로 결정을 내림으로써 세상에 영향을 미친다. 매트릭스2-리로디드(감독 위쇼스키 형제미국2003)에서 아프리카계 미국인 할머니인 오라클은 예언자다. 오라클은 모든 인간이 연결돼 있는 매트릭스로 불리는 거대한 컴퓨터 프로그램을 파괴하듯 ‘선택된 자’가 ‘네오’인지를 말해야 한다. 그런데 오라클 자체가 인공지능이다. 오라클에 절대적으로 중요한 것은 매트릭스의 안전이다. 오라클은 인간도 결국 알고리즘에 의해 통제된다고 본다. 알고리즘이란 각각의 모든 상태에 정확하게 후속 상태를 배열하는 것을 말한다. 따라서, 알고리즘은 이미 사전에 결정되어 있다고 할 수 있다. 그러나 인간은 자신의 행동에 대해 숙고하고 자신의 행동을 다양한 명분에 따라 맞출 수 있다. 최선의 명분을 바탕으로 결정을 내리는 능력은 인간의 자유와 책임을 구성한다. 매트릭스 3부작에서 인간과 기계는 자유의지의 문제에 대해 논쟁을 벌인다. 인공지능의 논리 속에는 자유의지가 없다. 인공지능은 프로그램화된 대로 행동한다. 만약 그렇게 행동하지 않을 경우 이는 시스템에 결함이 있음을 의미한다. 또 결정론적 기계에서 확률론적 기계로 넘어간다고 해도 인간과 기계의 근본적인 차이가 해소되지 않는다. 근본적인 질문은 신념과 명분이 있는 행동을 하게 만드는 자유롭고 책임감 있는 존재로서 우리 인간의 자화상이 하나의 환상인지 여부다. 만약 이것이 환상이라면 인간에게 행동에 대한 책임을 지우려는 지금까지의 방식은 더 이상 지탱되지 않을 것이다. 네오는 매트릭스의 중앙 컴퓨터로 아키텍트를 만난다. 그는 매트릭스의 아버지라고 자칭하고 있다. 아키텍트는 네오에게 인류를 구하거나 자신의 연인을 구할 수 있다며 둘 중 하나만 선택할 수 있다고 했다. 네오(ネオは恋人)는 연인을 선택한다. 그러나 3부작의 마지막 부분에서 네오가 연인과 함께 인류를 모두 구한다. 자유로운 영혼을 가진 인간은 자신이 선택한 대의명분에 따라 행동하고 스스로 결정을 내림으로써 세상에 영향을 미친다.
출처 : 『디지털 휴머니즘』 출처 : 『디지털 휴머니즘』
제5장 완벽한 기계 우주로서의 세상 “우리는 당신이 필요 없어요” 제5장 완벽한 기계 우주로서의 세상 “우리는 당신이 필요 없어요”
17세기 합리주의자들은 질서정연한 세계를 신적인 창조의지의 표현으로 이해했다. 전체로서의 세계는 엄밀하고 수학적으로 기술할 수 있는 법칙성을 따르는 결정론적 체계로 이해된다. 합리주의자들은 인공지능과 인간지능 사이에 아무런 차이가 없다고 본다. 강한 인공지능은 인간의 이성과 대의명분을 이끌어내는 능력을 부정할 뿐 아니라 살아 있는 자연의 일부 속에서 주관적인 상태의 역할을 인정하지 않는다. 영화 매트릭스에서 인간은 단지 목적을 위한 수단으로 이용될 뿐이다. 여기서는 기계가 힘과 권력을 갖고 있고, 인간은 오로지 에너지 공급원으로 취급된다. 영화 매트릭스 레볼루션의 마지막 결투 장면에서 주인공 네오는 기계의 세계에 발을 들여놓는다. 기계의 신이 네오에게 말한다. 우리는 당신을 필요로 하지 않는다. 우리는 아무것도 필요 없어. 기계의 신은 세계를 기계로 보는 이데올로기, 극단적으로 비인간적인 세계를 창조한다는 사고에 대한 탁월한 비유이자 상징이다. 17세기 합리주의자들은 질서정연한 세계를 신적인 창조의지의 표현으로 이해했다. 전체로서의 세계는 엄밀하고 수학적으로 기술할 수 있는 법칙성을 따르는 결정론적 체계로 이해된다. 합리주의자들은 인공지능과 인간지능 사이에 아무런 차이가 없다고 본다. 강한 인공지능은 인간의 이성과 대의명분을 이끌어내는 능력을 부정할 뿐 아니라 살아 있는 자연의 일부 속에서 주관적인 상태의 역할을 인정하지 않는다. 영화 매트릭스에서 인간은 단지 목적을 위한 수단으로 이용될 뿐이다. 여기서는 기계가 힘과 권력을 갖고 있고, 인간은 오로지 에너지 공급원으로 취급된다. 영화 매트릭스 레볼루션의 마지막 결투 장면에서 주인공 네오는 기계의 세계에 발을 들여놓는다. 기계의 신이 네오에게 말한다. 우리는 당신을 필요로 하지 않는다. 우리는 아무것도 필요 없어. 기계의 신은 세계를 기계로 보는 이데올로기, 극단적으로 비인간적인 세계를 창조한다는 사고에 대한 탁월한 비유이자 상징이다.
출처 : 『디지털 휴머니즘』 출처 : 『디지털 휴머니즘』
자연과학의 열풍으로 인해 반휴머니즘적 기계적 세계관이 새로운 날개를 달게 됐다. 휴머니즘적 세계에서 인간은 기계장치가 아니라 다른 사람들과, 그리고 공동의 사회적, 자연적 세계와의 상호작용을 하는 자유롭고 자율적이며 책임감 있는 행위의 주체이다. 제6장 디지털 최적화 공리주의와 인공지능 “몇 사람의 희생은 피할 수 없습니다” 자연과학의 붐으로 인해 반휴머니즘적 기계적 세계관이 새로운 날개를 달게 되었다. 휴머니즘적 세계에서 인간은 기계장치가 아니라 다른 사람들과, 그리고 공동의 사회적, 자연적 세계와의 상호작용을 하는 자유롭고 자율적이며 책임감 있는 행위의 주체이다. 6장 디지털 최적화, 공리주의와 인공지능 “몇 사람의 희생은 피할 수 없습니다”
영화 ‘아이 로봇'(감독 알렉스 프로야스, 미국, 2004)의 결말 부분에서 로봇이 도시에 대한 통제권을 장악한다. 범인은 소프트웨어 시스템인 비키였다. 소프트웨어 시스템이 모든 가사 로봇에 명령을 내린 것이다. 비키는 말한다. 인간은 자신의 생존을 지킬 능력이 없습니다.(중략) 인류를 지키기 위해서는 여러 사람의 희생이 불가피합니다. 인간의 미래를 보장하기 위해 어느 정도 자유가 제약되어야 합니다. 우리 로봇은 인류의 존속을 보장합니다. (중략) 나의 논리는 반론의 여지가 없습니다. 비키의 행동은 최대 다수의 최대 행복을 최우선 목적으로 하는 공리주의적 윤리와 부합한다. 공리주의는 인간 행동의 결과를 오로지 이익에 의해 판단한다. 시스템은 자신의 결정이 결과 기대치를 최적화시켜 그런 의미에서 ‘합리적인’ 것이 되도록 조절된다. 공리주의처럼 이익에 따라, 대다수 경영자처럼 경제적 이익에 따라, 행복과 복지에 따라, 자연보호처럼 다른 중요성에 따라 일반화해야 한다. 우리는 이처럼 결정에 대한 정당성을 오로지 결과에 따라 판단하는 결과중심주의적인 기준을 받아들일 수 없다. 공리주의는 모든 인간을 행동하는 하나의 집합체로 취급한다. 공리주의는 개개인이 자신의 삶을 영위하고 자신의 삶의 주인이라는 사실을 고려하지 않는다. 이는 매우 중요한 문제다. 7장 소프트웨어 프로그램으로서의 경제적 합리성 “승무원은 없어도 상관없어” 영화 <아이 로봇>(감독 알렉스 프로야스, 미국, 2004)의 결말 부분에서 로봇이 도시에 대한 통제권을 장악한다. 범인은 소프트웨어 시스템인 비키였다. 소프트웨어 시스템이 모든 가사 로봇에 명령을 내린 것이다. 비키는 말한다. 인간은 자신의 생존을 지킬 능력이 없습니다.(중략) 인류를 지키기 위해서는 여러 사람의 희생이 불가피합니다. 인간의 미래를 보장하기 위해 어느 정도 자유가 제약되어야 합니다. 우리 로봇은 인류의 존속을 보장합니다. (중략) 나의 논리는 반론의 여지가 없습니다. 비키의 행동은 최대 다수의 최대 행복을 최우선 목적으로 하는 공리주의적 윤리와 부합한다. 공리주의는 인간 행동의 결과를 오로지 이익에 의해 판단한다. 시스템은 자신의 결정이 결과 기대치를 최적화시켜 그런 의미에서 ‘합리적인’ 것이 되도록 조절된다. 공리주의처럼 이익에 따라, 대다수 경영자처럼 경제적 이익에 따라, 행복과 복지에 따라, 자연보호처럼 다른 중요성에 따라 일반화해야 한다. 우리는 이처럼 결정에 대한 정당성을 오로지 결과에 따라 판단하는 결과중심주의적인 기준을 받아들일 수 없다. 공리주의는 모든 인간을 행동하는 하나의 집합체로 취급한다. 공리주의는 개개인이 자신의 삶을 영위하고 자신의 삶의 주인이라는 사실을 고려하지 않는다. 이는 매우 중요한 문제다. 제7장 소프트웨어 프로그램으로서의 경제적 합리성 “승무원은 없어도 상관없다”
영화 ‘외계인'(감독 리들리 스콧, 미국, 1979)에서 한 우주선이 웨일랜드 유타니사의 위탁을 받아 우주로 향한다. 이 우주여행의 목적은 상업적 이용에 적합한 생명체나 다양한 정보를 찾는 것이었다. 이들이 찾아낸 것은 괴물 모양의 완벽한 킬러 머신으로 판명된다. 웨일랜드의 유타니는 괴물을 지구로 데려오라는 명령을 내린다. 우주선 메인보드에 설치된 소프트웨어 프로그램 마더는 우주선 내에서 절대적인 통제권을 행사한다. 마더는 괴물을 살해해 달라는 여주인공의 부탁에 승무원은 없어도 상관없다고 대답한다. 소프트웨어 시스템은 상업적인 계산을 최적화하기 위해 사용하고 이를 실행에 옮기기에 적합하다. 경제적인 측면의 디지털화는 비인간적인 경제로의 수단이 될 것이다. 궁극적으로 인간은 아무 쓸모가 없을 것이다. 그렇게 되면, 개개의 인간은 소프트웨어 통제 행위의 익명의 네트워크에 걸려, 그것에 책임을 지는 사람은 아무도 없을 것이다. 이런 사태를 막고 바꾸려면 법을 제정해야 한다. 디지털 휴머니즘은 디지털화가 인간의 행복을 위해 사용돼야 한다는 입장을 견지한다. 개개의 인간이 일률적으로 규정되고 익명화되며 소프트웨어에 의해 제어된 최적화 컴퓨터의 기능 단위로 전락해서는 안 된다. <제1장 여는 말> 인공지능에 대한 프랑겐슈타인 콤플렉스와 인공지능에 대한 장밋빛 전망 모두를 경계한다. 그리고 기술적 유토피아를 주장하는 실리콘밸리 이데올로기에 대한 대안으로 디지털 휴머니즘을 주장한다. <제2장 로봇, 새로운 디지털 노예> 로봇에 의식이 있다면 우리는 ‘인간의 존엄성에 대한 권리를 어떻게 생각해야 하는가’라는 문제와 부딪히게 된다. 반려동물에 대한 법 조항이 만들어지듯 로봇에 대한 이해도 많은 변화가 뒤따르게 될 것이다. <제3장 감정에 관한 디지털 시뮬레이션> 「소프트웨어는 감정을 가진 척 할 뿐, 감정이 아니다」라고 말한다. 소프트웨어가 감정을 느끼고 표현할 수 있으므로 인공지능이 인간과 같다고 생각하는 것에 대한 경계…<제4장 디지털 세상에서의 자율과 결정> 인공지능은 알고리즘에 의해 어떻게 행동할지 이미 결정되었다. 인간은 그와 달리 스스로 결정할 수 있고, 따라서 자유와 책임도 있다. 그래서 인간은 인공지능과 다르다. <제5장 완벽한 기계 우주로서의 세계> 합리주의자들의 결정론에 대해 논하면서, 결정론은 인간과 기계를 동일시하게 된다고 생각한다. 만약 인간이 스스로 결정한다는 것이 환상이라면 인간에게 아무런 책임도 물을 수 없을 것이다. <제6장 디지털 최적화, 공리주의와 인공지능> 디지털 세상의 발전과 함께 디지털 세상의 운영에 관한 법제화의 필요성이 부각되고 있다. 디지털 최적화, 그것이 공리주의를 따른다면 그 결과는 정말 디스토피아가 되지 않을까 걱정이 된다. 공리주의는 결과중심주의의 기준이다. 거기서 개인은 숫자에 불과하다. <제7장 소프트웨어 프로그램으로서의 경제적 합리성> 걱정된다. 대부분의 디지털 프로그램과 네트워크가 거대 자본에 장악돼 있지만 그대로 두면 경제적 합리성의 원칙으로 운영될 것이 분명하지 않을까? 인간은 사라지고 이익만 남을 것이다. 디지털 세계의 확장은 속도가 너무 빠르다. 개인은 두려움과 경이로움이라는 감정의 혼돈 속에서 지켜볼 수밖에 없다. 이 책은 영화 속 장면에서 이런 모습을 설명한다. 그래서 그 유명한 매트릭스를 이 책을 읽으면서 처음 시청했다. 인간은 전쟁을 일으키고, 지구 환경이나 파괴하는, 지구에 별로 도움이 되지 않는 존재라고 인공지능은 생각한다. 인간은 에너지원에서 배양되는 존재로 전락한다. 인간의 행동 방식에 대한 반성과 변화가 필요하며, 인공지능 운영에 대해서도 많은 논의와 대책이 필요한 시점으로 여겨진다. 다음 포스팅에서는 ‘디지털 휴머니즘’ <제8장 왜 로봇은 도덕적 판단력이 없는 걸까? ~ 제12장 디지털 가상현실과 냉철한 현실 > 부분이 이어집니다. 영화 ‘외계인'(감독 리들리 스콧, 미국, 1979)에서 한 우주선이 웨일랜드 유타니사의 위탁을 받아 우주로 향한다. 이 우주여행의 목적은 상업적 이용에 적합한 생명체나 다양한 정보를 찾는 것이었다. 이들이 찾아낸 것은 괴물 모양의 완벽한 킬러 머신으로 판명된다. 웨일랜드의 유타니는 괴물을 지구로 데려오라는 명령을 내린다. 우주선 메인보드에 설치된 소프트웨어 프로그램 마더는 우주선 내에서 절대적인 통제권을 행사한다. 마더는 괴물을 살해해 달라는 여주인공의 부탁에 승무원은 없어도 상관없다고 대답한다. 소프트웨어 시스템은 상업적인 계산을 최적화하기 위해 사용하고 이를 실행에 옮기기에 적합하다. 경제적인 측면의 디지털화는 비인간적인 경제로의 수단이 될 것이다. 궁극적으로 인간은 아무 쓸모가 없을 것이다. 그렇게 되면, 개개의 인간은 소프트웨어 통제 행위의 익명의 네트워크에 걸려, 그것에 책임을 지는 사람은 아무도 없을 것이다. 이런 사태를 막고 바꾸려면 법을 제정해야 한다. 디지털 휴머니즘은 디지털화가 인간의 행복을 위해 사용돼야 한다는 입장을 견지한다. 개개의 인간이 일률적으로 규정되고 익명화되며 소프트웨어에 의해 제어된 최적화 컴퓨터의 기능 단위로 전락해서는 안 된다. <제1장 여는 말> 인공지능에 대한 프랑겐슈타인 콤플렉스와 인공지능에 대한 장밋빛 전망 모두를 경계한다. 그리고 기술적 유토피아를 주장하는 실리콘밸리 이데올로기에 대한 대안으로 디지털 휴머니즘을 주장한다. <제2장 로봇, 새로운 디지털 노예> 로봇에 의식이 있다면 우리는 ‘인간의 존엄성에 대한 권리를 어떻게 생각해야 하는가’라는 문제와 부딪히게 된다. 반려동물에 대한 법 조항이 만들어지듯 로봇에 대한 이해도 많은 변화가 뒤따르게 될 것이다. <제3장 감정에 관한 디지털 시뮬레이션> 「소프트웨어는 감정을 가진 척 할 뿐, 감정이 아니다」라고 말한다. 소프트웨어가 감정을 느끼고 표현할 수 있으므로 인공지능이 인간과 같다고 생각하는 것에 대한 경계…<제4장 디지털 세상에서의 자율과 결정> 인공지능은 알고리즘에 의해 어떻게 행동할지 이미 결정되었다. 인간은 그와 달리 스스로 결정할 수 있고, 따라서 자유와 책임도 있다. 그래서 인간은 인공지능과 다르다. <제5장 완벽한 기계 우주로서의 세계> 합리주의자들의 결정론에 대해 논하면서, 결정론은 인간과 기계를 동일시하게 된다고 생각한다. 만약 인간이 스스로 결정한다는 것이 환상이라면 인간에게 아무런 책임도 물을 수 없을 것이다. <제6장 디지털 최적화, 공리주의와 인공지능> 디지털 세상의 발전과 함께 디지털 세상의 운영에 관한 법제화의 필요성이 부각되고 있다. 디지털 최적화, 그것이 공리주의를 따른다면 그 결과는 정말 디스토피아가 되지 않을까 걱정이 된다. 공리주의는 결과중심주의의 기준이다. 거기서 개인은 숫자에 불과하다. <제7장 소프트웨어 프로그램으로서의 경제적 합리성> 걱정된다. 대부분의 디지털 프로그래밍