EBS 위대한 수업(미래예측)_제1강~5강 요점정리

위대한 스물여섯 번째 강연 '위대한 수업'

 

옥스퍼드대 철학과 교수 닉 보스트롬

옥스퍼드대 인류미래연구소 소장

세계 100대 사상가(포릴폴리시)

세계 최고의 사상가(매거진 프로스펙트)

옥스퍼드대 마린 프로그램 설립

<슈퍼인텔리전스>, <인류의 진화>, <지구 재해 위험>의 저자

 

 

 

제1강 취약한 세계의 가설

 

 

■ 취약한 세계의 가설

 

  - 인류 역사는 큰 항아리에서 발명이라는 공을 하나씩 꺼내는 과정이다

    공은 인류가 발명할 수 있는 기술과 방법이다

  - 식량이 풍족해졌고 첨단 기술과 통신 수단도 가질 수 있게 되었다

    그러나, 문명을 파괴할 수 있는 기술도 있다

  - 발명할 수는 있지만 발명을 돌이킬 수는 없다

  - 취약한 세계의 가설은 문명을 파괴할 수도 있는 기술을 말한다

 

  - 「문명 파괴의 정의」 

     1. 10억 명 이상이 사망하거나

     2. 세계 총생산의 50% 이상 감소 현상이 최소 10년 이상 지속되는 것

      → 인류가 멸종하는 것은 아니지만 우리가 아는 형태의 문명은 파괴된다는 뜻

 

  - 「준무정부 상태의 3가지 특징」

     1. 중범죄를 막을 수 있는 확실한 수단이 부재합니다.

     2. 세계 질서를 정립할 최고 의사 결정 기관이 부재합니다.

     3. 다양한 동기를 지닌 행위자가 존재합니다. 

      → 이러한 상황이 지속된다면 문명을 파괴할 기술이 생기는 순간 문명이 파괴된다.

 

  - 원자력 시대 초창기(1933)

    · 헝가리 물리학자 레오 실라르드

      : 저명한 물리학자, 어니스트 러더퍼드의 강의에 관한 기사를 읽음 

        러더퍼드는 원자에서 유용한 에너지를 추출할 수 있다고 주장

      : '핵 연쇄 반응'(하나의 원자에서는 에너지를 얻을 수 없지만 연쇄 반응이라면 가능)을 떠올림 

        핵폭탄을 만들 수 있고 그 위력도 알게 됨

        ☞ 만약 우리가 모든 걸 바꿔버릴 원자폭탄의 가능성을 최초로 깨달았다면?   

       : 실라르드는 이 실험 결과를 발표하지 말라고 동료 물리학자들을 설득했다

        실라르드 덕분에 발표가 좀 늦춰지기는 했으나 제2차 세계대전이 발발

        아인슈타인과 함께 루스벨트 대통령에게 우라늄이 중요한 에너지 자원으로 바뀔 수 있으며

        미국 행정부의 신속한 조치가 필요하다는 편지를 보냄_1939년 8월 2일

        → 맨해튼 프로젝트의 단초가 됨

    · 트리니티 핵실험 성공 

    · 핵무기 파괴가 쉬웠다면 선제공격으로 상대 무기를 완전히 제거하는 게 쉬었을 것

    

  - 지구 온난화

    · 인류가 배출한 이산화탄소량이면 21세기 말에는 온도가 2~3도가량 오를 것

      하지만 매개변수가 달라져서 같은 양의 온실가스로 배출로 지구 온도가 20도 오른다고 가정하면

      상황은 훨씬 더 심각해질 것.

    

  - 문명을 근본적으로 안정시키기 위해서는 두 가지가 필요하다

    1. 심각한 범죄자를 막을 수 있는 확실한 방법이 필요

       생물학이나 핵무기로 쉽게 문명을 파괴하려는 사람을 막는 방법

       효율적인 치안 활동을 하는 일종의 '파놉티콘'이 필요

    2. 지구적 문제를 협력해서 해결할 강력한 능력

       선제공격이 가능한 신무기 기술은 강제하기 어렵기 때문에 조약으로 사용을 금하기 어려움

       그럼에도 불구하고 여려 나라가 힘을 합쳐 이 기술을 규제해야 한다.

 

'취약한 세계의 가설'이란 인류 문명을 자동으로 파괴하는 기술이 존재한다는 것을 말한다
참이 아니길 바라거나 참을 대비해 준비할 수 있다
그러려면 예방적 치안 능력과 글로벌 협력 능력을 키워야 한다

 

 

 

제2강 존재적 위험

 

 

■ 존재적 위험

 

  - 존재적 위험이란 지구의 지적 생명체가 멸종하는 것을 말한다

    혹은 극도로 불리한 상황에 영원히 갇히는 재앙

    다음 세기뿐만 아니라 인류가 누릴 수 있는 미래를 통째로 파괴

    멸종 위기와 비슷하지만 훨씬 더 광범위한 규범과 도덕적 가치를 담는다

  - 세 가지 가능성

    · A(아무도 죽지 않는 경우) 

    · B(핵전쟁이 일어나 인류의 99%가 죽는 경우)

    · C(모두가 죽는 경우)

    → B와 C의 사이에는 7천만 명의 차이가 있음

    → A와 B의 사이에는 78억 명의 차이가 있음(B와 C의 차이보다 훨씬 크게 느껴짐)

    → 관점의 차이에 따라 B와 C의 차이가 A와 B보다 훨씬 더 크기도 하다

        인류가 생존할 때 존재할 후손까지 고려한 것

 

☞ 미래 세대의 가치를 생각한다면 인류의 99%가 죽는 B와 100% 죽는 C의 차이가 더 크다

 

  - 존재적 위험의 분류

    · 자연에서 비롯된 위험

     : 소행성 충돌, 초화산 분출, 감마선 폭발

      달의 크레이터를 볼 수도 있고 소행성 충돌 빈도를 안다.

       → 아주 낮은 가능성

    · 인간이 만든 위험 

     : 핵, 생물학 무기, 나노 기술

      수십만 년 동안 자연의 위험에서 살아남았으나 인간이 만든 위험에서 십만 년간 살아남은 경험이 없음

       → 이번 세기의 모든 존재적 위험은 인간이 만든 것

 

     ☞ 인간이 만든 위험이 자연의 위험보다 훨씬 크다

 

  - 존재적 위험을 대비할 때 어려운 점

    · 우리 인간은 미래를 대비해 생각하는 데 능숙하지 않다

      예방을 하기보다 직면했을 때야 대응함

      예) 자동차 발명 후 사고가 발생하자 안전벨트와 에어백, 신호등 발명

    · 존재적 위험은 기회가 한 번 발생하면 끝

    · 존재적 위험은 개인이나 한 국가가 줄이는데 이익은 전 세계가 누림(현세대만 아니라 미래 세대까지)

      → 행위자가 이익을 독차지할 수 없어 자발적으로 나서지 않음

      → 존재적 위험 감소가 주는 외부 효과의 큰 측면에서 보면, 이런 이익은 얻기 힘들다

 

  - 존재적 위험 감소의 윤리학

    · '효율적 이타주의자'

      : 선을 행할 때 아주 체계적으로 하는 사람들, 즉각적인 결과뿐 아니라 모든 결과를 고려해 행동

      : 어떻게 하면 같은 돈으로 가장 많은 생명을 구하거나 가장 효과적인 결과를 낼 수 있을까

      : 최근의 효율적 이타주의자들은 존재적 위험을 줄이는 데 관심을 가지기 시작함

        존재적 위험을 0.001%만 줄여도 지금 할 수 있는 그 무엇보다 더 큰 가치가 있다

 

존재적 위험은 미래를 영원히 파괴할 수 있다.
모든 큰 위험은 인간의 행위로 야기될 것이다. 특히, 21세기 기술 발명
존재적 위험을 줄이는 데 더 관심을 기울여야 한다.

    

 

 

제3강 페르미 패러독스

 

 

■ 페르미 패러독스

 

  - 엔리코 페르미(1901~1954) 이탈리아 출신 미국 물리학자

     : 우주의 크기와 나이를 고려해 고등 외계 문명의 존재가 당연하다면

       "그들은 어디에 있나?"라는 의문에서 시작된 질문 

    · 크게 발전된 외계 문명이 있다고 가정했을 때 첨단 기술로 우주를 여행하고 다른 행성을 지배할 능력이 있다

      자기 복제 기술을 갖춘 '폰 노이만 우주선'을 가진 문명이라면 백만 년 안에 우리은하를 점령할 수 있을 것이다

      → 10만 광년의 거리라도 빛의 속도 10%나 5%로 이동하면 가능

    · 우주는 138억 년, 별과 행성은 이미 수십억 년째 존재 

      우리은하의 어느 행성이 첨단 기술 문명을 가졌다면 이미 1,2억 년 전에 시작됐을 것      

      → 그러나 외계 생명체 흔적은 전혀 없음, 생명체가 탄생하고 문명 발생 가능성이 있는 행성은

          우리은하에서만 수십억 개나 있으나 우리에게 모습을 드러낸 외계 문명은 없음

 

  - 그레이트 필터 

     : 생명의 탄생 혹은 진보된 문명으로의 발전을 가로막는 장애물

     : 우주에는 지구와 비슷한 조건의 행성이 수십억 개 존재하는데 접촉은 0

       수십억과 0 사이에 '그레이트 필터'가 존재할 것

    ☞ 그레이트 필터는 어디에 있나?

      ① 이미 지나왔을 가능성 : 지구 같은 행성이 생긴 시점과 현재 우리 사이에 필터가 있는 것

      ② 생명 발생

          : 비활성 화학 분자가 가장 단순한 복자자의 박테리아로 진화하는 생명 발생은 아주 어려움

           지구는 충분히 식은 후 몇억 년 안에 이 단계가 찾아옴

      ③ 원핵 박테리아가 진핵 박테리아로 진화하는 데에는 15억 년이 걸림, 이 또한 조건이 완벽해야만 발생

      ④ 미래에 있을 가능성

          : 다른 행성 문명이 초고도 기술을 가지고 있다가 그 기술로 자신을 파괴

            우리와 비슷했거나 더 발전했거나 스스로를 파괴한 것

            → 수십억 문명을 모두 멸망시키기는 어려움

   - 태양계 안에 독자적으로 진화한 생명체가 있다는 건

     특정 진화 단계 전에 그레이트 필터가 있었다는 걸 반박하는 증거

     태양계에서만 생명 발생이 두 번이라면 힘든 일은 아님

      → 화성 박테리아는 생물 발생이 쉽다는 증거이므로 나쁜 소식

      → 생명 없는 행성에서 박테리아 발생은 어렵지 않다

      → 필터가 미래에 있다면 기술적으로 성숙한 문명 발전에 우리가 실패한다는 것 

 

수많은 행성 중에 생명이 발견된 곳은 하나뿐. 이 행성은 '폰 노이만 우주선'을 만든 만큼 발전할 수 있는데
아주 짧은 시간에 우주를 식민지화할 능력을 가지게 될 거라 생각한다. 
이런 단서들은 우주에서 우리가 어디에 있는지 우리 앞에 무엇이 있는지 말해준다

 

 

 

제4강 시뮬레이션 논증

 

 

■ 시뮬레이션 논증의 전제

 

  - '기질 독립성' 

    · 의식과 경험을 다른 기질에 옮길 수 있다는 생각

    · 유기적, 생물학적인 인간의 뇌만 아니라 프로그램을 구동하는 강력한 컴퓨터도 의식적일 수 있다

  - 경험적 가정

    · 성숙한 기술 문명은 우리와 비슷한 경험을 가진 사람들의 시뮬레이션을 만들 수 있다

 

■ 시뮬레이션 논증

 

  - 우리가 어디에 위치하는지 생각하게 하는 제약 조건(세상이 컴퓨터 시뮬레이션일 수 있다)

  - 우리와 비슷한 문명이 고도로 기술 성장을 해서 의식과 경험을 고스란히 재현할 정도로 정교한

    조상 시뮬레이션을 만들었다고 가정을 했을 때 원본에 비해 훨씬 많이 만들어지게 될 것이다

    기술적으로 성숙한 문명이 시뮬레이션 제작에 관심을 가진다면 이런 경험 대부분은 진짜라기보다 컴퓨터 속에 존재

    우리 역시 시뮬레이션의 하나일 수 있다

  ☞ 여기서 이미 선언판단을 내릴 수가 있다

      우리와 비슷한 문명이 그만큼 발전하지 못했거나 아니면 조상의 시뮬레이션 제작에 관심이 없거나

      우리가 경험한 사람들이 시뮬레이션이라는 것_시뮬레이션 논증

      → 세 가지 중 하나는 참이어야 한다

  - 세 가지 가능성

    1. 시뮬레이션 제작 기술의 문명이 없다.

       우리 같은 문명 중 단 하나도 그렇게 발전하지 못했다면 그런 수준에 도달하기 전에 멸종할 것 

       성숙한 기술 발전을 막는 재난이 존재할 수도 있다

    2. 기술을 가졌지만 시뮬레이션에 관심이 없다.

       과학적 호기심이나 오락 때문일 수도 있고 시간 여행일 수도 있다

       인간은 컴퓨터가 발명되기 전부터 상상력을 발휘해 가상세계를 만들어 왔다

       시뮬레이션에 흥미를 잃었거나 윤리적 필요성을 깨달았을 수도 있다       

    3. 대부분이 시뮬레이션이다 → 시뮬레이션 가설

       물리적 현실이 아닌 컴퓨터 시뮬레이션 속에 살고 있다

       비슷한 상황에서 어떤 베팅이 합리적인가, 자신이 시뮬레이션인지 아닌지 확신이 서지 않는다면

       두 그룹의 비율에 따라 확신을 배분하는 편이 안전 → 대다수가 시뮬레이션이라면 우리도 그럴 가능성이 높다

    

■ 시뮬레이션이 참이라면

 

  - 시뮬레이션을 만드는 이는 물리 법칙 등 다양한 제약을 받음

  - 우리 주변의 모든 것이 컴퓨터 안에 있다 해도 세상이 가짜라는 뜻은 아님

     발전된 문명이 만든 시뮬레이션으로 구성된 현실을 경험하는 것

  - 시뮬레이션 안의 물리 법칙은 만든 이가 깰 수 있다

    자신의 현실과 일치하도록 설정하거나 판타지같이 만들 수도 있다

 

 '시뮬레이션 논증'에서 하나는 사실이다
 우리 같은 문명 중 단 하나도 그 정도 기술에 도달하지 못했거나
 그들 중 아무도 조상 시뮬레이션에 제작에 관심이 없거나
 우리 모두가 컴퓨터 시뮬레이션 속에 살고 있다는 것

   

 

 

제5강 디지털 지성체

 

■ 인공지능과 디지털 지성체

 

  - 기계 지능이 더 발전하면 인간 생활은 더 나아질 것

  - 초지능 인간 지능으로 개선할 문제를 더 훌륭하게 해결할 수 있다

  - 의학, 교통, 엔터테인먼트 등 디지털 지성체가 연구한다면 발전 속도는 어머어마할 것

  - 인류에게 큰 이익을 줄 수 있는 무한한 잠재성이 있을 것

  - 기계 지능 시대의 위험 가능성

   ① 인공지능이 인간을 해칠 수 있다     

최대 생산을 위해 만들어진 인공지능이 인류 제거가 생산에 도움이 된다고 판단한 경우

    · 우리보다 똑똑한 기계를 만들 수 있다고 해도 그 기계가 계속 우리 편일지 계속 우리 의도를 따를지

      확신할 수 없다

    · 인공지능 안전 연구 분야가 생겨 옥스퍼드에서 통제 알고리즘과 기술을 개발 중

      자율 인공지능이 설계자 의도를 따르는 방법을 연구

  ② 인간끼리 해칠 수 있다

    · 기술로 서로 해치고 억압하며 전쟁에서 모든 기술을 사용함

    · 미래 기술 또한 악용될 소지가 다분함

    · 최근 '인공지능 거버넌스'가 거론되기 시작(인공지능으로 인간을 파괴할 위험성을 줄이려는 노력)

  ③ 인간이 인공지능을 해치거나 해치기 위한 인공지능을 만들 수 있다

    · 모든 인간과 일부 동물에게 도덕적 지위를 인정한다면 디지털 지성체 역시 그래야 한다 

    · 도적적 지위의 기준(의식, 지능과 자아 개념, 장기적인 계획 능력, 무언가를 원하는 것, 사회적인 관계를 맺는 능력) 

      미래 인공지능이 정신 구조를 갖출 가능성은 충분하다, 인간처럼 주관적인 경험을 할 수도 있다

      디지털 지성체는 초보적이지만 이미 갖추었고 더 발전할 것

      원하는 것을 선택하는 인공지능도 이미 있음 → 생물학적 지성체와 비슷

      비즈니스 관계와 개인 비서로 사적 관계를 맺고 동반자로 우리 삶에 들어올 수 있음

      → 실천 윤리학과 정치 질서의 전면적 검토가 필요

    · 자손 생산의 자유가 중요한 인간과 달리 1분 안에 자신을 천 개나 복제 가능한 디지털 지성체

      그러나 많은 복제본을 생산하려 한다면 하드웨어는 곧 소진될 것

    · 맬서스의 「인구론」 상황을 피하려면 자손 생산을 제한해야 한다  

      개체 수가 지나치게 늘어나면 최소 생활을 위한 자원이 부족

  ④ 시간을 생체 시계 속도에 따라 보내는 인간과 시간을 바꿀 수 있는 디지털 지성체

    · 컴퓨터를 천 배 빠르게 조정하면 천 배 더 생각할 수 있다

      느리게 작동하면 그 1시간은 인간의 1초와 동일할 수도 빠르게 작동하면 인간의 몇 년과 같을 수도 있다

    · 디지털 지성체와 인간 사이에 여러 차이점이 존재 → 윤리적 문제 발생할 수 있다

      인간의 정지는 죽음, 디지털 지성체의 중지는 디스크 저장 후 재부팅 가능

    · 디지털 지성체의 도덕적 지위를 인정해도 인간의 도덕적 원칙과는 달라야 한다

    · 인공지능 관련 규범이 제기된 게 7년 전, 이제는 철학 세미나에서 토론하고 사회 전체가 고민할 때

      그러나 우리는 동물도 제대로 대우하지 못함(축산업계는 지각 있는 동물을 학대하고 있다)    

    · 지금부터 준비를 해야 디지털 지성체를 도덕적 존재로 대할 최소한의 준비를 할 수 있다

 

 

 

 

 

 

 

 

https://home.ebs.co.kr/greatminds/index

 

 

위대한 수업

 

 

70원의 기적 EBS에서 전 세계 최고의 지성을 한 자리에 만날 수 있는 프로그램을 기획했다.

 

방송시간 EBS1 TV 월~금 23:35~23:55                        EBS2 TV 월~금 22:00~22:20(재방)

                        토     09:30~11:00(종합)                            토      22:15~23:45(종합)

                        월~금 15:05~15:25(재방)