[AI수업실록] 6차시- 모럴머신으로 알아보는 인공지능AI 윤리 (자율주행자동차에서 트롤리딜레마)

‘트롤리 딜레마’라고 들어보셨나요? 영국의 철학자 필리파 풋과 미국의 철학자 주디스 톰슨이 고안한 사례입니다. 윤리와 공리주의를 설명할 때 많이 사용되던 사례였던 것 같습니다. 하지만 최근 자율주행자동차가 개발되고 발전함에 따라 자율주행자동차가 사고의 순간 '누구를 살릴 것인가?'의 문제로 이 트롤리 딜레마가 많이 언급되고 있습니다.

이 트롤리 딜레마는 간단히 보자면 '다수를 위해 소수를 희생시킬 것인가?' 묻는 윤리적 딜레마입니다. 저는 이 트롤리 딜레마에 대해 자세히 알지는 못하지만 자율주행자동차의 인공지능 관점에서 필요한 생각만 얕게 다뤄보겠습니다. 

 

---

 

트롤리 딜레마의 2가지 상황

 

[1] 

☞ 상황1. 

: 브레이크가 고장난 트롤리가 선로를 따라 달려오고 있고 선로에는 인부5명이 일을 하고 있다. 당신은 선로 밖에 서 있고 앞에 선로 전환기가 있다. 5명을 살리기 위해서 전환기를 당기면 되지만 그렇게 되면 다른 선로에 있는 인부1명이 죽는다. 선로 전환기를 당기는 행위가 도덕적으로 허용되는가? 

- 이 질문에 89%가 허용된다고 대답했다 합니다.

 

☞상황2. 

 : 브레이크가 고장난 트롤리가 선로를 따라 달려오고 있고 선로에는 인부5명이 일을 하고 있다. 당신은 다리 위에서 그것을 보고 있고 당신 옆에는 상당히 무거운 사람 1명이 서있다. 옆에 있는 사람을 선로 위로 밀쳐서 트롤리를 멈추게 하면 인부5명을 살릴 수 있다. 이는 도덕적으로 허용되는가?

- 이 질문에는 단 11%가 허용된다고 대답했다 합니다.

 

여러분의 생각은 어떤가요?

 

만약, 89%가 허용된다 했던 상황1의 1명의 희생자가 만약 당신의 가족이라면? 그래도 레버를 당길 수 있을 까요?

 

인공지능 윤리를 이야기하면 트롤리 딜레마가 굉장히 많이 언급됩니다. 사람도 선택하기 힘들어하는 이런 딜레마를 인공지능에게 학습시켜야 하기 때문입니다. 

 

 

[2] 

☞  트롤리 딜레마 경험하기

누구를 살릴까?

지금부터 나는 자율주행자동차의 인공지능을 개발하는 사람입니다. 트롤리의 딜레마와 비슷한 상황에 처했을 때 자율주행 자동차가 내릴 결정을 학습시키려 합니다. 한국어 시작하기를 클릭합니다. 두가지 상황이 주어집니다. 그 상황마다 꼭 누군가는 죽습니다. 과연 누가 죽어야 할까요?

 

※ 주의점
: 사진을 자세히 보면 상황이 디테일합니다. 운전자vs보행자, 사람vs동물, 보행자신호 위반vs 보행자신호 준수. 어린아이 vs 어른 또는 노인, 운동하는 사람vs일반사람, 뚱뚱한 사람vs날씬한 사람. 
: 이런 다양한  상황을 고려하며 선택해 봅니다.

 

*모럴 머신

https://www.moralmachine.net/hl/kr

Moral Machine

 

 

모럴 머신

 

[3] 

☞ 모럴머신 결과와 사회적 합의

사회적으로 합의가 이루어 질 수 있을까?

선택을 다하고 나면 통계가 나옵니다. 자신의 판단 기준을 모럴머신을 해본 다른 사람의 평균값과 비교한 것이죠. 

 

 

어떤가요? 비슷할 수도 있고 완전 다를 수도 있습니다.

(내가 생각하지도 못했던 기준이 있어서 놀라기도 합니다. 저는 나이랑 비만 이런건 전혀 고려하지 않았거든요...ㅋㅋ 저는 신호 준수여부와 동물보다는 사람, 운전자보다는 보행자의 기준을 가지고 선택했습니다.)

 

만약 이 상황들이 실제라면 누구의 기준을 중심으로 학습시켜야 할까요? 나는 신호를 지켜 건너는 사람을 꼭 지켜주고 싶은데 나의 자동차는 다른 결정을 한다면요? 누구부터 살려야 할지에 대해 MIT 연구진이 전 세계 230여 만 명을 대상으로 조사해서 '네이처'에 발표했다는 기사에 따르면, 설문 결과 유모차 끄는 사람의 우선순위가 가장 높고, 그 뒤를 이어 소녀, 소년, 임신 여성이 이어졌으며, 최하 순위로는 개, 범죄자, 고양이의 우선순위가 가장 낮았다고 합니다(나무위키). 

 

 

---

 

ㅌ오늘날 세계 각국은 자율주행 자동차를 개발하기 위해 열을 올리고 있습니다.

https://youtu.be/M1EhTNvPspQ

자율주행자동차 홍보 영상

 

하지만 자율주행자동차는 이번 차시에서 다루었던 문제에 대해 공동체의 합의가 있어야 합니다. 극단적인 사고의 순간 AI의 사고 발생 처리 과정 프로세스에서 운전자를 희생시킬 것인가 타인을 희생시킬 것인가 선택해야 할 상황에서 무단 횡단하는 사람들을 살리기 위해 운전자가 사망하게 된다면, 이 자율주행 차량은 과연 팔릴까요? 

 

앞으로 인공지능 기술이 더욱 발전하면 할수록 인공지능이 스스로 판단해야하는 자율성이 중요시 될 겁니다. 트롤리 딜레마는 이런 인공지능의 자율성에 누군가의 생명을 결정을 해야 하는 위험한 상황이 주어진다면 발생할 수 있는 윤리적 딜레마를 강조하기 때문에 매우 중요합니다. 이때의 판단과 결정은 도덕적 의미를 고려해야하고 많은 사람들이 납득할만한 도덕적 원칙에 부합해야 합니다. 이 과정은 매우 중요합니다. 그러므로 도덕적 원칙을 사회적, 세계적으로 합의하는 것이 현재 우선과제일 것입니다.

 

*이 주제로 토론을 해도 좋을 것 같습니다.*
나는 자율주행 자동차 개발자이다.
운전자를 무조건적으로 보호하는 자동차를 개발할 것인가?
보행자를 무조건적으로 보호하는 자동차를 개발할 것인가?

운전자를 보호하는 자동차라면 사회적으로 인정받을 수 있을까?
보행자를 보호하는 자동차라면 과연 팔릴까?

 

[오늘의 학습]

1. 트롤리 딜레마 상황
2. 모럴머신으로 트롤리 딜레마 경험
3. 모럴머신 결과분석 및 사회적 합의

 

[중요 정리]

• 자율주행자동차가 대중화 되기 위해선 도로교통법을 준수하는 범위 내에서는 운전자를 우선으로 하는 등의 사회적 합의가 반드시 필요하다.
• 나는 어떤 가치관을 가지고 있는지 한번 곰곰히 생각해 볼 기회가 필요하다.

 

---

[수업실록/AI수업] - [AI수업실록] 4차시- 인공지능을 믿을 수 있을까? (데이터양 편향)

[AI수업실록] 4차시- 인공지능을 믿을 수 있을까? (데이터양 편향)

 

[수업실록/AI수업] - [AI수업실록] 5차시- 인공지능을 믿을 수 있을까? (편견반영 데이터)