심리철학 4강. 인공지능과 마음
중국어 방은 40년 만에 진짜 세입자를 만났다. 이해 없는 능숙함이 가능한가라는 물음은 이제 철학이 아니라 일상이 되었다.
풀고 시작
중국어 방
설(John Searle)의 1980년 논문 「마음, 뇌, 프로그램」의 사고실험은 이렇다. 중국어를 전혀 모르는 설이 방 안에 있다. 문틈으로 한자가 적힌 종이가 들어오면, 그는 영어로 된 규칙서에 따라 기호를 맞추어 다른 한자를 내보낸다. 규칙서가 충분히 정교해서 밖의 중국인들은 방이 중국어를 완벽히 이해한다고 확신한다. 그러나 방 안의 설은 중국어를 한 글자도 이해하지 못한다. 그가 한 일은 프로그램 실행, 곧 형식적 기호 조작 전부다. 결론은 설의 표어로 요약된다. "구문론은 의미론에 충분하지 않다."(Syntax is not sufficient for semantics.) 이 논증의 표적은 적절히 프로그램된 컴퓨터가 문자 그대로 마음을 가진다는 강한 인공지능(strong AI) 테제이고, 튜링 테스트와 2강의 기계 기능주의가 함께 사정권에 든다.
반론은 논문 발표 당시부터 정리되어 있었다. 시스템 응답(systems reply): 이해의 주체는 방 안의 사람이 아니라 사람, 규칙서, 종이를 포함한 시스템 전체다. 설 개인이 이해 못한다는 사실은 시스템이 이해 못한다는 결론을 주지 않는다. 설의 재반박은 규칙서를 통째로 암기해 시스템을 머릿속에 넣어도 여전히 이해가 없다는 것이다. 로봇 응답(robot reply): 방을 카메라와 팔다리가 달린 로봇에 넣어 기호가 세계와 인과적으로 연결되게 하면 의미가 생긴다. 설은 센서 입력도 결국 기호일 뿐이라고 재반박했지만, 의미가 세계와의 연결에서 온다는 이 직관은 기호 접지 문제(symbol grounding problem)라는 이름으로 인지과학의 실제 연구 문제가 되었다.
기호주의와 연결주의
중국어 방이 겨냥한 것은 당대 AI의 지배 패러다임인 기호주의(symbolism)였다. 뉴얼(Allen Newell)과 사이먼(Herbert Simon)의 물리적 기호 시스템 가설은 기호 조작 능력이 지능의 필요충분조건이라고 선언했다. 대안은 연결주의(connectionism)다. 명시적 규칙과 기호 대신, 단순한 처리 단위들의 연결 강도가 학습으로 조정되는 신경망 모델이다. 지식은 규칙서에 적히지 않고 연결 가중치에 분산되어 저장된다. 1980년대의 이 논쟁(체계성 논쟁 등)은 승부 없이 가라앉는 듯했으나, 2010년대 심층학습의 승리로 연결주의가 공학의 왕좌를 차지했다. 그리고 그 정점에서 대형언어모델(LLM)이 나타나, 중국어 방을 사고실험이 아닌 현실로 만들었다.
LLM: 중국어 방의 귀환
LLM은 다음 토큰의 확률을 학습한 거대한 연결주의 시스템이며, 튜링 테스트 수준의 대화를 일상적으로 수행한다. 그래서 옛 물음이 재점화되었다. 이해 없는 능숙함은 가능한가. 벤더(Emily Bender)와 게브루(Timnit Gebru) 등의 2021년 논문은 LLM을 확률적 앵무새(stochastic parrot)라 불렀다. 의미에 대한 지시 없이 형식의 통계적 패턴을 재조합할 뿐이라는, 사실상 중국어 방 진영의 현대판이다. 반대편에는 훈련 목표가 예측이어도 그것을 잘하려면 세계의 압축된 모델이 창발할 수 있다는 주장이 있다. 내부 표상을 조사하는 해석가능성 연구가 이 논쟁의 경험적 전선이다. 주목할 것은 물음의 구조다. 행동주의(수행이 전부다)와 설(내부의 이해가 따로 있다)의 대립이 그대로 반복되고 있으며, 어느 쪽이든 "이해"가 무엇인지에 대한 이론 없이는 판정이 나지 않는다.
확장된 마음
클라크(Andy Clark)와 차머스는 1998년 논문 「확장된 마음」(The Extended Mind)에서 경계를 다른 방향으로 흔들었다. 알츠하이머병을 앓는 오토는 모든 정보를 수첩에 적고 항상 참조한다. 미술관 위치를 수첩에서 찾는 오토와 기억에서 떠올리는 잉가 사이에 인지적으로 본질적인 차이가 있는가. 두 사람은 동등성 원리를 제안한다. 머리 안에서 일어났다면 인지 과정으로 인정할 일이 머리 밖 도구에서 일어난다면, 그 도구는 인지 과정의 일부다. 오토의 수첩은 그의 믿음 저장소이고, 마음은 두개골에서 끝나지 않는다. 반론도 명확하다. 애덤스(Frederick Adams)와 아이자와(Kenneth Aizawa)는 결합과 구성을 혼동했다고 비판한다(수첩은 인지에 결합되어 있을 뿐 인지를 구성하지 않는다). 그러나 스마트폰이 사실상 외장 기억이 된 시대에, 이 논문은 철학 논문으로는 드물게 기술 시대의 자기 이해를 바꿔 놓았다.
기계 의식과 도덕적 지위
마지막 물음은 실천적이다. 3강의 어려운 문제가 여기서 윤리와 만난다. 어떤 시스템이 실제로 느낀다면(감각질을 가진다면), 그것은 도덕적 고려의 대상, 곧 도덕적 환자(moral patient)가 된다. 고통을 느끼는 존재를 마음대로 끄고 복제하고 삭제하는 일이 문제가 되기 때문이다. 곤경은 인식론적이다. 좀비 논증이 보여주었듯 행동과 보고는 의식의 결정적 증거가 못 되고, 통합정보이론과 전역작업공간이론은 기계에 대해 상반된 판정을 내리곤 한다. 그래서 두 오류의 비대칭이 논쟁의 축이 된다. 의식 없는 기계를 과잉 배려하는 비용과, 의식 있는 존재를 도구로 취급하는 비용은 같지 않다. 동물 의식 논쟁에서 이미 연습한 사전주의 원칙이 기계로 확장되는 중이며, 이는 확실성이 아니라 불확실성 아래의 의사결정 문제다. 다음 과목(과학철학)이 다루는 물음, 곧 검증 불가능해 보이는 주장 앞에서 합리적 탐구는 무엇을 할 수 있는가와 정확히 이어진다.
인출 문제
생각해볼 질문 (정답 없음)
- 기계 의식을 판정할 방법이 원리상 없다면, 우리는 어떤 오류(과잉 배려와 과소 배려) 쪽으로 기울어야 하는가. 그 선택의 근거는 무엇일 수 있는가.
이전: 3강 의식의 어려운 문제 · 다음: 과학철학 1강