Китайская комната: простой эксперимент, который заставляет задуматься, понимает ли машина смысл

Можно ли считать компьютер мыслящим, если он правильно отвечает на вопросы?

На первый взгляд вопрос кажется простым. Если система получает вопрос, обрабатывает его и выдаёт осмысленный ответ, почему бы не сказать, что она поняла вопрос?

В 1980 году американский философ Джон Серл предложил мысленный эксперимент, который поставил эту интуитивную логику под сомнение. Он назвал его «Китайской комнатой».

Смысл эксперимента не в том, чтобы проверить скорость компьютера, качество его ответов или способность решать задачи. Серла интересовало другое: может ли правильная обработка символов сама по себе означать понимание?

Чтобы разобраться, лучше представить всю ситуацию буквально.

Представьте комнату

Внутри комнаты находится человек.

Он не знает китайского языка. Более того, он вообще не умеет читать китайские иероглифы. Для него это просто непонятные символы.

Перед человеком лежит инструкция, написанная на языке, который он знает.

Через отверстие в стене ему передают листок с китайскими символами.

Человек смотрит на них и не понимает, что там написано.

Но инструкция говорит ему, что делать.

Например, если ему передали определённую последовательность символов, он должен найти в книге соответствующую комбинацию и передать наружу другую последовательность.

Он не переводит текст.

Не знает значения слов.

Не понимает вопроса.

Он просто следует правилам.

Допустим, человек снаружи задаёт вопрос на китайском:

«Какой сегодня день?»

Человек внутри не знает, что означает этот вопрос. Он не знает даже, что это вопрос о дне недели.

Но по инструкции он находит нужную комбинацию символов и возвращает правильный ответ.

Человек снаружи получает его и видит, что ответ соответствует вопросу.

Он может решить:

«Тот, кто находится внутри, знает китайский».

Но это не так.

Человек внутри по-прежнему не понимает ни слова.

Он всего лишь научился правильно преобразовывать одни символы в другие.

И именно здесь находится весь смысл эксперимента.

Что пытается показать Серл

Серл предлагает разделить две вещи, которые часто принимают за одно и то же:

синтаксис и семантику.

Синтаксис - это правила обращения с символами: какой символ после какого поставить, какую последовательность выбрать, что с чем сопоставить.

Семантика - это значение.

Человек внутри комнаты прекрасно владеет синтаксисом. Он знает, что делать с символами, чтобы получить правильный результат.

Но значения этих символов для него не существует.

Если показать ему китайский иероглиф, он не скажет: «Это слово означает дом».

Для него это просто определённая фигура, которую нужно сопоставить с другой фигурой согласно инструкции.

Получается странная ситуация.

Система может правильно работать с языком, не понимая языка.

Именно это Серл считал важным возражением против определённой версии идеи сильного искусственного интеллекта.

Почему здесь вообще появляется компьютер

В 1980 году компьютеры уже умели выполнять сложные программы, а вокруг искусственного интеллекта существовал спор о том, достаточно ли правильной компьютерной программы для настоящего мышления.

Сторонник сильного ИИ мог рассуждать примерно так:

если программа получает информацию, обрабатывает её по правилам и выдаёт правильные ответы, то она в некотором смысле понимает происходящее.

Серл предложил мысленно заменить компьютер человеком.

Предположим, компьютер получает китайский текст и с помощью программы выдаёт правильные ответы.

Теперь вместо компьютера представим человека, который делает абсолютно то же самое вручную.

Он получает символы.

Смотрит в инструкцию.

Выполняет правила.

Выдаёт символы.

Результат тот же.

Но человек не понимает китайский.

Отсюда Серл делает следующий шаг: если выполнение программы человеком не создаёт понимания, то почему выполнение той же программы компьютером должно его создавать?

В этом и заключается его аргумент.

Он не пытается доказать, что компьютеры бесполезны или не способны выполнять сложные задачи. Речь гораздо уже: одна только программа, по мнению Серла, не является достаточным условием понимания.

Самая важная деталь эксперимента

Есть одна деталь, которую легко пропустить.

Человек внутри комнаты не обязательно должен отвечать неправильно.

Наоборот, предположим, что он отвечает идеально.

Он может пройти огромный тест на знание китайского языка.

Ему задают вопросы.

Он даёт правильные ответы.

Ему показывают рассказы.

Он правильно отвечает на вопросы по их содержанию.

Ему задают сложные вопросы, требующие нескольких последовательных операций.

Он всё равно отвечает правильно.

Для наблюдателя снаружи всё выглядит так, будто внутри находится человек, прекрасно владеющий китайским.

Но сам человек ничего не понимает.

Именно поэтому эксперимент не сводится к простому утверждению «компьютер может ошибаться».

Нет.

Предполагается обратное:

компьютер может работать идеально.

Проблема в другом - является ли идеальная работа доказательством понимания?

А если человек выучит всю инструкцию?

Здесь возникает естественное возражение.

Хорошо, человек сначала не понимает китайский, потому что просто смотрит в книгу.

Но что будет, если он запомнит все правила?

Представим, что он настолько хорошо выучил инструкцию, что ему больше не нужны бумажные таблицы.

Теперь все операции происходят у него в голове.

Он получает китайские символы, выполняет необходимые действия мысленно и выдаёт правильный ответ.

С точки зрения Серла ситуация не меняется.

Он всё ещё не знает китайского.

Он знает, как обрабатывать символы, но не знает, что они означают.

Можно выучить огромное количество правил преобразования символов и всё равно не получить их значения.

Это один из центральных моментов аргумента «Китайской комнаты».

Но тогда кто понимает китайский?

Здесь возникает самое сильное возражение против Серла.

Ему можно сказать:

«Ты смотришь не на ту часть системы».

Да, отдельный человек внутри комнаты китайского не понимает.

Но ведь он не является всей системой.

Есть человек.

Есть инструкция.

Есть набор правил.

Есть символы.

Есть процедура их обработки.

Возможно, китайский понимает вся система целиком, даже если отдельный человек внутри неё ничего не понимает.

Это называется системным ответом.

Аналогия здесь довольно простая.

Отдельный нейрон человеческого мозга не знает русского языка. Он не понимает, что означает слово «дерево», и вообще не знает, что существует человек, которому принадлежит этот мозг.

Но мы не делаем из этого вывод, что человек не понимает русский.

Понимание возникает на уровне всей системы.

Поэтому критик Серла может сказать: почему компьютер должен быть исключением?

Серл этот ответ не принял. Он попытался мысленно перенести всю систему внутрь одного человека: человек запоминает правила, выполняет их самостоятельно и всё равно, по его мнению, не начинает понимать китайский.

Спор на этом не заканчивается.

А если дать системе тело?

Есть и другой вариант возражения.

Может быть, человек в комнате не понимает китайский потому, что он полностью оторван от реального мира.

Он никогда не видит предметы, которые обозначают символы.

Не может взять яблоко.

Не может услышать звук дождя.

Не может посмотреть на дерево.

Он работает только с абстрактными знаками.

Тогда представим робота.

У него есть камера, микрофоны, руки и другие органы взаимодействия с миром.

Он видит предмет.

Получает название этого предмета.

Берёт его.

Слышит другие слова.

Сопоставляет действия, предметы и символы.

Получается уже совсем другая система.

Так возникает роботизированный ответ: возможно, настоящее понимание появляется тогда, когда символы связаны не только с другими символами, но и с реальным миром.

Серл и это возражение считал недостаточным.

Но для самого эксперимента важно другое: критики показывают, что из «Китайской комнаты» нельзя автоматически вывести простой вывод «машина никогда не сможет понимать».

Она создаёт проблему для гораздо более конкретного утверждения:

достаточно ли одной программы для понимания?

Почему эксперимент до сих пор обсуждают

Сила «Китайской комнаты» в том, что её очень трудно обойти простой демонстрацией правильного поведения.

Представим машину, которая отвечает на вопросы лучше человека.

Она проходит тесты.

Решает задачи.

Переводит тексты.

Ведёт разговор.

Мы можем сказать: «Она понимает».

Но Серл предлагает остановиться и спросить:

«Почему мы решили, что правильный результат означает наличие понимания?»

В его эксперименте внешний результат можно сделать практически идеальным.

Человек внутри может выдавать ответы так, что наблюдатель никогда не заметит разницы.

Но внутри, согласно условиям эксперимента, понимания всё равно нет.

И получается важное различие:

поведение системы и её внутреннее понимание - не обязательно одно и то же.

Это не означает, что машина обязательно ничего не понимает. Это означает, что сам факт правильного поведения ещё не решает философскую проблему.

В чём настоящий парадокс

«Китайская комната» заставляет разделить две вещи, которые в обычной жизни мы почти никогда не разделяем.

Первая - способность правильно обращаться с информацией.

Вторая - способность понимать её смысл.

Для человека они кажутся связанными настолько тесно, что мы редко задумываемся о разнице.

Если человек правильно отвечает на вопросы по китайскому тексту, мы естественно предполагаем, что он понял текст.

Серл предлагает придумать ситуацию, в которой это предположение перестаёт работать.

Человек отвечает правильно, но не понимает.

Именно поэтому эксперимент не столько про китайский язык и даже не столько про компьютеры.

Он про наше представление о понимании.

Если правильного поведения недостаточно, тогда возникает вопрос: что ещё должно присутствовать, чтобы мы могли сказать, что система действительно понимает?

И вот на этот вопрос «Китайская комната» готового ответа не даёт.

Она делает другое - показывает, что между обработкой символов и пониманием их смысла может существовать разрыв.

И именно этот разрыв Джон Серл предложил не игнорировать.