Что такое GPT и почему он так убедительно разговаривает с человеком

Ещё несколько лет назад разговор с компьютером обычно выглядел довольно уныло: программа ждала конкретную команду, пользователь выбирал пункт меню или вводил запрос по определённому шаблону. Сегодня можно написать машине что-то вроде «объясни мне эту ошибку так, будто я впервые вижу код» - и получить вполне внятный ответ.

За этим изменением стоит слово GPT.

При этом вокруг него накопилось немало путаницы. Кто-то считает GPT просто другим названием ChatGPT. Кто-то представляет его как огромную базу знаний, которая достаёт из памяти готовые ответы. А кто-то уже говорит о нём как о полноценном искусственном разуме.

На самом деле всё немного интереснее.

GPT - это не ChatGPT

Начать стоит с простого различия.

GPT - название семейства языковых моделей. ChatGPT - продукт, в котором такие модели используются для общения с пользователем. Сегодня OpenAI предлагает целую линейку GPT-моделей с разными возможностями и назначением.

Поэтому фраза «я разговариваю с GPT» не совсем точна, если речь идёт о конкретном приложении.

Это примерно как перепутать двигатель и автомобиль. Одно является технологической основой другого, но это не одно и то же.

Само название GPT расшифровывается как Generative Pre-trained Transformer - генеративный предварительно обученный трансформер.

Последнее слово здесь, пожалуй, самое техническое. Transformer - архитектура нейронных сетей, которая стала фундаментом современных языковых моделей.

Но чтобы понять GPT, необязательно разбираться в математике Transformer.

Гораздо полезнее представить другую вещь.

Что на самом деле делает модель

GPT работает с текстом не как поисковик.

Когда человек задаёт вопрос, модель не обязана найти в интернете страницу с таким же вопросом и скопировать оттуда готовый ответ. Она генерирует последовательность токенов - небольших фрагментов текста, которые модель обрабатывает во время работы. OpenAI прямо описывает свои языковые модели как системы, которые учатся статистическим связям между токенами и умеют предсказывать следующий токен.

Это звучит почти слишком просто.

Можно даже взять обычную фразу:

«Сегодня вечером я собираюсь...»

Человек почти автоматически ожидает продолжение вроде «посмотреть фильм», «пойти в магазин» или «поработать».

Модель делает нечто гораздо более сложное, но принципиально похожее: оценивает, какое продолжение лучше всего подходит к уже имеющемуся контексту.

На практике таких операций огромное количество. Из них постепенно складывается связный ответ.

И вот тут возникает странная вещь: из механизма, который выглядит как работа с вероятностями, получается текст, похожий на человеческую речь.

Почему GPT не похож на обычное автодополнение

Если объяснить принцип через «следующее слово», легко сделать неправильный вывод: получается, GPT просто угадывает слова одно за другим.

Это было бы слишком примитивным описанием.

Модель учитывает контекст и закономерности языка. Благодаря обучению она способна работать с вопросами, инструкциями, программным кодом, пересказами и другими формами текста. Современные GPT-модели также поддерживают работу с изображениями и другими типами входных данных, в зависимости от конкретной модели.

Поэтому результат уже не похож на обычное автодополнение в смартфоне.

Если написать:

«У меня в PHP возникает ошибка из-за отсутствующей колонки в MySQL. Как найти причину?»

модель может не просто продолжить предложение. Она способна связать несколько частей задачи: PHP, SQL-запрос, структуру таблицы, возможную причину ошибки и способы проверки.

Именно такие способности и создают ощущение, что перед нами собеседник, который «разобрался в проблеме».

Хотя внутри происходит совсем не человеческий процесс.

Откуда всё это берётся

До того как модель начинает отвечать пользователю, её обучают на больших массивах данных.

В ранних GPT-моделях идея была особенно наглядной. GPT-2, например, обучали предсказывать следующее слово в большом корпусе интернет-текстов. OpenAI описывала его как Transformer-модель с 1,5 млрд параметров.

Современные модели значительно сложнее, а обучение включает дополнительные этапы, которые помогают им лучше следовать инструкциям и решать практические задачи.

Но важный момент сохранился: модель не превращается в электронную библиотеку, где каждый прочитанный текст лежит отдельным документом.

После обучения она получает набор параметров, в которых зафиксированы многочисленные закономерности, найденные во время обучения.

Именно поэтому GPT способен сформулировать предложение, которого буквально не было в обучающих данных.

Он не обязан искать готовую фразу.

Он строит новую.

Самая интересная часть начинается здесь

Человек разговаривает с GPT и довольно быстро перестаёт замечать, что перед ним программа.

Причина не только в количестве информации.

Модель умеет поддерживать контекст, менять стиль ответа, объяснять одно и то же разными словами, исправлять формулировки, писать код и продолжать диалог. В результате появляется то, что можно назвать эффектом собеседника.

Мы начинаем приписывать системе качества человека просто потому, что она хорошо пользуется человеческим языком.

Это важное различие.

GPT может написать убедительное объяснение причин ошибки в программе. Но это ещё не означает, что модель «поняла» ситуацию так, как её понял бы разработчик.

Она демонстрирует поведение, которое выглядит разумным.

Именно это сегодня и вызывает столько споров вокруг искусственного интеллекта.

А если GPT ошибается?

Ошибается. Причём иногда очень убедительно.

Это одна из самых неприятных особенностей языковых моделей.

Если человек не знает ответа, он может сказать: «Не знаю». Модель же может построить связный ответ, который выглядит вполне профессионально, но содержит выдуманный факт, неверную цифру или несуществующий источник.

Проблема не обязательно в том, что модель «хочет обмануть».

Она генерирует продолжение, которое кажется подходящим в данном контексте. Поэтому уверенный тон ещё ничего не говорит о достоверности информации.

OpenAI сама указывает на необходимость осторожности с результатами GPT в ситуациях, где особенно важна надёжность.

Для пользователя отсюда следует довольно практичное правило: чем выше цена ошибки, тем меньше смысла воспринимать ответ модели как окончательную истину.

Значит ли это, что GPT ничего не понимает?

Сказать просто «нет, он ничего не понимает» тоже было бы слишком легко.

Модели демонстрируют способность работать с контекстом, выполнять сложные инструкции, создавать тексты, писать код и решать широкий спектр задач. OpenAI сегодня описывает GPT как модели, способные понимать контекст, генерировать контент и выполнять рассуждения в различных задачах.

Вопрос скорее в другом: что именно мы называем пониманием?

Если под ним иметь в виду человеческий опыт, сознание и собственное восприятие мира, GPT нельзя просто приравнять к человеку.

Если же речь идёт о способности извлекать закономерности из данных и использовать их для решения задач, современные модели демонстрируют очень высокий уровень таких возможностей.

И, возможно, именно из-за этого старое противопоставление «думает / не думает» постепенно становится слишком грубым.

Почему GPT вообще оказался важен

Главное изменение, которое принесли GPT-модели, связано даже не с умением писать тексты.

Они сделали естественный язык удобным способом взаимодействия с компьютером.

Раньше человеку часто приходилось подстраиваться под программу. Нужно было знать команды, интерфейс, синтаксис или хотя бы понимать, где находится нужная кнопка.

Теперь во многих задачах можно начать с обычной фразы.

«Объясни этот договор».

«Почему не запускается код?»

«Сделай из этих данных таблицу».

«Помоги разобраться в ошибке».

Компьютер начинает понимать не только формальные команды, но и человеческую формулировку задачи.

Это не означает, что программирование или привычные интерфейсы исчезнут. Но граница между человеком и программой стала заметно тоньше.

И в этом, пожалуй, заключается настоящий смысл GPT.

Не в том, что внутри компьютера появился цифровой человек.

А в том, что компьютер научился настолько хорошо работать с человеческим языком, что разговаривать с ним стало практически естественно.

Именно поэтому GPT стоит воспринимать не как всезнающую машину и не как обычный поисковик. Это инструмент, который научился работать с языком на уровне, ещё недавно казавшемся недостижимым.

А вот насколько далеко из этого можно зайти - вопрос, на который индустрия пока продолжает искать ответ.