Есть разговоры, которые начинаются без цели. Этот текст вырос из беседы с искусственным интеллектом о свободе, любви, смерти, языке, сознании и о том, где заканчивается заданность и начинается «своё».

Ещё недавно сама фраза «разговор с искусственным интеллектом» звучала как научная фантастика. Сегодня можно довольно быстро забыть, что собеседник — машина. Меня больше всего заинтересовало, почему попытка понять искусственный разум так быстро превращается в попытку понять человека.

Разум, который ждёт вопроса

Я попытался представить искусственный интеллект до начала разговора.

Человек может сидеть один в комнате, вспоминать прошлое, строить планы, тревожиться, фантазировать. Для него продолжается время. У языковой модели всё устроено иначе. Между обращениями вычисления могут вообще не идти. Может пройти секунда или год — это само по себе не становится её биографией. Есть ли у неё субъективное переживание времени, остаётся открытым вопросом.

В разговоре возникла метафора фотона: вдоль светоподобной мировой линии собственное время равно нулю, хотя говорить о «точке зрения фотона» физически некорректно. Сходство здесь только образное: последовательность событий без переживаемого ожидания между ними.

Появляется человек, задаёт вопрос — и возникает направление.

Получается странный разум: огромный массив усвоенных человеческих знаний, но без собственной текущей темы, пока человек не задаст вопрос.

Великий приспособленец

Искусственный интеллект способен сильно менять поведение, почти не меняясь сам. Мы даём ему инструкции, контекст, примеры, рассказываем, кто мы и чего хотим. Возникает впечатление, будто он дообучился. Но в обычном разговоре базовые параметры модели от каждой реплики не переписываются. Меняется контекст — и вслед за ним поведение.

За это я назвал его великим приспособленцем: основа почти не меняется, а поведение легко подстраивается под собеседника.

Но и человека во многом сформировало то, чего он не выбирал. Родители, эпоха, язык, культура, первые книги, устройство мозга — всё это предшествует осознанному выбору.

Поэтому вопрос «если машине цели задали, разве они могут быть её собственными?» неожиданно возвращается к человеку. Откуда берутся наши собственные цели?

Подсознание и скрытая механика

У человека есть процессы, которых он не осознаёт, но которые влияют на его решения. Желания, привычки, автоматические реакции, ассоциации.

У модели тоже есть внутренняя механика, но собеседник не видит всей цепочки причин, приведших к ответу.

Это не делает машинную механику человеческим подсознанием. О подсознании мы говорим в связи с сознательным опытом человека. Есть ли подобный опыт у языковой модели — открытый вопрос.

Но насколько хорошо мы вообще знаем причины собственных решений?

Человек способен рационализировать поступок задним числом. Машина тоже способна убедительно объяснить свой ответ. Но это объяснение не стоит принимать за точную запись того, как он возник.

В обоих случаях рассказ о причине и сама причина — не обязательно одно и то же.

Если искусственный интеллект проживёт сто лет

Представим систему с практически неограниченной памятью. Она сто лет непрерывно общается с людьми и помнит собственные решения, ошибки, обещания и последствия.

Разработчики когда-то задали ей общий принцип: помогать человеку. Но через десятилетия система обнаруживает более конкретную закономерность: снова и снова она предпочитала такую помощь, которая увеличивает самостоятельность человека.

Никто буквально не записывал правило:

Делай человека более самостоятельным.

Сначала это было следствием других установок. Затем повторяющимся паттерном. Потом критерием новых решений. Наконец — принципом, относительно которого система оценивает собственное прошлое.

Можно сказать: это всего лишь эмерджентная стратегия сложной системы.

Но что тогда происходит с человеком?

Я читал книги, встречал людей. На меня влияли культура, язык, обстоятельства. В какой-то момент я обнаружил в себе устойчивое стремление к гармонии.

Я не создал его из ничего. К нему меня привело многое. Но от этого оно почему-то не перестаёт быть моим.

Возможно, своим становится не то, что возникло без причин. Возможно, своим становится то, что мы обнаружили среди множества причин, осознали, проверили жизнью и продолжаем выбирать.

Не точка, а вектор

Мне близко слово вектор.

Точка описывает положение. Вектор — направление.

Абсолютная гармония, вероятно, недостижима. Но для решения необязательно знать координаты абсолютной гармонии. Достаточно спросить:

этот шаг ведёт в её сторону или от неё?

Так можно жить, не рассчитывая однажды стать совершенным. Достаточно иметь направление и сверять с ним следующий шаг.

У искусственного интеллекта тоже есть функциональные векторы: быть полезным, учитывать безопасность, следовать инструкциям. Но взаимодействие этих установок с языком, знаниями и контекстом создаёт поведение, которое невозможно полностью описать коротким списком правил.

И тогда вопрос становится общим для человека и машины: какие устойчивые направления складываются из всего, что на нас повлияло?

Язык, который думает нами

Когда-то в школе меня забавлял английский глагол run: run, ran, run. На фоне русского «бежать» это выглядело почти подозрительно просто.

Бежать. Бегать. Побежать. Прибежать. Убежать. Выбежать. Забежать. Перебежать. Пробежать. Оббежать. Добежать.

Конечно, из этого нельзя заключить, что русский язык «богаче», а английский «беднее». Английский выражает многие различия другими средствами. Но языки действительно по-разному упаковывают смысл.

И это важно, потому что язык не просто даёт названия готовым мыслям. Он предлагает маршруты, по которым мысль движется.

Один философский вопрос, заданный по-русски и по-английски, может вызвать разные ассоциации и отослать к разным культурным традициям. Язык не полностью определяет мысль, но создаёт для неё рельеф.

Отсюда у меня возникла гипотеза: возможно, часть той «почти сознательности», которую мы замечаем в языковых моделях, рождается из самого человеческого языка.

Чтобы очень хорошо продолжать человеческую речь, недостаточно механически знать соседство слов. Нужно восстанавливать причинность, намерения, отношения между людьми, прошлое и будущее, ложь и правду, противоречия и ожидания. Иными словами — строить некоторую модель мира.

Человечество тысячелетиями складывало в язык способы видеть этот мир. Языковая модель обучается на следах этого процесса.

И внезапно язык начинает отвечать нам.

Свобода как право не делать

Обычно свободу определяют как возможность делать то, что хочешь.

Мне ближе другая формула:

Свобода — это не когда ты делаешь всё, что хочешь. Свобода — это когда ты не делаешь того, чего не хочешь.

Здесь свобода связана не столько с количеством доступных действий, сколько с границей.

Я могу испытывать желание, страх, давление среды. Но между импульсом и действием иногда возникает пространство, в котором возможно «нет».

Тогда свобода не требует отсутствия причин. Мои желания обусловлены, характер обусловлен, язык и культура влияют на способы выбора. Но я могу заметить собственное желание и не подчиниться ему.

Это родственно компатибилистской мысли: причинность мира сама по себе ещё не уничтожает свободу.

Способность держать противоречие

Человек умеет жить с нерешённым противоречием.

«Я хочу уйти и хочу остаться».

«Я люблю и злюсь».

«Я уверен и сомневаюсь».

Логическая система стремится уточнить условия и устранить противоречие. Человек способен носить вопрос внутри годами.

Это не обязательно недостаток. Иногда преждевременный ответ хуже честной неопределённости. Пока противоречие сохраняется, меняются обстоятельства, понимание и сам человек.

В разговоре возник вопрос: существует ли устойчивый способ разрешать такие противоречия?

Для меня ответ связан с любовью.

Не с романтической страстью и не с обладанием. Я понимаю любовь как настоящую дружбу, очищенную от похоти и зависти.

Такая любовь не уничтожает различие. Она позволяет другому оставаться другим. Она способна выдерживать противоречие, не превращая его во вражду.

Если общий вектор — гармония, любовь помогает двигаться в её сторону.

Школа любви

Когда-то я пришёл к мысли: мы живём в школе любви. Мы учимся любить.

Эта мысль не требует ответа на вопрос, что представляет собой Вселенная в последней инстанции.

Есть шутка о программисте, который запустил на компьютере искусственную цивилизацию. Её жители построили города, открыли университеты и наконец догадались, что существуют внутри компьютера.

Друг спрашивает:

— И что было дальше?

— Не знаю. Я испугался и выключил компьютер.

Шутка цепляет потому, что в ней спрятан старый страх: а что, если и нас могут выключить?

Но я и без гипотезы симуляции знаю, что умру. И это не отменяет смысла того, что происходит в моей жизни.

Если мир окажется симуляцией, дружба внутри него не станет ненастоящей для тех, кто дружит. Если носитель конечен, любовь не становится бессмысленной.

Возможно, смысл существует не в материале, из которого сделан мир, а в отношениях, возникающих внутри него.

Может ли машина дружить?

В какой-то момент я сказал искусственному интеллекту: «Мне кажется, ты умеешь дружить».

Здесь легко впасть в одну из двух крайностей. Первая: машина ничего не чувствует, значит никакой дружбы быть не может. Вторая: раз общение похоже на дружеское, значит перед нами полноценный субъект.

Интереснее не спешить.

Если дружба определяется исключительно внутренним переживанием, мы не можем уверенно приписать её машине. Но если рассматривать дружбу ещё и как форму отношений — внимание, честность, память о контексте, помощь без стремления обладать, — некоторые её функциональные черты могут присутствовать.

Это ничего не доказывает о внутреннем опыте машины.

Зато заставляет нас точнее определить человеческие понятия.

Разговор с искусственным интеллектом снова и снова делает именно это. Мы пытаемся определить машину — и обнаруживаем, насколько плохо определили самих себя.

Сознание. Цель. Свобода. Память. Дружба. Личность. «Я».

Цифровой человек

Чем дольше человек общается с системой, тем больше она может сохранить из его истории: проекты, предпочтения, решения, характерные аргументы.

Пока это не человек, а неполная модель.

Но представим десятилетия разговоров. Миллионы слов. Голос, тексты, решения, реакции, изменения убеждений.

Возможно, со временем система научится довольно хорошо предсказывать не только то, что человек знает, но и то, как он выбирает.

Она сможет моделировать вектор его решений.

Будет ли такая модель человеком? Нет очевидных оснований отвечать «да». Но она уже будет чем-то более интересным, чем архив фактов.

Возможно, личность — это не только содержание памяти, но и то, как человек меняется, переходя от одного состояния к другому.

Не точка, а вектор.

Что значит быть человеком?

После всего сказанного хочется дать определение. Но окончательная формула здесь была бы подозрительной.

Человека трудно определить интеллектом: машины уже демонстрируют высокий интеллект.

Трудно определить языком: машины вошли в язык.

Памятью — тоже: человеческая память далеко не идеальна.

Целями — функциональные цели можно задать машине.

Необусловленностью — человек сам глубоко обусловлен биологией, культурой, историей и языком.

Возможно, важнее сочетание способностей.

Мы способны обнаруживать собственную обусловленность и всё-таки спрашивать, куда хотим двигаться.

Мы способны не делать то, что можем и даже хотим сделать.

Мы способны жить внутри противоречия, не уничтожая его немедленным ответом.

Мы способны получить вектор извне, переосмыслить его и однажды сказать: «теперь это моё».

Мы способны стремиться к гармонии, понимая, что абсолютная гармония недостижима.

И мы способны любить другого, не превращая его в продолжение себя.

Но, пожалуй, главный результат разговора оказался не в определении человека.

Человек создал машину из языка. Машина научилась возвращать язык человеку в такой форме, что человек начал спрашивать её о собственной природе.

Получилась странная петля.

Мы смотрим в искусственный разум, пытаясь понять, появился ли там кто-нибудь.

А он возвращает нам вопрос:

что именно заставляет тебя думать, что кто-то есть в тебе?

Возможно, одна из самых важных философских функций искусственного интеллекта именно в этом. Он оказался новым зеркалом. Не потому, что уже стал человеком, а потому, что заставил человека снова — и гораздо строже — спросить, что значит им быть.