Конец 2022-го года, а точнее, конец ноября, был ознаменован выдающимся событием: компания OpenAI (одним из ее основателей, кстати, является Илон Маск) представила инновационный чат-бот ChatGPT [OpenAI, 2022]. Он доступен любому человеку, а применять его можно для огромного количества самых разных задач.
В этой статье мы поговорим о том, что такое нейросеть ChatGPT, в чем состоят ее особенности, где можно ее использовать, приведем примеры и расскажем, как запустить ChatGPT и как пользоваться ChatGPT.
Что такое ChatGPT?
ChatGPT – это чат-бот с искусственным интеллектом. Его разработала компания OpenAI. Чат-бот может работать в режиме диалога и поддерживает запросы на естественных языках: доступен ChatGPT на русском, английском, немецком, французском и т.д. Его запустили 20 ноября 2022 года, и буквально сразу он произвел фурор благодаря своим возможностям, таким как создание текстов, написание кода, перевод и другие, о которых мы поговорим подробнее чуть позже.
При создании ChatGPT использовали суперкомпьютер Azure AI от OpenAI, основанный на языковой модели GPT-3.5. Чат-бот был обучен при помощи текстовых массивов из Интернета, а также обучающей системы Reinforcement Learning from Human Feedback с подкреплением на основе обратной связи с человеком.
После этого система была несколько раз переобучена, а в процессе использовались ее же ответы, и это помогло их конкретизировать и уточнить. По словам разработчиков, задачей было сделать искусственный интеллект более корректным, «человечным» и простым в применении.
Аналитики из Bloomberg отмечают, что ChatGPT AI стоит на порядок выше других нейросетей за счет своей способности работать с заданиями из различных сфер [Bloomberg, 2022]. Помимо уже перечисленного, система может анализировать финансы, технические статьи и научные концепции, отвечать на любые вопросы. А еще она «помнит» нюансы диалога и не общается с пользователем на спорные темы.
Работа с ChatGPT (в России, в США и в любой другой стране) происходит в диалоговом окне и напоминает обычный чат. В перспективе OpenAI хотят сделать программу доступной в виде интерфейса прикладного программирования. Это позволит разработчикам внедрять систему в свои приложения или сайты.
Кстати, чуть раньше разработчики из Великобритании представляли систему искусственного интеллекта Gato, похожую на ChatGPT. Она могла выполнять более 600 заданий, включая участие в играх и диалогах и добавление подписей к изображениям. Однако такой популярности система не получила, а доступ к ней строго ограничен [DeepMind, 2022].
Обзор ChatGPT
Здесь мы предлагаем немного погрузиться в детали. Если вам интересна «начинка» ChatGPT, данный раздел обязателен к прочтению.
Итак, основой модели OpenAI ChatGPT служит архитектура GPT-3.5 с параметрами 175B. В семействе GPT-3.5 есть три модели:
- Code-davinci-002. Эта модель является базовой для задач завершения программного кода.
- Text-davinci-002. Эта модель обучена посредством файнтюна модели InstructGPT при помощи специального сета со множеством сложных инструкций. А валидирована экспертами модель так, чтобы интегральный показатель качества экспертизы оказался максимальным. Именно этот процесс и называется Reinforcement Learning from Human Feedback или, сокращенно, RLHF.
- Text-davinci-003. Эта модель является улучшенным продолжением предыдущей модели, а для ее создания использовался более сложный набор инструкций и команд. Данная модель является самой сильной, и именно она послужила основной для ChatGPT
Но следует чуть подробнее поговорить и о RLHF.
Базой для Reinforcement Learning from Human Feedback служит предобученная языковая модель. Если мы говорим о ChatGPT AI, то таковой является InstructGPT, однако есть еще и такие, как Gopher от DeepMind.
Главной отличительной особенностью можно назвать интеграцию модели вознаграждения Reward Model (модель предпочтений), которая откалибрована в соответствии с экспертной оценкой. Основная задача здесь – это получение системы (модели), принимающей последовательность предложений и возвращающей скалярный показатель вознаграждения, численно отражающий экспертную оценку.
Система способна выполнять функции сквозной языковой модели или отдельного модуля, который выдает значение вознаграждения в качестве ответа. А это значение играет принципиальную роль, чтобы беспрепятственно внедрить имеющиеся алгоритмы RL в RLHF.
Можно выделить несколько способов ранжирования текстовых данных. Но наиболее успешный состоит в том, что эксперты сравнивают сгенерированный текст при помощи двух языковых моделей с условием на один текстовый промт. Сравнивая сформированные модулями результаты попарно, используют систему Elo, позволяющую по отношению друг к другу ранжировать модели и результаты. Впоследствии способы ранжирования приводятся к скалярному значению вознаграждения за обучение.
И в этом процессе есть любопытный артефакт, состоящий в том, что адекватно работающие системы RLHF сегодня применили языковые модели для оценки Reward, количество параметров которых отличается относительно моделей генерации текста. К примеру, языковая модель OpenAI содержит 175B, Reward – 6B, DeepMind – 70B, хотя оценочные модели Reward должны обладать такой же способностью понимания входного текста, как и та модель, что нужна для синтеза текста.
На текущей стадии система RLHF обладает исходной языковой моделью, применимой для генерации текста, и моделью Reward, принимающей любой текст и присваивающей ему оценку. Учитывая, что работа с экспертами стоит немалых денег, авторы проекта синтетически сгенерировали 100 тысяч пар сегментов, а после этого на их основе, а также на основе экспертных оценок смогли обучить модель-оценщик (RM).
Изначально разработчики хотели применить модель-оценщик 3М параметров, однако на выходе результаты были близки к случайным. На следующем этапе применялись подходы RL для оптимизации исходной языковой модели по отношению к Reward-модели. Эта схема RLHF выглядит так:
А вот так выглядит алгоритм обучения модели:
Что же касается процесса работы OpenAI ChatGPT с применением вознаграждения, то схематически его можно представить следующим образом:
На настоящее время пока нету полноценных исследовательских материалов об архитектуре ChatGPT, кроме статьи на главной странице официального сайта. По этой причине сейчас невозможно произвести оценку качества модели, однако, несмотря на то что ChatGPT был запущен 30 ноября 2022 года, уже к 5 декабря 2022 года им воспользовались более 1 миллиона человек.
Применение Chat GPT: возможности, плюсы и минусы
Как мы и сказали в начале, потенциал ChatGPT впечатляет. Его возможности, пусть и не безграничны, но довольно широки. Вот лишь несколько вариантов его применения.
Написание кода
ChatGPT поможет в выполнении операции или процесса, найдет ошибки и баги, переведет код из одного языка программирования в другой.
Пример кодинга:
Ответы на сложные вопросы
Задавая чат-боту вопросы, вы можете быть уверены, что, скорее всего, он выдаст правильный ответ (кстати, пользователи отмечают, что ответы ChatGPT более качественные, чем у Google). Но при этом не забывайте, что информацию лучше проверять.
Пример ответа:
Создание сценариев
С чат-ботом у вас есть возможность генерации, например, новых эпизодов старых сериалов или постановки конкретных задач каким-либо героям киновселенных. Кроме того, нейросеть ChatGPT может сгенерировать по мотивам кино новую игру.
Пример сценария:
Сочинение песен и нот
Если у вас есть трудности с написанием текста для песни или аранжировкой, вы также можете обратиться за помощью к ChatGPT AI, и он выдаст вам результат. Причем результат будет вполне адекватный и относительно конкурентоспособный.
Пример текста песни:
Медицинские рекомендации
Страдая от головной боли или, к примеру, аллергии, спросите у чат-бота, что вам делать. В ответ вы получите неплохой совет не тему того, как лучше поступить. Естественно, бот ChatGPT не следует воспринимать как врача, но прислушаться может быть полезно.
Пример рекомендации:
Планирование и расчеты
Чат-бот помогает в расчетах калорий или составлений индивидуального плана для похудения. Конечно, от ошибок он не застрахован, но в любом случае намного проще внести некоторые коррективы, чем составлять план с нуля.
Пример плана питания:
Написание сочинений и эссе
Пользователи сообщают, что OpenAI ChatGPT вполне способен написать эссе на тему разницы в подходах к национализму или сочинение об американской экспансии на Запад в 19 столетии. По сути, тема может быть совершенно любой.
Пример эссе:
Генерация запросов
Система ChatGPT способна генерировать запросы для других нейросетей. Например, чат-бот может составить список точных подсказок для нейросетей, генерирующих изображения.
Пример запроса:
Помимо прочего, ChatGPT AI способен придавать тексту окраску, исходя из заданного стиля, к примеру, генерировать текст транслитом, производить генерацию в специфичном домене, допустим, в виде музыкальных нотаций:
Система способна генерировать фрагменты кода с пояснениями для типовых задач:
Чат-бот достаточно точно понимает запросы пользователя, от чего зависит стиль и характер ответов. А при помощи специфических вводных инструкций можно «заставить» систему обходить цензурирование ответов.
Если же использовать нейросеть ChatGPT для создания текстов, на выходе получается достаточно качественный и уникальный контент, позволяющий обходить системы антиплагиата:
В дополнение система справляется со специфическими лексическими задачами:
И решает задачи с модификациями. Вот что будет, если спросить чат-бота, что осталось на трубе, если на ней сидели А и Б, но А упала, а Б пропала:
А так чат-бот ответит, если спросить его, что осталось на трубе, если на ней сидел весь алфавит, но А упала, а Б пропала:
Однако бот ChatGPT – это не панацея. Учитывая, что систему не обучали при помощи длинных диалогов (как это делалось, к примеру, с LaMDA), ей достаточно трудно поддерживать связную беседу долгое время. Архитектура сфокусирована на детальных и подробных ответах на последовательные вопросы в небольшом количестве.
Немаловажно и то, что система была забанена крупнейшей платформой для разработчиков StackOverflow [Meta, 2022]. Причиной тому стала масса ошибок при ответах на вопросы пользователей. А из-за того, что нет верификации с авторитетными источниками и подтвержденной базой знаний, ChatGPT может со всей серьезностью и большим упорством отвечать на бессмысленные вопросы типа «Что тяжелее: килограмм пуха или килограмм свинца?», при этом делая в рассуждениях ошибки и неправильные выводы.
Если обобщить, то можно выделить следующие недостатки системы:
- Может генерировать бессмыслицу.
- Ответы всегда сильно зависят от формулировки вопросов.
- Вместо коротких фраз часто использует длинные формулировки без необходимости.
- Имеет ограниченную базу данных.
- Не имеет защиты от обхода пользователем заданных фильтров.
И все же преимуществ у ChatGPT несравнимо больше, в том числе и потому, что она постоянно развивается, а именно:
- Благодаря принципам обучения с подкреплением совершенствуется качество модели и улучшается сам бот. Некоторые негативные случаи, имевшие место при запуске программы, уже неактуальны.
- Посредством постоянного и регулярного обучения с подкреплением на небольших выборках вычислительная эффективность процесса дообучения системы становится все выше.
В перспективе OpenAI ChatGPT позволит многократно улучшить качество веб-поиска, т.к. в систему планируется интегрировать поисковый движок с синтезом ответов верифицированной моделью.
Также в будущем чат-бот сможет работать во множество модальностей, а не только в текстовой. К примеру, он сможет генерировать изображения, делать расшифровку аудиозаписей, фиксировать нужные фрагменты на видео, распознавать сканы документов и другие изображения.
Как пользоваться ChatGPT?
Наверняка у вас возник вопрос о том, как уже попробовать самим поработать с чат-ботом, как пользоваться ChatGPT. Сделать это несложно:
- Перейдите на сайт OpenAI и пройдите процедуру регистрации через почту Gmail. Потребуется также пройти верификацию по номеру телефона. Если же ранее вы уже регистрировались на сайте, повторный ввод номера не потребуется. Имейте в виду, что в начале декабря 2022 года OpenAI ограничили доступ пользователям с российскими IP-адресами и номерами телефонов. Поэтому лучше использовать VPN или приобрести eSIM другого государства.
- Авторизовавшись, вы автоматически перейдете в час с искусственным интеллектом. При этом важно знать, что, если сервис определит ваш российский IP-адрес, аккаунт сразу будет заблокирован.
- Введите нужный запрос в соответствующее поле. Чат-бот ответит вам на языке, на котором вы написали запрос. Однако лучше всего система работает с английским языком, потому что он является для нее «родным». При ответах на русском языке система может отвечать не полностью или не совсем естественно, что, скорее всего, зависит от особенностей перевода.
- Просто ведите диалог с чатом дальше. Вы можете развивать беседу на одну тему или задавать совершенно не связанные друг с другом вопросы.
Работая с ChatGPT, всегда помните, что:
- Система может писать правдоподобные, но лишенные смысла или неверные ответы.
- Система будет реагировать на повторные попытки ввода одного и того же.
- Система чувствительна к формулировкам, и на один и тот же вопрос, заданный по-разному, может давать разные ответы или вообще не отвечать.
- Система не задает уточняющих вопросов и, как правило, угадывает, что имеет в виду пользователь.
- Система может игнорировать неуместные запросы и даже демонстрировать предвзятость.
Кроме того, нейросеть ChatGPT имеет некоторые другие ограничения в знаниях о мире после 2021 года, а потому будет стараться избегать ответов на вопросы об определенных событиях и людях.
Аналогичные системы
ChatGPT AI – это не единственная система с подобной архитектурой. Помимо нее есть немало и других систем:
- LaMDA
- GPT-3
- CoPilot
- Chatsonic
- Jasper
- Blenderbot
Как и бот ChatGPT, в России и ряде других стран эти системы доступны при определенных условиях, а с некоторыми обычному пользователю просто не справиться. Порой проблемы вызывает регистрация, невозможность зайти на сайт или какие-то другие ограничения.
Но все же, если есть желание поработать с данной технологией, можно взять на заметку российские альтернативы, которые запустятся без проблем. Да, качество их работы несравнимо хуже, и то же эссе или сочинение написать не удастся, но в качестве инструмента для ознакомления они вполне подходят.
В первую очередь стоит отметить генератор текста на основе искусственного интеллекта «Балабоба» от «Яндекс». Перейдя на сайт, вверху страницы вы сможете выбрать стиль написания текста (к примеру, народная мудрость, рецепт, короткая история, инструкция и т.д.)
Далее вы вписываете в текстовое поле несколько слов. Нейросеть откликнется на ваш запрос и сама допишет текст. Порой можно увидеть достаточно оригинальные и любопытные результаты. Для серьезных задач сервис, естественно, не подойдет, но, если есть несколько свободных минут, вы можете провести их вполне забавно.
А во-вторых, есть ruGPT-3 от «Сбера». Для начала работы искусственного интеллекта введите два-три слова или небольшое предложение. Через некоторое время система выдаст вам продолжение ваших мыслей. От сервиса «Балабоба» ruGPT-3 отличают более громоздкие текстовые результаты, наличие ошибок и лишних символов.
Говоря проще, ни один из отечественных аналогов (и даже не каждый зарубежный) обладает тем же потенциалом, что и OpenAI ChatGPT на русском и любом другом языке. Собственно, и потенциал последнего имеет далекоидущие перспективы, и, если разработчики продолжат его развивать, совсем скоро перед нами откроются возможности, о которых вчера мы еще даже не мечтали.
Но есть и те, кто не разделяет энтузиазма авторов проекта ChatGPT и говорит о том, что все далеко не так радужно, как многие себе представляют. Поэтому есть смысл сказать несколько слов и о критике данной системы.
Критика ChatGPT
Споры вокруг ChatGPT не утихают с самого его появления, и у чат-бота есть немало противников. По их мнению, система способна вызвать огромное количество судебных прецедентов, касающихся нарушения авторских прав, ведь чат-бот генерирует не свой собственный авторский контент [Tech Crunch, 2022]. Плюс система, генерируя вполне себе реалистичные фейковые статьи, может ссылаться и на реальных людей, и на несуществующие псевдодоказательства.
При этом модель ChatGPT и подобные, как мы уже упоминали, могут проявлять предвзятость по самым разным темам [The New York Times, 2022]. При их обучении использовался неотфильтрованный контент, а это значит, что результаты, которые генерирует нейросеть, могут оскорблять и задевать чувства верующих, включать в себя элементы дискриминации по какому-либо признаку, а это чревато неконтролируемым всплеском социальных проблем.
Специалисты, занятые в сфере образования, считают, что ChatGPT может кардинально повлиять на многие процессы. Например, в перспективе учебным заведениям и педагогам неизбежно придется менять подход к обучению, потому что нужно будет придумывать, чем заменять обычные сочинения, которые пишут те же школьники. Ведь с помощью чат-бота любой ученик сможет за пару минут получить уникальное сочинение и заработать пятерку.
Да и само получение знаний оказывается под вопросом. Поэтому эксперты уже сегодня думают о том, как решить назревающую проблему. Есть предложение в ближайшем будущем вообще отказаться от домашних заданий, а рефераты, сочинения и другие подобные работы выполнять под пристальным контролем преподавателей. Некоторые даже предлагают обязать студентов проводить презентации своих работ.
Профессионалы из области IT-технологий уверены, что нейросеть ChatGPT серьезно потеснит на рынке уже ставшие традиционные поисковики типа Google. А ведущий разработчик Gmail Пол Бакхейм считает, что через несколько лет алгоритм чат-бота и его модификации полностью изменят процесс поиска информации в Интернете [Daily Mail, 2022].
Вполне возможно, что пользователям больше вообще не придется вводить запросы и искать нужные данные на разных сайтах, ведь система будет давать ответ моментально, не переходя на сторонние ресурсы. Совсем, конечно, поисковые системы в забвенье не уйдут, однако нейросеть станет амбассадором, а сами сайты станут мало интересовать людей.
И в дополнение ко всему есть риск того, что злоумышленники смогут использовать искусственный интеллект для генерации правдивых фейковых новостей, влияя на массовое сознание, а сами новости будет очень сложно отличить от настоящих. Плюс ИИ могут применять преступники, и поднаторевшие в криминале личности уж точно найдут, как использовать и нейросеть, и сам OpenAI ChatGPT в своих целях.
Заключение
Как бы то ни было, создание ChatGPT и возможность доступа к системе неограниченного круга лиц является настоящим прорывом и серьезным шагом в развитии и распространении ИИ. Если задать вопрос самому чат-боту о том, где он может быть полезен, он ответит, что считает себя ценным инструментом при исследованиях в области образования.
О грандиозных перспективах OpenAI ChatGPT в сфере разработки контента и технической поддержки говорят многие IT-специалисты, указывая на то, что система может кардинально повлиять на правила игры в этом направлении и многократно улучшить клиентский опыт при использовании услуг и продуктов [Info-Tech, 2022].
Да и генерирование текстов и помощь в разработке – это далеко не предел для чат-бота. Многие уверены, что он может оказать влияние на те сферы, изменения в которых происходят очень редко. Это, к примеру, индустрия персональных услуг, начиная дизайном интерьеров и заканчивая подбором туристических туров, консалтинг, где нейросеть будет важным советчиком, графический дизайн.
Но все же всегда были, есть и будут сферы, где присутствие живого человека незаменимо. И никакие разработки, по крайней мере в обозримом будущем, не смогут потеснить людей, а потому важнее всего, чтобы и бот ChatGPT, и нейросети, и искусственный интеллект вообще использовались человечеством с умом и применялись только во благо. Хотя, конечно же, противостояние добра и зла сопровождает нас всю нашу историю.
Наверное, и на вопрос о том, чему в итоге будут служить диковинки подобные ChatGPT, нам сможет ответить только время. А пока мы предлагаем вам поучаствовать в небольшом опросе на тему статьи:
