Как работает ChatGPT?

ChatGPT – это можно сказать улучшенная версия предыдущей модели GPT 3, которая была натренирована на миллиардах слов и предложений по всему интернету. Когда он генерирует текст, он пытается предсказать каким должно быть следующее слово в данном конкретном предложении, опираясь на свою огромную выборку текстов. Конечным результатом становится имитация текста, написанного якобы человеком. ChatGPT еще иногда называют GPT 3.5, и основным различием является то, что OpenAI добавили обратную связь от людей в процесс обучения. Это называется Supervised Reinforcement Learning – обучение с учителем с подкреплением.

Почему это называется «обучение с учителем»? Потому что во время обучения модели, различные версии ответов на тот или иной запрос программой ранжируются человеком по качеству ответа: от наилучшей к худшей, и программе дается цифровое поощрение, когда она улучшает качество своего ответа. Модель дальше подвергается тонкой донастройке и регулированию, и процесс повторяется несколько раз.

Такой метод в итоге произвел языковую модель ИИ, которая в 100 раз меньше по размеру чем предыдущая модель GPT 3, но эффективность которой существенно выше. Для увеличения эффективности, разработчики модели создали архитектуру, состоящую из 175 млрд параметров (предыдущая модель состояла всего из 1,5 млрд параметров).

Как уже сказали, основное изменение по сравнению с предыдущей версией было то, что добавили обратную связь от человека. И в этом есть смысл, потому что очевидно, что люди знают, что нравится и что нужно другим людям, намного лучше чем компьютер, который пытается предугадать это вслепую.

Братский поединок: ChatGPT vs GPT-4

Cамая первая версия GPT, разработанная OpenAI, была выпущена в июне 2018 года. В ноябре 2022 году вышла нашумевшая версия GPT-3.5, более известная как ChatGPT, а в марте 2023 года – версия GPT-4.

Итак, в чем же различия?

1. Новые возможности

В отличие от ChatGPT, GPT-4 может работать с изображениями и понимать, что на них написано или нарисовано, тогда как ChatGPT ограничен только текстовым форматом работы.

2. Количество поддерживаемых языков

ChatGPT поддерживает около 20 самых популярных языков, включая английский, французский, испанский, немецкий и русский. У GPT-4 количество поддерживаемых языков значительно выросло до более чем 60, включая ряд региональных и малоизученных языков.

3. Размер обучаемой выборки

Обучение моделей нейронных сетей требует огромного количества данных. И здесь GPT-4 явно опережает своего "младшего брата". ChatGPT обучался на выборке, состоящей из более чем 45 терабайт текстовых данных. Это впечатляет, пока мы не узнаем, что размер обучаемой выборки для GPT-4 составляет более 100 терабайт!

4. Количество параметров для обучения

Параметры – это "строительные блоки" нейронных сетей. Чем больше параметров, тем сложнее и мощнее модель. Здесь GPT-4 снова опережает ChatGPT.

Предыдущие модели имели намного меньше параметров для обучения: GPT-1 имела 117 миллионов, GPT-2 – 1,5 миллиарда, GPT-3 и ChatGPT – 175 миллиардов параметров, что уже является гигантским числом. Из скольки параметров состоит архитектура модели GPT-4 официально пока неизвестно, но эксперты оценивают этот показатель от 300 миллиардов до нескольких десятков триллионов параметров, что уже становится примерно сопоставимо с количеством нейронов в человеческом мозге (около 100 трлн).

В результате этого эффективность модели по выдаче ответов намного улучшилась по сравнению с ChatGPT. Например, если ChatGPT мог сдать экзамен по праву среди 10 % самых худших участников теста, то GPT-4 теперь сдает экзамен среди 10 % самых лучших студентов. Кроме того, такая мощная архитектура позволяет GPT-4 обрабатывать до 25 000 слов одновременно, что в 8 раз больше, чем может обрабатывать ChatGPT.

5. Актуальность данных

ChatGPT был обучен на выборке данных, состоящей из миллиардов веб-страниц и других документов, собранных до сентября 2021 года. Это позволило модели получить обширные знания о мире, культуре, науке и других областях. Однако ChatGPT иногда теряется в современных вопросах или данных, появившихся после этого времени. GPT-4 преодолел этот недостаток, обучаясь на еще большей выборке данных, включающей события и информацию после сентября 2021 года. Это дает GPT-4 преимущество в понимании современных вопросов, новостей и тенденций, делая его более актуальным для пользователей.

6. Стоимость использования

ChatGPT можно использовать бесплатно на различных платформах. Для доступа к GPT-4 требуется, как правило, платная подписка. На самом сайте OpenAI подписка стоит 20 долларов, но можно найти более дешевые варианты (например, я пользуюсь про-версией https://you.com/ за 10 долларов в месяц, в которой также, судя по заявлениям на самом сайте, используется модель gpt-4).

GPT-5 и возможное появление сильного искусственного интеллекта

В сети появились новости о возможном появлении новой версии GPT-5 в декабре 2023 года. Новая версия может представлять собой общий (иногда также называется сильный) искусственный интеллект (Artificial General Intelligence, AGI) и революционизировать наш мир.

Сильный искусственный интеллект (AGI) – это уровень развития искусственного интеллекта, при котором машины способны понимать, обучаться и решать любые задачи, которые может решить человек. В отличие от слабого ИИ, который ограничен определенными областями знаний и способностей, AGI может адаптироваться к различным ситуациям и быстро обучаться новым навыкам. Это делает AGI неотличимым от человека в плане интеллектуальных способностей, но с преимуществом в скорости и мощности.

GPT-4, который вышел в марте 2023, уже впечатлил многих своими возможностями: поддержка мультимодального ввода (обработка текста и изображений), поддержка большего количества языков и доступ к интернету. GPT-4 успешно проходит множество тестов, предназначенных для людей, опережая предыдущие версии.

Ожидается, что GPT-5 будет способен выполнять задачи на уровне человека и общение с ним будет напоминать диалог с живым собеседником.

Однако, появление GPT-5 также вызывает опасения. С одной стороны, AGI может значительно повысить производительность различных процессов, ускорять работу людей и устранять монотонную и утомительную рутину. С другой стороны, наделение ИИ такой мощью может иметь непредвиденные последствия, о которых мы еще не задумались. Эксперты опасаются, что с GPT-5 может начаться новая эра дезинформации, когда соцсети наводнят убедительные нейросетевые боты, распространяющие ложную информацию.

Тем временем, Илон Маск и группа экспертов по искусственному интеллекту (ИИ) призывают к шестимесячной паузе в разработке продвинутых ИИ.

Примеры использования

Итак, давайте перейдем к более практическим вопросам и посмотрим на несколько интересных примеров использования ChatGPT / GPT-4.

1. Персональный фитнес-тренер и нутрициолог. Один пользователь попросил ChatGPT рассчитать его ежедневное количество потребления калорий, предоставив чату свой рост, возраст, вес и тот факт, что он не очень активный. ChatGPT рассчитал этот показатель (около 1800 калорий). Далее пользователь попросил какой дефицит калорий ему необходим, чтобы уменьшить свой вес на 8 килограмм за 4 месяца – ChatGPT рассчитал и этот объем. Далее ChatGPT создал план питания на неделю с указанием, что необходимо есть этому пользователю на завтрак, обед и ужин (включая сами рецепты, как их готовить и список ингредиентов), чтобы соответствовать тому плану, который обеспечит ему этот дефицит калорий для снижения веса.

Вы можете создать на основе ChatGPT фитнес-приложение, в котором пользователи также смогут предоставлять свои данные, а чатбот будет выдавать рекомендации как прийти к желаемому результату.

2. Написание эссе и сочинений: от статистики и экономики до истории и не только. Студенты и школьники среди первых оценили практическую применимость ChatGPT. Вам стоит только задать тему, необходимый объем и другие критерии при необходимости, и в течение меньше минуты – у вас уже готовый текст с правильной структурой и аргументацией. С учетом того, что ChatGPT не просто копипастит, а сам генерирует тексты, можно быть уверенным, что с плагиатом в тексте не будет никаких проблем. Однако, после того, как тысячи студентов начали пользоваться ChatGPT для написания своих сочинений, профессора университетов (в том числе и российских) озабочились этим и выступили против этой программы, появились даже дополнительные приложения, которые анализируют насколько высока вероятность того, что текст был написан искусственным интеллектом.

Интересен случай с одним университетским профессором. Он попросил ChatGPT написать эссе на заданную им тему, и после того как ChatGPT написал это эссе, он попросил его же и оценить это эссе, и ChatGPT предоставил полноценный анализ и оценку для написанного им же самим эссе.