ChatGPT дал удобный интерфейс к пяти годам масштабирования: BERT, GPT-1, GPT-2, GPT-3, InstructGPT. И копирайтер на GPT-2, собранный за три года до бума.

Михаил Савченко8 мин
Содержание8 разделов
  1. Финальная пятилетка
  2. 2018: BERT и GPT-1 - две ветви одной семьи
  3. 2019: GPT-2 и история про «слишком опасно»
  4. Из личного опыта: коммерческий копирайтер новостей на GPT-2 (2019)
  5. 2020: GPT-3 и закон масштабирования
  6. Январь 2022: InstructGPT и магия RLHF
  7. 30 ноября 2022: ChatGPT и продуктовый взрыв
  8. Что вынести из этой эпохи (и из всей серии)

Финальная пятилетка

В прошлой части мы остановились на декабре 2017 года и статье «Attention Is All You Need». В этой - последняя пятилетка истории ИИ до ChatGPT: 2018-2022, пять лет, которые превратили академическую архитектуру в продукт, у которого через два месяца было, по оценке UBS, 100 миллионов пользователей в месяц.

В этой части я покажу, что ChatGPT не был технологическим прорывом. Прорыв был продуктовым, а сама технология к тому времени уже четыре года работала в коммерческих стартапах. Знаю это по опыту: в 2019 году я сам зарабатывал на ней, об этом ниже.

2018: BERT и GPT-1 - две ветви одной семьи

В октябре 2018 года Google опубликовал BERT (Bidirectional Encoder Representations from Transformers) - модель на 340M параметров, обученную восстанавливать пропущенные слова в тексте. BERT был энкодером: смотрел на всё предложение сразу и хорошо понимал контекст. В октябре 2019 года Google объявил, что BERT поможет поиску лучше понимать каждый десятый англоязычный запрос в США (Google, 2019).

В июне 2018 года OpenAI выпустила GPT-1 (Generative Pre-trained Transformer) - модель на 117M параметров, обученную предсказывать следующее слово в тексте. GPT был декодером: генерировал текст слово за словом. На момент выхода GPT-1 был интересной академической работой, не более.

Две ветви - энкодер и декодер - развивались параллельно. До 2022 года индустрия в основном выбирала BERT (поиск, корпоративный NLP, классификация). После ChatGPT всё перевернулось: модели из одного декодера стали стандартом почти для любой задачи.

2019: GPT-2 и история про «слишком опасно»

В феврале 2019 года OpenAI анонсировала GPT-2 - модель на 1.5B параметров, в 13 раз больше GPT-1. И тут же сделала громкое заявление: полные веса не публикуются из соображений безопасности. Модель якобы способна генерировать настолько правдоподобные новости, что это может использоваться для дезинформации.

Сообщество разделилось. Одни сочли это разумной осторожностью, другие - маркетинговым ходом, направленным на привлечение внимания к продукту. OpenAI поэтапно выпускала всё большие версии: 124M в феврале, 355M в мае, 774M в августе, и наконец полную 1.5B в ноябре 2019 года (OpenAI, 2019).

К моменту полного релиза GPT-2 был доступен любому, у кого был ноутбук с приличной видеокартой. И именно в этот момент я попробовал его в коммерческом проекте.

Из личного опыта: коммерческий копирайтер новостей на GPT-2 (2019)

В 2019 году я работал над проектом для одного новостного агрегатора. Задача была простая на первый взгляд: брать сырые ленты от информагентств (биржевые новости, спортивные результаты, погода, корпоративные пресс-релизы) и переписывать их в читабельные короткие заметки в стиле конкретного издания.

Раньше эту работу делали штатные редакторы-рерайтеры: на каждую заметку уходило 5-10 минут. Издание выпускало около 200 рерайтов в день, и на них уходило время примерно трёх человек на полной ставке.

Я взял GPT-2 large (774M параметров), дообучил его на пяти тысячах «входов» (исходных лент) и «выходов» (рерайтов, которые делали редакторы). Дообучение заняло несколько часов на одной NVIDIA RTX 2080 Ti. Результат:

  • Время на одну заметку: 30 секунд (вместо 5-10 минут).
  • Качество: на 70% заметок редактор просто принимал результат, на 25% - правил один-два предложения, на 5% - переписывал заново.
  • Стоимость инфраструктуры: $200/месяц за сервер с GPU.
  • Окупаемость: за месяц.

Дело было в сентябре 2019 года. За три года и два месяца до того, как ChatGPT «научил мир, что бывают AI-копирайтеры». Никаких трансформеров я не изобретал, никаких архитектурных откровений у меня не было. Взял open-source модель, дообучил на конкретных данных, подключил к конвейеру. Самый обычный промышленный NLP 2019 года.

И таких, как я, в мире были тысячи. Jasper (тогда ещё Jarvis) запустился в начале 2021 года, копирайтинговая платформа Copy.ai - в 2020-м, Github Copilot вышел в июне 2021-го (GitHub, 2021) - всё это на GPT-3 или его ответвлении Codex. К моменту запуска ChatGPT в ноябре 2022 года в мире уже работали десятки коммерческих продуктов на GPT-моделях, обслуживающих миллионы пользователей.

ChatGPT изменил не технологию, а доступ к ней. Раньше, чтобы получить пользу от GPT, нужно было быть программистом. После 30 ноября 2022 года - достаточно было открыть сайт.

2020: GPT-3 и закон масштабирования

В мае 2020 года OpenAI анонсировала GPT-3 - модель на 175B параметров, в 117 раз больше GPT-2. Архитектура почти не изменилась. Главным научным выводом статьи «Language Models are Few-Shot Learners» стал закон масштабирования: качество модели предсказуемо растёт с увеличением размера, данных и вычислений.

GPT-3 показал ещё одно неожиданное свойство - few-shot learning. Модель могла решать новые задачи, увидев всего несколько примеров в промпте, без переобучения. Это было принципиально новым, потому что до GPT-3 каждая новая задача требовала собственного обучения.

В июне 2020 года OpenAI открыла доступ к GPT-3 через API. Сначала по списку ожидания, с осени 2021 - всем подряд. К марту 2021 года, по данным OpenAI, на GPT-3 работали больше 300 приложений, а API генерировал в среднем 4,5 миллиарда слов в день (OpenAI, 2021).

Январь 2022: InstructGPT и магия RLHF

В январе 2022 года OpenAI опубликовала статью «Training language models to follow instructions with human feedback». В ней был описан InstructGPT - GPT-3, дообученная через RLHF (Reinforcement Learning from Human Feedback) на следование инструкциям.

Технически RLHF выглядел так:

  1. Обучить базовую модель предсказанию следующего слова (это уже было сделано с GPT-3).
  2. Собрать датасет: люди пишут инструкции и образцовые ответы. Дообучить модель на них.
  3. Сгенерировать на каждый промпт несколько вариантов ответа. Попросить людей ранжировать их от лучшего к худшему.
  4. Обучить reward-модель предсказывать рейтинги людей.
  5. Дообучить основную модель через PPO так, чтобы она получала максимальный reward.

Результат: модель в 100 раз меньше GPT-3 (1.3B параметров) давала ответы, которые люди предпочитали ответам GPT-3 (175B) (Ouyang и др., 2022). Умнее она не стала, она научилась отвечать на то, о чём её спросили, вместо того чтобы продолжать текст в стиле обучающих данных.

Прямой предок ChatGPT - именно InstructGPT, а не сам GPT-3.

30 ноября 2022: ChatGPT и продуктовый взрыв

30 ноября 2022 года OpenAI запустила ChatGPT. Технически это была модель серии GPT-3.5, дообученная тем же способом, что InstructGPT, с чат-интерфейсом (OpenAI, 2022). Новых архитектурных идей в нём не было, изменились только формат и цена: чат вместо API и бесплатный доступ.

Эффект был виден сразу:

  • 5 дней до 1 миллиона пользователей, по словам Сэма Альтмана (Сэм Альтман, 2022).
  • 2 месяца до 100 миллионов пользователей в месяц по оценке UBS; TikTok, по данным Sensor Tower, шёл к этой отметке около 9 месяцев, Instagram - два с половиной года (Reuters, 2023).

И именно с этого момента в общественном сознании «родился ИИ». Большая часть массовой аудитории впервые столкнулась с большой языковой моделью именно через ChatGPT - и решили, что технология новая.

В реальности к тому моменту:

  • Архитектура (трансформер) была опубликована 5 лет назад (2017).
  • Базовая модель (GPT-3) была доступна через API 2.5 года (с 2020).
  • Подобные модели использовались в коммерческих продуктах с 2019 года (мой случай с GPT-2).
  • BERT обрабатывал поисковые запросы Google с 2019 года.
  • LSTM-модели генерировали тексты с 2015 года.
  • word2vec работал в промышленном NLP с 2013 года.

В ноябре 2022 года появился удобный интерфейс к ИИ, и пользоваться технологией стало так же легко, как Google Search.

Что вынести из этой эпохи (и из всей серии)

Главные тезисы части 5:

  1. ChatGPT - продуктовый, а не технический прорыв. Технология была готова к 2020 году. Не хватало только удобного интерфейса. Когда он появился - случился взрыв.
  2. Большинство важных элементов современного ИИ появились до 2022 года. Трансформер вышел в 2017 году, GPT в 2018-м, масштабирование до GPT-3 случилось в 2020-м, а RLHF и чат-интерфейс добавились уже в 2022-м. Двадцать лет работы превратились в «магию», которую массовая аудитория увидела впервые.
  3. Бизнес на больших моделях работал минимум за три года до ChatGPT. Я зарабатывал на GPT-2 в 2019 году, тысячи стартапов строили продукты на GPT-3 в 2020-2022 годах. ChatGPT не открыл коммерческий ИИ. Он сделал его видимым.

Последний пункт относится ко всей серии.

  1. История ИИ не начинается в ноябре 2022 года. Она начинается в 1943-м, проходит через две зимы, через пятнадцать лет невидимой работы в почте и поисковиках, через большой взрыв 2012-го - и завершается ChatGPT как ещё одним шагом, а не кульминацией. Линия не прервётся. Через десять лет современный ИИ покажется таким же простым, как сегодня кажется Last.fm 2007-го года.

Кто понимает эту историю, лучше видит будущее: следующий «большой взрыв» уже идёт, тихо и под другим именем, где-то в инфраструктуре, и маркетинг пока не нашёл для него слова. Так было с компьютерным зрением в 2005-м, рекомендательными системами в 2007-м и трансформерами в 2017-м.

ChatGPT всех удивил, хотя не должен был. Если бы массовая аудитория знала историю последних восьмидесяти лет, ChatGPT воспринимался бы как рядовой этап развития, а не как чудо. Что он, собственно, и есть.

Спасибо, что дочитали серию.

Дальше: Часть 1: перцептрон (1943-1980) · Часть 2: backprop и SVM (1980-2000) · Часть 3: рекомендации и зрение (2000-2012) · Часть 4: deep learning (2012-2017).

Часто задаваемые вопросы

  • В чём разница между BERT и GPT?

    BERT (Google, 2018) - двунаправленный энкодер: смотрит на всё предложение сразу и обучается восстанавливать пропущенные слова. Хорош для понимания текста (поиск, классификация). GPT (OpenAI) - однонаправленный декодер: предсказывает следующее слово по предыдущим. Хорош для генерации. До 2022 года BERT-подход доминировал в индустрии (поиск Google, корпоративный NLP), а GPT был академической веткой. После ChatGPT всё перевернулось, и стандартом стали генеративные декодеры.

  • Что такое RLHF и почему это сделало ChatGPT возможным?

    RLHF (Reinforcement Learning from Human Feedback) - это дообучение модели на предпочтениях людей. Сначала модель генерирует несколько вариантов ответа на промпт, затем человек ранжирует их от лучшего к худшему, затем по этим рангам обучается reward-модель, которая оценивает любой ответ, а потом основную модель дообучают через PPO так, чтобы она получала максимальный reward. Эта техника превратила GPT-3, которая «просто продолжала текст», в InstructGPT и ChatGPT, которые «следуют инструкциям и отвечают по делу».

  • Почему OpenAI задержала публикацию весов GPT-2 в 2019 году?

    OpenAI заявила, что это сделано из соображений безопасности - модель умела генерировать правдоподобные новости, что могло использоваться для дезинформации. Критики расценили это как маркетинговый ход (генерация шума вокруг продукта). Через девять месяцев OpenAI выпустила полную модель. С этого эпизода начались разговоры «эта модель слишком опасна», которые потом повторялись много раз.

  • Чем ChatGPT отличался от того, что было до него?

    Тремя вещами. Технически - почти ничем (это была GPT-3.5 с RLHF, доступная через API уже год). Продуктово - чат-интерфейс вместо API: любой человек мог открыть chat.openai.com и поговорить с моделью без единой строчки кода. С точки зрения маркетинга - OpenAI бесплатно открыла доступ всем, и сервис разошёлся сам, без рекламы. Прорыв был продуктовым, а технология к тому времени уже была готова.

  • Что было до ChatGPT в коммерческом применении GPT?

    Между запуском GPT-3 API (июнь 2020) и ChatGPT (ноябрь 2022) прошло 30 месяцев, во время которых десятки стартапов уже строили продукты на GPT-3. Jasper (бывший Jarvis) для копирайтинга, Copy.ai, Notion AI, Github Copilot (июнь 2021) - всё это работало на той же технологии за 1-2 года до того, как «все узнали об ИИ». Я сам в 2019 году собрал коммерческого копирайтера новостей на GPT-2 - о нём расскажу ниже.

AIHistoryGPTChatGPTTransformers