Настоящая история ИИ, ч. 4: взрыв глубокого обучения (2012-2017)

Октябрь 2012 года

Октябрь 2012 года стоит запомнить. Приём работ на ImageNet 2012 закрылся 30 сентября, а 12 октября результаты представили на семинаре ECCV во Флоренции (ImageNet, 2012). Свёрточная нейросеть AlexNet Алекса Крижевского, Ильи Суцкевера и Джеффри Хинтона победила с top-5 ошибкой 15,3% против 26,2% у второго места (заявка с 15,3% дообучалась ещё и на выпуске ImageNet осени 2011 года, на одних выданных данных вышло 16,4%).

Отрыв в 10,9 процентного пункта от второй команды был событием другого порядка. Через несколько месяцев почти все исследователи компьютерного зрения перешли с SVM на нейросети. Через два года в каждом крупном стартапе специалисты по данным уже переучивались на глубокое обучение. Так начался большой взрыв.

Это четвёртая часть истории ИИ, про пять лет, в которые уместились почти все архитектурные идеи современного ИИ.

2012: AlexNet и пять суток на двух GPU

Чем AlexNet был так силён? Технически его успех объясняют три инженерных решения:

1. Глубина: 8 слоёв (5 свёрточных и 3 полносвязных).
2. Обучение на GPU: всю сеть пять-шесть суток обучали на двух потребительских NVIDIA GTX 580, то есть игровых видеокартах. Игровое железо решало большую задачу машинного обучения.
3. Регуляризация: ReLU вместо tanh (на CIFAR-10 ошибка обучения 25% достигалась в шесть раз быстрее), dropout (на каждом шаге случайные нейроны отключаются, чтобы сеть не переобучалась) и аугментация данных (растягивание, отражение, изменение цвета).

Ни одна из этих идей сама по себе не была новой. ReLU обсуждали с 2000-х, dropout Хинтон предложил в 2012-м, CNN существовали с 1989 года. Новым было их сочетание с GPU и ImageNet. Чудо 2012 года было инженерным, а не математическим.

2013: word2vec - смыслы из статистики

В 2013 году Томаш Миколов с коллегами в Google опубликовал word2vec - технику, которая превращает слова в плотные числовые векторы. Идея была удивительно простой: обучить неглубокую нейросеть предсказывать соседние слова в тексте. У внутренних представлений, которые при этом получались (embeddings), обнаружились неожиданные свойства:

• vector('king') − vector('man') + vector('woman') ≈ vector('queen')
• vector('Paris') − vector('France') + vector('Italy') ≈ vector('Rome')

Нейросеть, которую семантике никто не учил, выучивала её из одной статистики того, какие слова стоят рядом. Мысль о том, что смысл слова задаётся контекстами, в которых оно встречается, потом ляжет в основу всех языковых моделей. GPT, BERT, Claude работают с embeddings, которые по идее происходят от word2vec.

2014: GAN - сети, которые играют друг против друга

В 2014 году аспирант Иэн Гудфеллоу предложил Generative Adversarial Networks (GAN). Идея родилась в ночном споре в монреальском баре, и той же ночью он проверил её в коде.

В GAN две нейросети играют друг против друга. Генератор получает на вход случайный шум и пытается выдать правдоподобный объект, например лицо. Дискриминатору подают то настоящие данные, то подделки генератора, и он пытается их различить. Обе сети обучаются одновременно: генератор учится обманывать дискриминатор, дискриминатор учится не поддаваться. Со временем генератор выдаёт всё более реалистичные образцы.

К декабрю 2018 года StyleGAN от NVIDIA генерировал фотореалистичные лица несуществующих людей (вспомните сайт thispersondoesnotexist.com). Пока в 2020-2022 годах не пришли диффузионные модели, GAN оставались главной технологией генеративного ИИ.

2015: ResNet - сеть глубже мозга

В декабре 2015 года команда Microsoft Research (Хэ Кайминг с коллегами) опубликовала ResNet - архитектуру из 152 слоёв. Главный приём в ней - residual connections (остаточные связи), по которым градиент проходит через слои, не затухая.

Результат - 3,57% top-5 ошибки на ImageNet. Обученный разметчик, которого проверяла команда ImageNet, ошибался в 5,1% случаев. Та же группа Microsoft ещё в феврале 2015 года сообщила о 4,94%, первом опубликованном результате ниже человеческого; ResNet увеличил отрыв.

К 2016 году ResNet стал стандартной базовой архитектурой компьютерного зрения: на нём строили детекцию объектов, сегментацию, распознавание лиц. Идея остаточных связей потом перейдёт в трансформер 2017 года и в LLM.

2016: AlphaGo и игра, которую «невозможно» выиграть машине

Го долго считали недоступной для ИИ. В шахматной позиции около 35 допустимых ходов, в позиции го около 250. Дерево ходов в го ветвится так сильно, что число возможных позиций на доске около 10¹⁷⁰, это больше, чем атомов в наблюдаемой вселенной. Полный перебор, работавший в шахматах, на го не масштабировался ни при какой технике 1990-х и 2000-х.

В марте 2016 года AlphaGo от DeepMind (компании Google) выиграл у южнокорейского профессионала Ли Седоля матч из пяти партий со счётом 4:1. Внутри было три составляющих:

• Свёрточная нейросеть, оценивавшая позицию (value network).
• Свёрточная нейросеть, предлагавшая следующий ход (policy network).
• Поиск Монте-Карло по дереву (MCTS), которым управляли эти сети.

Сети обучались сначала на партиях людей, потом на миллионах партий с самими собой. Во второй партии AlphaGo сделал ход 37, про который комментаторы сказали, что человек так бы не сыграл. С этого хода стало ясно, что машина играет иначе, чем мы. Через год AlphaGo Zero научился го с нуля, не увидев ни одной человеческой партии, и обыграл версию, победившую Ли Седоля, со счётом 100:0.

Личная история: первое впечатление от AlphaGo

Я помню ночь на 9 марта 2016 года. Шла первая партия Ли Седоль - AlphaGo, и около двух часов ночи я смотрел трансляцию с переводом. Я был уверен, что Ли Седоль выиграет, так считали почти все эксперты. AlphaGo выиграл первую партию, потом вторую. Вторую я досматривал уже не из спортивного интереса: росло чувство, что у меня на глазах происходит что-то историческое.

Через пару дней я попробовал поиграть с похожими программами онлайн. Прямого доступа к AlphaGo DeepMind не давала, но появились движки на открытых весах. Я любитель уровня 12-кю, не профессионал, но даже мне была видна разница: машина играла не как человек. Дело было не в силе, а в манере. Она делала ходы, которые литература го веками считала странными или плохими, и эти ходы работали.

Тогда я впервые увидел, как ИИ находит то, чего люди не знали, вместо того чтобы повторять за ними. Через шесть лет то же чувство испытают программисты, когда Copilot напишет у них на глазах нетривиальный кусок кода. Через восемь лет - учёные, предсказывающие структуру белков с помощью AlphaFold. Всё это одна линия.

Декабрь 2017: Attention Is All You Need

12 июня 2017 года восемь исследователей Google опубликовали препринт, а в декабре статья вышла на конференции NeurIPS. Она называлась «Attention Is All You Need» и описывала новую архитектуру для машинного перевода - Transformer.

Трансформер отказался от рекуррентных связей (RNN/LSTM), которые приходилось мучительно обучать последовательно, слово за словом. Вместо них в нём работает механизм внимания (attention): каждое слово в предложении смотрит на все остальные и решает, насколько они важны для его контекста. Это дало два преимущества:

• Параллельность: трансформер обучается сразу на всей последовательности.
• Дальние зависимости: слово может напрямую «посмотреть» на любое другое слово в тексте, и информации не нужно проходить через цепочку шагов.

Статья 2017 года была про машинный перевод. Никто из авторов тогда не предсказывал, что через пять лет на этой архитектуре построят ChatGPT, Claude, Gemini и почти все LLM в мире. Через год Google выпустит BERT, а OpenAI - GPT-1, и начнётся гонка.

Что вынести из этой эпохи

Главные выводы части 4:

1. Большой взрыв 2012 года был инженерным, а не математическим. AlexNet соединил идеи 1980-х и 2000-х (CNN, ReLU, dropout) с GPU 2010-х и датасетом 2009 года. Когда пишут, что «глубокое обучение изобрели в 2012-м», речь о моменте взрыва, а не о появлении технологии.
2. Все ключевые архитектуры современного ИИ изобрели в эту пятилетку. AlexNet (CNN, 2012), word2vec (embeddings, 2013), GAN (генеративные сети, 2014), seq2seq с attention (2014-2015), ResNet (2015), Transformer (2017). Всё, что сейчас называют «ИИ», - вариации на эти архитектуры.
3. AlphaGo доказал, что ИИ может находить новое. До 2016 года считалось, что ИИ способен только повторить то, что есть в данных. AlphaGo, играя сам с собой, находил ходы, которых не видели за века записанных партий го, и это представление похоронил.
4. Трансформер 2017 года - редкая архитектура, которая заработала сразу и до сих пор остаётся главной. За девять лет (2017-2026) предлагали десятки альтернатив (Mamba, RWKV, S4, RetNet и другие), но все главные модели мира в 2026 году - трансформеры. Такого долгого согласия об архитектуре в истории ML ещё не было.

В части 5 речь пойдёт о последних пяти годах: BERT и GPT, масштабирование до GPT-3, InstructGPT, ChatGPT и моя личная история о том, как в 2019 году я собрал коммерческого копирайтера новостей на GPT-2, за три с половиной года до того, как мир «узнал об ИИ».

Дальше: Часть 1: перцептрон (1943-1980) · Часть 2: backprop и SVM (1980-2000) · Часть 3: рекомендации и зрение (2000-2012) · Часть 5: от трансформеров к ChatGPT.