Настоящая история ИИ, ч. 3: рекомендации и зрение (2000-2012)

Десятилетие, в котором ИИ вошёл в твой карман

Если бы в 2010 году тебя спросили «пользуешься ли ты ИИ?», ты бы, скорее всего, ответил «нет». На деле в этот год ты уже:

• получал рекомендации фильмов от Netflix (коллаборативная фильтрация),
• видел квадратики автофокуса вокруг лиц в фотоаппарате (Viola-Jones),
• доверял Gmail отсеивать миллиарды спам-писем (наивный байесовский классификатор),
• строил маршруты в Google Maps (графовые алгоритмы на собранных данных о пробках),
• видел рекламу, подобранную под твой поисковый запрос (логистическая регрессия на огромных разреженных наборах признаков),
• слушал плейлист Last.fm «Рекомендованное для тебя» (item-item collaborative filtering),
• набирал текст в iPhone с автоисправлением (статистическая модель языка).

Это третья часть истории ИИ - период тихой революции 2000-2012, когда технология стала вездесущей, но почти невидимой. И именно в этот период созрели ингредиенты, на которых через десять лет взлетит ChatGPT.

2001: Viola-Jones и лица в каждом фотоаппарате

В 2001 году Пол Виола из Mitsubishi Electric Research Labs и Майкл Джонс из Compaq CRL опубликовали алгоритм быстрой детекции лиц Viola-Jones. По устройству - каскадный классификатор на признаках Хаара, обученный методом AdaBoost. Прорыв был в скорости, а не в точности: алгоритм обрабатывал кадры 384x288 со скоростью 15 кадров в секунду на Pentium III 700 МГц (Viola & Jones, 2001).

В феврале 2005 года Nikon объявил автофокус с приоритетом лиц в трёх компактных камерах Coolpix и назвал это первым случаем в отрасли; в основе была технология FaceIt компании Identix, а не Viola-Jones (Photography Blog, 2005). Скоро квадратики автофокуса вокруг лиц появились и в других камерах. Это один из первых случаев, когда компьютерное зрение работало на конечном устройстве, обходясь без облака и сети.

Никто не называл такие фотоаппараты «AI camera», они были просто «smart camera». Слово «AI» вернётся в маркетинг камер гораздо позже, когда смартфоны начнут различать сцены с помощью свёрточных нейросетей.

2006: Netflix Prize - 1 миллион долларов за 10%

В октябре 2006 года Netflix объявил конкурс с призовым фондом в миллион долларов для команды, которая улучшит точность его рекомендательной системы Cinematch на 10%. Открытый датасет: 100 миллионов оценок от 480 000 пользователей по 17 770 фильмам. До этого каждая компания разрабатывала рекомендации втайне, а Netflix Prize вынес тему на публику.

Конкурс длился почти три года. Решения прислали более 40 000 команд из 186 стран (Netflix, 2009). Победила в 2009 году команда BellKor's Pragmatic Chaos, объединившая решения трёх отдельных команд в один большой ансамбль моделей, который преодолел планку в 10%.

Само победившее решение Netflix так и не запустил: позже в техническом блоге компания написала, что прирост точности не оправдывал инженерных затрат на внедрение (Netflix Tech Blog, 2012). Но конкурс сделал две вещи, которые перевернули индустрию:

1. Популяризировал матричную факторизацию (SVD, ALS) как стандартный инструмент рекомендаций.
2. Научил поколение инженеров работать с большими разреженными матрицами на обычном железе.

После Netflix Prize коллаборативная фильтрация пришла в каждый сервис, где у тебя был профиль и какие-то предпочтения. YouTube, Amazon, Spotify, Last.fm, eBay - всё это работало на наследниках техник, отточенных на конкурсе Netflix.

Из личного опыта: Last.fm и магия «Recommended for you»

Где-то в 2007 году я установил Last.fm - сервис, который собирал («scrobbled») информацию о каждом треке, который я слушал на компьютере и в плеере. Через две-три недели у меня сформировалась библиотека прослушиваний на несколько тысяч композиций, и появилась вкладка «Recommended for you».

Я открыл её - и испытал то самое жутковатое ощущение, которое лет через десять станут испытывать пользователи TikTok. Сервис рекомендовал мне исполнителей, про которых я не слышал, но которые были точно по моему вкусу. Вместо банального «если вам нравится Radiohead, послушайте Coldplay» он предлагал необычные сочетания, которых я бы сам не нашёл, - какой-нибудь латвийский постпанк, который и правда оказывался хорош.

Внутри работала item-item коллаборативная фильтрация. Last.fm для каждого исполнителя считал, кто ещё его слушает, и сравнивал множества пользователей. Если множество слушателей A и множество слушателей B сильно пересекались - значит, A и B «похожи», и любителю A можно рекомендовать B. Нейросетей и «понимания» музыки там не было, только статистика на матрице «пользователь × исполнитель».

В 2007 году это уже работало в потребительском продукте. В 2024 году TikTok с его рекомендательным алгоритмом производит на пользователей ровно то же впечатление, а между ними семнадцать лет одной и той же базовой идеи, которую всё лучше масштабировали.

2007: iPhone и статистическое ML на устройстве

В январе 2007 года Стив Джобс показал iPhone. Его автоисправление текста, распознавание жестов мультитача и адаптация яркости экрана к освещению - всё это работало на статистических моделях, обученных на агрегированных данных пользователей.

Автоисправление iPhone было особенно интересным случаем. Внутри работала комбинация:

• Языковой модели на n-граммах (какие пары и тройки слов чаще встречаются вместе),
• Модели опечаток (какие буквы пользователи чаще задевают вокруг целевой клавиши),
• Персональной адаптации (если ты упорно набираешь «thx», его перестают исправлять).

Никто из миллионов пользователей iPhone в 2007 году не думал «у меня в кармане ИИ». Но это был ML в эксплуатации с ежедневной аудиторией в миллионы человек.

2009: ImageNet и ставка на данные

В 2009 году команда Фей-Фей Ли из Принстона представила ImageNet на конференции CVPR: 3,2 миллиона изображений, размеченных по 5247 категориям, с заявленной целью покрыть большую часть из 80 000 существительных WordNet (Deng и др., 2009). Позже датасет вырос до 14 миллионов изображений примерно по 22 000 категорий (Russakovsky и др., 2015). Разметку делали через Amazon Mechanical Turk.

Идея ImageNet была простой: компьютерному зрению не хватает данных, а не алгоритмов. Модели до 2009 года обучались на нескольких тысячах изображений. ImageNet давал три порядка больше.

С 2010 года стартовал ImageNet Large Scale Visual Recognition Challenge (ILSVRC) - ежегодное соревнование на подмножестве ImageNet (1000 категорий, 1.2 миллиона изображений). В 2010-2011 годах победители использовали SVM с признаками, сконструированными вручную (SIFT, HOG, Fisher Vectors). Ошибка top-5 застряла на уровне около 26%: 28,2% у победителя 2010 года и 25,8% у победителя 2011-го (Russakovsky и др., 2015).

Запомните этот фон: в 2012 году случится событие, которое расколет историю компьютерного зрения надвое. Об этом - в части 4.

2011: IBM Watson и Jeopardy!

В феврале 2011 года суперкомпьютер IBM Watson обыграл двух чемпионов телешоу Jeopardy! - Брэда Раттера (победитель турнира всех времён) и Кена Дженнингса (74 победы подряд). Первая массовая демонстрация ИИ, отвечающего на вопросы на естественном языке - за 11 лет до ChatGPT.

Watson внутри был коктейлем из:

• Парсера вопросов на естественном языке (NLP).
• Поиска по 200 миллионам страниц структурированного и неструктурированного контента, включая всю Wikipedia (PCWorld, 2011).
• Сотен параллельных гипотез с ранжированием через машинное обучение.
• Базы знаний DBpedia и других структурированных источников.

Watson не был нейросетью. Под капотом - ансамбль методов классического NLP, информационного поиска и машинного обучения. Но массового зрителя это шокировало: машина понимает вопрос, ищет ответ, выбирает уверенный вариант и нажимает кнопку. Публике 2011 года это казалось тем же, чем ChatGPT стал в 2022-м.

Дальше IBM попыталась монетизировать Watson через медицинские приложения - и провалилась. В январе 2022 года IBM договорилась продать активы Watson Health по данным и аналитике фонду Francisco Partners (IBM, 2022). Ровно тот же урок, что в первой зиме: блестящая демонстрация на конкурсе - это ещё не работающий медицинский продукт.

Что вынести из этой эпохи

Главные тезисы части 3:

1. К 2010 году ИИ уже лежал в основе всех твоих ежедневных сервисов. Поиск, рекомендации, спам-фильтр, фотоаппарат, навигация, реклама - везде ML. Просто называли это «персонализацией» и «big data».
2. Netflix Prize стал водоразделом для рекомендательных систем. До него - закрытые корпоративные алгоритмы. После - открытая индустриальная дисциплина с известными техниками. Современные рекомендации YouTube и Spotify - наследники этого конкурса.
3. ImageNet был подготовлен ровно к моменту появления GPU. Если бы датасет вышел в 2005 году, на нём бы тренировали SVM. Если бы он вышел в 2015 году, мы бы потеряли три года прогресса. Взрыв 2012 года случился потому, что совпали три вещи: большие данные, GPU и алгоритмы.
4. У тихой революции есть урок. Самые успешные технологии редко приходят с ярлыком «AI». Когда продукт работает хорошо, он называется просто «продукт», а когда продукту нужен маркетинг, его называют «AI». В 2010 году Netflix не называл свои рекомендации «AI». В 2024 году каждое всплывающее окно с тремя кнопками называется «AI-powered».

В части 4 - 2012 год и большой взрыв глубокого обучения: AlexNet выигрывает ImageNet, word2vec даёт смыслы словам, появляются GAN, AlphaGo обыгрывает чемпиона мира по го, а в самом конце 2017 года выходит статья, которая через пять лет станет технической основой ChatGPT.

Дальше: Часть 1: перцептрон (1943-1980) · Часть 2: backprop и SVM (1980-2000) · Часть 4: deep learning (2012-2017) · Часть 5: от трансформера до ChatGPT.