Amazon Mechanical Turk закроется 30 сентября 2026 года

Платформа микрозадач, где каждая задача стоила несколько центов, но когда-то поддерживала весь эпоху глубокого обучения.

Сейчас оно закрывается.

Amazon только что объявила, что его краудсорсинговая платформа Mechanical Turk будет полностью прекращена 30 сентября этого года.

В пиковые времена на платформе более 500 000 человек онлайн выполняли рутинные задачи: просматривали изображения, классифицировали и аннотировали их, вручную выполняя задачи, которые компьютеры тогда еще не могли освоить.

Позже этот огромный «человеческий вычислительный потенциал» напрямую участвовал в формировании набора данных ImageNet—

Без MTurk невозможно было бы вручную аннотировать десятки миллионов изображений на ImageNet.

Без ImageNet Ли Фэйфэй, возможно, не стала бы знаменитой за одну ночь.

Ученик и учитель Хинтон не станут божествами после одной битвы, и глубокое обучение, возможно, не возродилось бы внезапно в 2012 году.

Через 21 год настоящий ИИ всё лучше будет справляться с этими заданиями.

А те, кто когда-то пытался придать ИИ вид разумности, вместе с этой платформой получили уведомление об отключении.

Mechanical Turk (MTurk) был запущен в 2005 году.

На самом деле, изначально Amazon вообще не планировал с помощью этого продукта переписывать историю ИИ.

MTurk решал тогда очень практическую и неожиданную проблему: некоторые задачи невероятно сложны для компьютера, но для человека чрезвычайно просты...

Тогда Amazon придумал очень прямой способ: если программа не справляется, разбейте проблему на части и передайте людям.

Таким образом, эти выделенные небольшие задачи называются HIT, то есть Human Intelligence Task.

Например, если у компании есть 10 000 изображений, которые нужно классифицировать, метод MTurk заключается в том, чтобы сразу разбить их на 10 000 отдельных задач и разместить их на платформе.

С этим могут справиться 100 человек, можно и 1000, а если несколько десятков тысяч одновременно, то ещё быстрее.

Другими словами, MTurk не заставляет одного человека работать быстрее, а превращает рутинную задачу, которую раньше можно было выполнять только по очереди, в задачу, которую можно выполнять «в глобальном параллельном режиме».

Настоящий искусственный цикл данных...

А название Mechanical Turk само как раз соответствует этой «игре».

В XVIII веке в Европе существовал известный механический турок: снаружи он выглядел как машина, способная самостоятельно играть в шахматы и даже соперничать с Наполеоном.

Позже все узнали, что в машине всё это время скрывался настоящий шахматист!? (Я реально охренел...)

Амазон перенесла эту метафору в интернет, почти идеально: программа на поверхности выглядит так, будто обрабатывает всё автоматически, но на самом деле за экраном работают люди.

Безос когда-то дал ему название, которое оказалось пророческим:

Искусственный искусственный интеллект (artificial artificial intelligence).

Как только эта идея заработала, MTurk быстро превратился из собственного инструмента Amazon в глобальный платформу для краудсорсинга.

К 2011 году на MTurk насчитывалось более 500 000 Worker, охватывающих 190 стран.

С ростом числа людей объем доступных задач也开始迅速膨胀: отбор изображений, транскрипция аудио, классификация текста, очистка данных, определение эмоций, модерация контента.

Сюда можно загружать любые задачи, которые вызывают трудности у машин, но человек может решить за несколько секунд.

Это бросание длилось 21 год.

Время возвращается к 2006 году.

Ли Фейфэй, только что пришедшая преподавать в Принстоне, решила сделать то, что в то время было довольно противоречивым —

Создайте для машины достаточно большую визуальную энциклопедию.

В то время основные наборы данных для компьютерного зрения содержали лишь несколько тысяч или десятков тысяч изображений; данных было слишком мало, и модели легко превращались в «зубрил», запоминая шаблоны из обучающего набора, но не способные по-настоящему понять разнообразные объекты реального мира.

Тогда команда Ли Фефэй решила сделать то, что на тот момент казалось безумным: создать для машины «достаточно большую» визуальную вселенную.

Набор данных ImageNet, из которого это возникло.

ImageNet использует WordNet в качестве основы, разбивая реальный мир на отдельные понятия и наполняя каждое из них сотнями и тысячами реальных изображений.

Собаки, автомобили, яблоки, стулья, птицы, рыбы… всё, что можно определить, пытайтесь включить.

Но вскоре наступила более реальная проблема —

Изображения найти несложно, Google, Yahoo, Flickr тоже могут найти, но настоящая проблема в том, что найденные изображения далеко не всегда подходят, а иногда вообще не имеют никакого отношения!

После того как поисковая система возвращает изображения, необходимо, чтобы человек вручную подтвердил каждое из них.

Скажем так, масштаб изображений, которые ImageNet предстояло обработать, превысил 160 миллионов!!! Это полностью превратило проблему человеческих ресурсов в неразрешимую задачу...

Когда ImageNet почти застрял из-за огромного объема ручной сортировки изображений, команда Ли Фэйфэй обратила внимание на только что запущенную Amazon Mechanical Turk.

Команда ImageNet начала разбивать работу по отбору огромного количества изображений на микрозадачи и распределять их среди работников на платформе MTurk.

Величайшая инфраструктура ИИ была разобрана на бесчисленное количество самых обычных «щелчков мышью».

В статье ImageNet, опубликованной в 2009 году, описывается, что на тот момент в наборе данных уже было включено 5247 концепций и 3,2 миллиона отобранных изображений.

Позже команда ImageNet привела цифры по всему проекту: 49 000 работников MTurk из 167 стран.

Другими словами, за этой системой отбора изображений, лежащей в основе ImageNet, стоит временная армия аннотаторов по всему миру.

Вот почему без MTurk и ImageNet当年可能真做不出来。。。

После того как ImageNet был создан, последующая история действительно ускорилась.

В 2010 году начался конкурс ImageNet, и все модели мира начали обучаться на одних и тех же данных, а затем соревноваться на одном и том же рейтинге.

Два года спустя появилась комбинация, которую позже неоднократно упоминали в истории ИИ —

Джиффри Хинтон из Торонтского университета и его два студента — Алекс Крижевский и Илья Суцкевер.

Трое человек участвовали в соревновании ImageNet Large Scale Visual Recognition Challenge с использованием глубокой сверточной нейронной сети.

Прямо снизил ошибку Top-5 на соревновании ImageNet 2012 года до примерно 15%, значительно опередив традиционные методы.

Это также впервые позволило всему сообществу компьютерного зрения наглядно увидеть, что сочетание огромных объемов данных, вычислительной мощности GPU и глубоких нейронных сетей может сразу поднять результаты на новый уровень.

Слева направо: Илья Суцкевер, Джеффри Хинтон и Алекс Кризhevский

С этого момента имя Алекса Кризhevского навсегда связано с AlexNet.

Илья позже перешел в Google Brain, участвовал в создании OpenAI и занимал должность главного научного сотрудника, после ухода основал SSI.

Позже старик Хинтон получил премию Тьюринга и стал признанным одним из отцов-основателей глубокого обучения.

Ли Фейфей вернулась в Стэнфорд, чтобы преподавать, совместно возглавлять HAI и занять прочное место в истории современного компьютерного зрения благодаря ImageNet.

Затем появились VGG, GoogLeNet и ResNet.

Рейтинг ImageNet ежегодно снижается: глубокое обучение прошло от компьютерного зрения к речи, затем проникло в обработку естественного языка и в итоге пришло к эпохе крупных моделей.

Этот мир действительно удивителен—

Команда Ли Фефэй использовала MTurk для создания ImageNet; ImageNet принесло Ли Фефэй широкую известность; ученики Хинтона прославились благодаря ImageNet; глубокое обучение благодаря этой победе вновь возродилось.

Почти 50 000 обычных людей из 167 стран сидели за компьютерами и постепенно «отметили» миллионы кандидатских изображений, создав ImageNet.

И именно поэтому закрытие Mechanical Turk сегодня кажется особенно замкнутым кругом эпохи.

Официальная позиция Amazon сдержана: компания лишь заявила, что постоянно оценивает свои продукты и услуги, и поэтому приняла решение прекратить работу MTurk.

Ранее CNBC цитировала Кристу Пауловски из организации по защите прав рабочих Turkopticon, отметив, что MTurk все эти годы находился в упадке, Amazon вкладывает все меньше средств, а новые платформы для аннотации данных постоянно отвлекают рабочих и клиентов.

Но более прямая причина, по сути, в том, что те самые самые прибыльные задачи, которые он выполнял раньше, AI теперь все лучше и лучше справляется сам.

В 2005 году заставить машину определить, есть ли на изображении собака, было настоящей проблемой, но сейчас это стало базовой задачей, которую многомодальные модели решают легко.

В то же время потребность AI-индустрии в «людях» также изменилась.

Передовые модели требуют оценки кода, проверки ответов, тестирования логики и безопасности со стороны профессионалов, таких как программисты, врачи и юристы.

Таким образом, новые платформы, такие как Scale AI, Mercor и Prolific, начали отбирать и управлять экспертами, предоставляя более профессиональные данные для обучения и оценки.

Напротив, модель краудсорсинга, такая как MTurk, где «кто угодно может взять заказ за несколько центов», все больше отстает от времени...

Еще более удивительно, что сами работники MTurk начали использовать ИИ!!!

В 2023 году исследование швейцарских ученых показало, что среди опрошенных работников MTurk доля тех, кто использует модели ИИ для выполнения текстовых задач, может достигать 46%.

Изначально клиенты платили за человеческое суждение, но некоторые исполнители могут взять заказ и передать вопросы моделям, таким как ChatGPT.

Это немного похоже на чёрный юмор...

Судьба MTurk на самом деле является отражением развития ИИ за последние 20 лет.

Самые первые люди прятались за машинами, вручную кликая по изображению за изображением, чтобы создать ImageNet и открыть дверь в эпоху глубокого обучения.

Позже ИИ, опираясь на эти данные, вырос и научился самостоятельно анализировать изображения, воспринимать звуки и писать текст.

После 21 года те, кто раньше притворялся, будто ИИ умён, уходят с сцены.

Теперь можно закрыть дверцы «Механического турка», в котором скрывался настоящий шахматист.

Ссылка для справки:

[1]https://www.cnbc.com/2026/08/25/amazon-service-that-jeff-bezos-called-artificial-ai-is-shutting-down.html

Эта статья взята из официального аккаунта WeChat «Quantum Bit», автор: Мэн Яо