Image comments powered by yapig: Yapig — YaPiG’s Admin Screenshots

Раздраженный отвратительными ботами, я задумался; разве нельзя было бы сделать бота чуть поумнее, который мог бы обмануть больше людей?

Вместо того, чтобы оставлять общие комментарии, такие как «Классная картинка!», я подумал об использовании распознавания изображений, чтобы фактически определить, что находится на изображении, и использовать вывод для создания более подходящего комментария.

С помощью этой техники было бы проще обмануть людей, заставив их думать, что комментарий публикует реальный человек, а не бот. Но прежде чем замарать руки в коде, мне пришлось выбрать более конкретную стратегию, так как я не мог просто начать комментировать случайные сообщения.

Поэкспериментировав с некоторыми случайными сообщениями, я обнаружил, что сложно создавать осмысленные комментарии, из которых не слишком очевидно, что они написаны ботом. Например, что-то вроде этого:

Оставлять комментарий о случайном объекте, таком как автобус на заднем плане, было бы странно, и было бы более очевидно, что он создан компьютером. Вот и пришлось придумать тему постов, где случайные объекты до сих пор актуальны.

Подумав о возможных темах, которые я мог бы проанализировать и прокомментировать, я остановился на искусстве и картинах. Каждую минуту под хэштегом #paintingoftheday загружаются новые фотографии картин, и люди любят читать комментарии о своих работах. Кроме того, намного проще комментировать случайные объекты на картине, которая есть в реальной жизни, например:

Комментарий к случайному объекту на картине может относиться к навыку, цвету или детализации.

Еще одна веская причина пойти на картины, потому что мой собственный профиль тоже должен иметь содержание. Я имею в виду, зачем кому-то подписываться на пустой профиль? Получить поддельный, но подлинный контент — непростая задача. Поскольку существует множество моделей ИИ, которые могут генерировать картины, я решил использовать одну из них, чтобы самому изобразить из себя художника.

Сара Коннор — имя моего бота, она молода, модна и каждый месяц публикует фотографию своей последней картины.

Ее имя является отсылкой к Саре Коннор из кинофраншизы «Терминатор», а в описании ее профиля указано «бот» в шестнадцатеричном формате (626f74).

Ее аватар также создан искусственным интеллектом на сайте thispersondoesnotexcist.com. Мне пришлось пару раз обновиться, чтобы найти «модного» человека, который не смотрел прямо в «камеру», что делало его более естественным аватаром.

Боту необходимо будет выполнить и повторить следующую последовательность:

• Войти
• Получить ссылку на последний пост #paintingoftheday
• Использовать распознавание изображений для поиска объектов в указанном посте
• Прокомментировать пост, ссылаясь на обнаруженные объекты.
• Повторить

Давайте подробнее рассмотрим каждый шаг:

Шаг 1: Вход

Это самый простой шаг. Используя Selenium в скрипте Python, бот переходит на instagram.com и регистрируется как @sarahs_easel. По сути, это просто автоматизация входа в систему с помощью веб-браузера.

Шаг 2: Получите ссылку на последнюю публикацию

По-прежнему используя Selenium, бот теперь будет переходить на страницу Instagram, где показаны все публикации #paintingoftheday. Теперь пришло время вызвать другую библиотеку, Beautiful Soup 4, которая будет очищать все ссылки на публикации из исходного кода. Это генерирует длинный список URL-адресов Instagram, содержащих сообщения с хэштегом «картина дня». Первый URL в списке — это самая последняя запись.

Шаг 3. Обнаружение объектов

Загрузить изображение из Instagram с помощью BS4 не так просто, поэтому в качестве обходного пути я использовал Selenium (автоматизация браузера), чтобы перейти к сообщению и сделать снимок экрана. Этот локально сохраненный снимок экрана передается в предварительно обученную модель распознавания изображений YOLO.

Модель просканирует изображение и вернет все найденные объекты с соответствующими уровнями достоверности. Для простоты я использовал только объект с наивысшей степенью достоверности. В случае, если изображение не вернуло никаких объектов, я скормил модели следующий пост. Этот процесс повторяется до тех пор, пока не будет возвращена картина с обнаруженным объектом.

Шаг 4: Оставить комментарий

Теперь ключевой шаг в процессе; Оставить комментарий.

Для создания комментариев я набросал таблицу с разными частями;

Сценарий Python выберет случайное значение из каждого столбца, чтобы создать комментарий, например:

Освежающая работа! Особенно [ОБНАРУЖЕННЫЙ ОБЪЕКТ].

Последняя часть комментария — это объект, обнаруженный моделью ИИ (на шаге 3). Опять же, мы прибегнем к Selenium, чтобы автоматизировать использование браузера и ввести комментарий под постом.

И все, бот сделал свое дело. Если нам повезет, пользователь, получивший комментарий, проявит любопытство, посмотрит профиль Сары и подпишется на нее.

Помимо публикации комментариев, у Сары Коннор есть еще 3 задания:

• Избегание обнаружения
• Регистрация своей работы
• Сама публикация контента

Избежание обнаружения

Боты раздражают , создавать поддельный контент и в целом практически не иметь вклад в инстаграм. Поэтому Instagram, как и любая другая социальная сеть, пытается уничтожить ботов. Часть миссии Сары Коннор состоит в том, чтобы не быть обнаруженной, но это не так просто, поскольку я не знаю, по каким критериям Instagram помечает поведение как бот. Чтобы сохранить его в безопасности, с помощью cron я установил очень низкий уровень активности, который я могу увеличить позже, если мне это сойдет с рук.

Текущая схема следующая:

• Начало рабочего дня в 8:00 по восточному времени
• Публиковать комментарий каждые 5-15 минут (для случайности)
• После 80 комментариев должно быть около 10 вечера по восточному времени и время назовите это днем.
• Повторить на следующий день

Я понимаю, что 80 комментариев не так уж и много, но это скорее эксперимент. И помните, просто изменив пару переменных, я могу легко масштабировать это до 1000 сообщений в день. Тем не менее, это будет сопряжено с более высоким риском быть обнаруженным.

Протоколирование работы

Как специалист по данным, я понимаю принцип «измерение означает знание», поэтому я позволяю Саре регистрировать ее работу. Я ненадолго задумался о настройке базы данных PostgreSQL, но понял, что простого файла csv достаточно для регистрации хода выполнения этого проекта. После каждой итерации бот добавляет строки в csv, содержащие такие данные, как дата и время, обнаруженные объекты, URL сообщения, комментарий и т. д. Изначально я планировал автоматизировать и процесс публикации. Но после того, как я повозился с Selenium и эмуляторами телефонов в Chrome, я обнаружил, что автоматизировать публикацию контента в Instagram довольно сложно. Так как картины можно публиковать редко (в конце концов, чтобы нарисовать их, нужно время, верно?), я решил вручную публиковать новую картину каждый месяц.

Хотя это немного противоречит моей философии автоматизации всего процесса, я также не хочу блокировать весь проект из-за одного технологического препятствия.

Хотя я не столкнулся с какими-либо серьезными препятствиями, мне потребовалось довольно много времени, чтобы написать код. Идея заключалась в том, чтобы развернуть код на компьютере Raspberry Pi и заставить его работать круглосуточно и без выходных. Но, конечно, перед его развертыванием я хотел запустить тест на своей локальной системе.

Тестовый прогон

Перед тестом. Я уже протестировал большинство функций по отдельности (например, вход в систему, размещение комментариев, анализ изображения и т. д.). После объединения всех функций и добавления некоторых таймеров пришло время для большого теста, и я позволил скрипту работать, пока он не опубликовал 10 комментариев.

Когда я наблюдал, как бот усердно работает, а Selenium автоматизирует мой браузер, прошло менее 2 минут, прежде чем кто-то ответил на первый комментарий;

Моей первой мыслью было: «О, черт возьми, кажется, это работает очень хорошо», но потом я подумал о человеке за компьютером. Этот человек, вероятно, потратил много времени и сил на эту картину и выглядел очень взволнованным тем, что кто-то заметил и оценил ее. Мало ли он / она знает, что оценка исходит не более чем от скрипта Python. Пока бот продолжал свою работу, в моих уведомлениях стало появляться больше похожих комментариев. Скорость ответов была действительно высокой (правда, в очень маленькой выборке). Это на самом деле имеет большой смысл, поскольку топ начинается с самых последних сообщений, а это означает, что человек, опубликовавший картину, скорее всего, все еще использует приложение.

К сожалению, не каждый комментарий был на высоте. Количество объектов, которые может обнаружить предварительно обученная модель, ограничено и не всегда точно. Например, если рядом с картиной стоит кофейная кружка, это может относиться к кофейной кружке, а не к самой картине. Или в других случаях он может спутать красочный чехол для телефона с тортом или чем-то еще,

В целом, я пришел к выводу, что результат теста был достаточно хорош для развертывания скрипта на Raspberry PI.

Однако…

Моральная дилемма

Гипотеза этого проекта заключалась в том, чтобы посмотреть, смогу ли я создать динамического бота для Instagram, используя простой алгоритм распознавания изображений. Однако, будучи настолько сосредоточенным на технологическом вызове, я не уделял должного внимания «человеку за экраном».

Почти все из очень ограниченного тестового прогона ответили на комментарии, в результате чего мои уведомления выглядели следующим образом:

Кроме того, я также воздержался от своего первоначального плана обнародования кода, так как не хочу, чтобы его использовала какая-то морально обанкротившаяся рекламная компания. Это не высшая математика, и любой, у кого есть какие-то базовые навыки веб-скрейпинга и распознавания изображений, вероятно, все еще может его создать, но я не хочу еще больше снижать планку для людей с недоброжелательностью.

Обычно я всегда описываю свои проекты в статьях. Для этого конкретного проекта я сделал хорошую запись экрана, показывающую действия бота. Учитывая, что запись экрана сама по себе требует некоторого контента, я решил исследовать новую территорию и записать короткое видео на YouTube с описанием проекта. Несмотря на то, что я потратил много времени на цензуру всех имен пользователей и комментариев, к сожалению, я получил жалобы на возможные нарушения авторских прав. По этой причине я удалил видео. Если я найду время и мотивацию, чтобы размыть все в видео, я опубликую его в своих аккаунтах в социальных сетях.

Хороший бот

В целом я доволен результатами. Несмотря на то, что тест был очень ограничен, результаты выглядели многообещающе. В целом хорошие комментарии были хорошими, и, что более важно, пользователи Instagram взаимодействовали с комментариями и, казалось, верили, что они настоящие.

Кроме того, менее точные результаты не так уж важны. Когда комментарий не имеет смысла, люди могут понять, что это бот (а может и нет), и не будут взаимодействовать с профилем Сары Коннор, но на этом, вероятно, все и закончится. Конечно, в случае, если у Сары будет больше поклонников, может возникнуть риск того, что ее слишком часто будут помечать как бота.

Возможности для улучшения

Как уже упоминалось, это была довольно простая комбинация существующих технологий сценариев, которая оставляет массу возможностей для улучшения. Некоторые вещи я мог бы сделать лучше:

• Сгенерировать лучшие формулировки для комментариев. Возможно, с помощью GPT-3.
• Использовать лучшую модель распознавания изображений, которая может обнаруживать более широкий спектр объектов
• Дальнейшее расширение сценария, чтобы также отслеживать ответы
• Автоматизация публикации контента

Дальнейшие исследования

Сначала я думал о полном отказе от проекта после того, как решил не развертывать его. Но, подумав еще немного, я мог бы немного изменить курс. Вот некоторые вещи, которые я имел в виду:

• Делать что-то менее инвазивное, чем размещение комментариев и использовать распознавание изображений просто для анализа контента.
• Сосредоточение внимания на других темах, которые менее личные, чем произведения искусства.
• Попытайтесь удалить как можно больше средств автоматизации браузера, сделав все решение безголовым.

Я пока не уверен, буду ли я продолжать работу над этим проектом, но если буду, обязательно поделюсь результатами.

Будущее уже наступило

Этот проект показывает, как легко обмануть людей. Я бы, наверное, сам был обманут, если бы бот ответил на эту статью, сказав что-то вроде «Хорошая статья. Мне очень нравится приложение веб-скрейпинга».

Не хочу вдаваться в философию, но различие между человеческим и компьютерным контентом продолжает стираться. Возможности, качество и масштабы современного компьютерного контента постоянно улучшаются.