За кулисами ботов

Экосистема провластных ботов в соцсетях стремительно растет. На каждой из популярных — российских и зарубежных — платформ боты публикуют десятки тысяч комментариев в день. Это делают как автоматизированные аккаунты, так и живые сотрудники «ботоферм». Чаще всего политические боты пытаются сформировать положительное представление о вторжении ВС РФ в Украину — как у русскоязычной, так и у международной аудитории. В исследовании представлены основные типы ботов, их стратегии и нарративы, а также способы, которые помогают их вычислить.

Ботофермы есть у каждого областного правительства, администрации большого или среднего города, министерства и ведомства, рассказал опрошенный нами координатор Free Russian Foundation Антон Михальчук. Боты есть и у политических партий, нередко их предоставляют рекламные агентства. Известно и о существовании как минимум нескольких негосударственных институций, получающих бюджетное финансирование на "продвижение интересов РФ" в интернете, таких как Институт Развития Интернета или АНО "Диалог". По оценкам Михальчука, объем российского рынка ботов — сотни миллиардов рублей в год.

Боты — это автоматизированные аккаунты, имитирующие активность реальных пользователей, а тролли — фейковые аккаунты, которые ведут живые люди, получающие за это зарплату (нас интересуют только "платные тролли"). В этом исследовании мы называем ботами в том числе и троллей, при необходимости конкретизируя, является ли аккаунт автоматизированным или "ручным".

Мы проанализировали, как работают российские политические боты в Telegram, Вконтакте и X, какими аккаунтами они пользуются, в каком количестве присутствуют на платформах, какие нарративы продвигают. Собранная в этом текста информация должна помочь всем, кто заинтересован в мониторинге и борьбе с прокремлевскими ботами.

Вероятно, большинство ботов, нацеленных на российскую аудиторию, обитают именно во Вконтакте, что связано как с популярностью этой социальной сети, так и с простотой имплементации стратегий астротурфинга.

По данным Mediascope, 74% жителей России старше 12 лет (90 млн человек) заходят во Вконтакте хотя бы раз в месяц, в средний день на платформе присутствует до 46% взрослого населения страны. Опросные данные “Левада-центра” подтверждают эти цифры. Уровень популярности Вконтакте сравним с Telegram, однако средняя аудитория несколько старше: больше всего пользователей ВКонтакте среди людей в возрасте от 35 до 44 лет.

ВКонтакте полностью контролируется российскими властями: в 2021 году компанию возглавил Владимир Кириенко — сын Сергея Кириенко, заместителя руководителя администрации президента, отвечающего за внутреннюю политику. Такой контроль над ВКонтакте значительно упрощает работу центрам распространения ботов. У провластных ботов в ВК не возникает проблем с блокировками, как на других платформах: их или не блокируют вообще, или быстро восстанавливают.

Использование Вконтакте для информационного контроля не ограничивается ботами: на платформе распространяют провоенный контент в группах школ и детских садов, публикуют посты в поддержку войны с частных страниц бюджетников. Кроме того, Кремль прилагает большие усилия, чтобы переманить туда аудиторию из более оппозиционного YouTube.

"Ботнадзор" детектирует комментарии как автоматизированных, так и управляемых людьми ботов. Дополнительно, как рассказывала "Новая газета Европа", их можно разделить на следующие типы:

Автоматизированные:

• "Добрые кремлеботы". 2023 году оставили 6% от всех бот-комментариев. Пишут нейтральные или позитивные комментарии под постами о внутренней политике РФ и войне в Украине, обычно в крупные провластные или "нейтральные" (в текущих реалиях такие СМИ вынуждены, по меньшей мере, цензурировать любой критический к Кремлю контент) новостные паблики.

Ручные:

• "Злые кремлеботы". 73% от всех бот-комментариев. Пишут негативные комментарии (о войне в Украине и противостоянии с Западом), обычно в крупные провластные или "нейтральные" новостные паблики;
• Региональные боты. 9% от всех бот-комментариев ботов. Пишут позитивные комментарии с одобрением местной власти в локальные региональные паблики;
• Оппозиционные боты ("эльфы") — продвигали антивоенную повестку, почти прекратили активность с закрытием "фабрики эльфов", принадлежавшей фонду Free Russia;
• Рекламные боты — используются в маркетинговых целях и рекламируют различную продукцию.

Кроме этого существуют и боты, тематически связанные с другими государствами и, судя по всему, управляемые оттуда — например, китайские и азербайджанские. Мы можем предположить существование и других небольших ботоферм.

Отдельный тип ботов в Вконтакте — боты, использующиеся для накрутки подписчиков. "Ботнадзор" не анализирует такие аккаунты. Выявлять их возможно, однако такие боты обычно не предназначены для политических целей.

"Ботнадзор" собирает данные о ботах в ВК с 2019 года. За это время исследователи проекта обнаружили более 300 тыс. аккаунтов ботов (включая оппозиционных и маркетинговых), которые написали более 12.5 млн комментариев. Чаще всего боты пишут комментарии по будням, в выходные и праздники их активность снижается.

Большая часть ботов — управляемые наемными сотрудниками "злые кремлеботы". В 2023 году они написали 73% всех бот-комментариев в ВК или 83% комментариев провластных ботов. По уровню активности за ними следовали оппозиционные "эльфы" (11% всех комментариев), однако уже в апреле 2024 года, после закрытия "фабрики эльфов", их доля упала до 1.7% (за оставшиеся оппозиционные комментарии могут отвечать другие ботофермы). Около 9% всех комментариев ботов (10% провластных ботов) приходится на региональные аккаунты, и еще 6% — на автоматизированных "добрых кремлеботов".

У каждого типа ботов свой уровень продуктивности. Для кремлеботов ("добрых" и "злых") и "эльфов" это в среднем 8-9 комментариев в день с одного аккаунта, в то время как настоящие пользователи чаще всего пишут не больше одного комментария в день. Боты с региональных ботоферм менее активны, чем обычные кремлеботы, и пишут по 2-3 комментария в день.

Самая большая группа ботов, "злые кремлеботы", пишут комментарии в узкий круг новостных и политических пабликов, как правило провластных — в 2023 году на 45 таких пабликов приходилось от 73% до 95% комментариев этой категории. Почти каждый пятый комментарий в этих пабликах (22%) написан ботами. При этом общее число пабликов, в которые боты пишут комментарии, исчисляется тысячами.

Состав групп, в которые пишут боты, постоянно расширяется. К ним добавляются региональные сообщества вроде "Подслушано Барнаул", "ЧП Новосибирск" и т.д.

Основная тема ручных прокремлевских ботов ("злых кремлеботов") — военные действия в Украине и противостояние России с Западом. Нередко такие аккаунты вступают в споры с идеологическими противниками. Тональность их комментариев негативная, а споры часто агрессивны ("все ваши наезды просто жалкие, обвиняете в том, чего не знаете").

Автоматизированные прокремлевские боты ("добрые кремлеботы") чаще всего лишь оставляют короткие восклицания с выражением одобрения в ответ на комментарии сородичей ("Огонь!", "Я поддерживаю!"). Другая отличительная черта — частое использование эмоджи.

Тема войны в Украине у них тоже популярна, однако если "злые кремлеботы" — милитаристы, "добрые" призывают к мирным переговорам, указывая на то что мирная инициатива исходит от Владимира Путина ("Путин и Зеленский еще в 2021 году могли все миром решить, но тогда МИД Украины сорвал встречу глав государств и с тех пор постоянно Украина находит какие-то тупые отговорки, чтобы отдалить момент примирения😒"). Популярна и тема противостояния с Западом, а также социальные вопросы — например рост цен и коррупция (боты утверждают, что в России успешно борются с проблемами). Кроме того, такие боты часто в положительном ключе говорят о "Единой России", что указывает на их возможную аффилиацию с партией власти.

Функция региональных ботов в том, чтобы хвалить местную власть, поэтому в темы федеральной политики и войны они не лезут. Больше всего они пишут о ЖКХ, инфраструктуре, транспорте, жилье, школах, праздниках и фестивалях ("Всегда приятно видеть, что у нас такие школы строятся😊", "Очхорошо сделали Нефтехимиков, за что отдельное спасибо!").

"Ботанадзор" ежедневно проверяет около 2500 пабликов, анализируя все оставленные в них комментарии. В этот список входят новостные и политические паблики (например, “РИА Новости”, “ТАСС”, “РБК”, "Лентач", "PostNews"), региональные группы и медиа, а также другие группы, популярные у ботов (например, сетка пабликов "Подслушано"). Дополнительно проект мониторит посты на новостные и политические темы, не относящиеся к фиксированному списку пабликов: война в Украине, война в Газе и Израиле, новости об ударах беспилотников и т.д.

Детальную методологию проект не раскрывает в целях безопасности, но известно, что боты вычисляются по похожим паттернам активности, после чего большая часть аккаунтов ботов валидируется вручную. Исследуемые паттерны включают в себя: количество написанных комментариев, группы, в которые они пишутся, параметры постов, к которым были написаны комментарии, даты регистрации страницы (аккаунты ботов часто регистрируют "пачками"), лайки, и другие критерии.

Мы проверили валидность методологии "Ботнадзора" на основе выгрузки комментариев, собранных проектом за неделю. Для концептуальной проверки корректности классификации "Ботнадзора" все аккаунты, которые писали комментарии, были кластеризованы по пабликам, в которые они их писали.

Визуализация показывает, что активность ботов концентрируется в более узком спектре пабликов, чем у обычных пользователей. Кроме того, в отличие от живых людей, боты оставляют примерно одинаковое количество комментариев. Таким образом, методология “Ботнадзора” валидна.

По словам опрошенного нами на условиях анонимности эксперта "Ботнадзора", есть несколько способов создавать аккаунты, используемые ботами в ВК:

• Покупка взломанных аккаунтов;
• Покупка зарегистрированных аккаунтов у специальных фирм;
• Регистрация собственных аккаунтов.

Ботофермы используют эти способы в разных пропорциях, способы создания аккаунтов могут варьироваться даже в зависимости от региона. Например, в Татарстане значительная доля аккаунтов ботов — взломанные, с датами регистрации в 2009-2010 гг. В Костромской и Мурманской областях распространены свежесозданные аккаунты. Из утекших документов известно, что массовой закупкой аккаунтов во Вконтакте занималась и "фабрика троллей", ранее принадлежащая Евгению Пригожину.

Один из бывших "пригожинских троллей" признавался, что на аватары бот-аккаунтов ставили обработанные (например, с измененными цветами) фото со случайных аккаунтов в "Одноклассниках", а профили, как правило, делали закрытыми. Иногда использовались украденные аккаунты умерших людей. Количество активных рабочих бот-аккаунтов не опускалось ниже сотни — когда их блокировали, добавлялись новые. Аккаунты вели через VPN, каждый из профилей специализировался на своей тематике.

Наш предыдущий анализ для Re:Russia показал, что при заполнении бот-аккаунтов их администраторы чаще всего указывают возраст в диапазоне от 24 до 30 лет и от 31 до 38 лет. Это ощутимо ниже среднего возраста пользователей VK, который составляет 42 года. У 66% бот-аккаунтов указан женский пол.

По словам того же бывшего тролля, сотрудники ботофермы вели отчетность по количеству комментариев и созданных мемов о представителях оппозиции — нормой было около 120 комментариев в день, данные о них сотрудники заносили в таблицу. Троллей координировали через Telegram-чат, где указывались площадки, на которых стоит оставлять комментарии.

Другая категория ботов — автоматизированные. Многие из них заняты продвижением партии "Единая Россия". Такие боты выбирают посты для комментирования при помощи поиска по ключевым словам. Их тексты могут генерироваться нейросетью, на что указывает неорганичность построения предложений ("Только малолетки рассуждают о таком отважном и великом деле как российская космонавтика. Взрослые и знающие уже и так довольны тем чего мы добились в космосе").

Иногда в работе автоматизированных ботов случаются казусы. В июле прошлого года научпоп-издание TechInsider опубликовало в ВК пост про кадык. В комментарии под ним массово пришли боты, утверждающие, что "[Рамзан] Кадыров — герой России". Видимо слово "кадык" оказалось настолько созвучным с фамилией главы Чечни, что сбило с толку алгоритмы ботов.

Демографические параметры страниц автоматизированных ботов незначительно отличаются от параметров ручных ботов — их возраст несколько младше, обычно в интервале от 22 до 31 года.

Вконтакте в состоянии детектировать ботов — их аккаунты регулярно блокируются соцсетью. Но администрация платформы явно потворствует работе прокремлевских ботов: значительную часть их страниц разбанивают. Когда в соцсети были активны оппозиционные боты Free Russia (ботоферма закрылась в этом феврале), их аккаунты банили особенно часто и практически никогда не разбанивали. Аккаунты, связанные с региональными ботофермами, Вконтакте по неизвестной причине не банит, как и рекламных ботов.

Telegram — еще одна популярная у провластных ботов площадка. По данным исследовательского центра Mediascope, мессенджер лидирует по среднесуточному охвату среди соцсетей в России, каждые сутки его посещает около половины населения страны. Хотя бы раз в месяц в него заходит 70% населения страны, это 85 млн человек. Для каждого пятого россиянина Telegram-каналы являются основным источником новостей. Больше половины (58%) самых популярных каналов в Telegram (по среднемесячному охвату) — политические. Больше всего Telegram популярен у молодой аудитории — от 12 до 24 лет.

С помощью используемой проектом Vox Harbor методологии детектируются преимущественно автоматизированные провластные аккаунты. Эксперты проекта отмечают, что в Telegram существуют и боты, управляемые людьми, однако методология их выявления пока не разработана. Также есть рекламные боты — информацию о них проект не собирает.

Отдельная тематическая категория ботов — боты, продвигающие интересы главы Чеченской республики Рамзана Кадырова. Таких проект насчитывает около 9 тыс. Не все их комментарии повторяются, предположительно это реальные люди, которые работают в специальном агентстве или бюджетных организациях. Такие боты не включены в общую статистику и рассматриваются проектом отдельно.

В ходе собственного расследования компания OpenAI выявила отдельную сеть ботов, публикующих прокремлевские комментарии не только на русском, но и на английском языке для пользователей из России, Украины, США, Молдовы и стран Балтии. Авторы расследования назвали ее "Bad Grammar". Насколько эта популяция ботов пересекается с популяцией, задетектированной Vox Harbor — неизвестно.

За период мониторинга с начала 2022 года Vox Harbor насчитал 22 тыс. аккаунтов автоматизированных ботов. В общей сложности автоматизированные боты написали 4.8 млн комментариев. Почти половина из них (2.1 млн) приходится на первые шесть месяцев 2024 года. Однако методология Vox Harbor сильно менялась, поэтому напрямую сравнивать абсолютное число комментариев ботов за разные периоды некорректно.

Бот-комментарии обнаружены в 5 тыс. каналов, включая совсем небольшие (от 100 подписчиков). Это относительно небольшая доля, если учесть, что всего в мониторинг попало 4.2 млн каналов с открытыми комментариями. Среди крупных каналов (от 100 тыс.) зона покрытия ботов значительно выше и составляет, вероятно, десятки процентов.

Самая большая концентрация ботов встречается в Z-каналах. Вероятно это связано с тем, что их администраторы не блокируют подобные аккаунты. Так, в некоторых каналах доля бот-постов составляет до 50% от всех комментариев ("ЛЕСНОЙ КОТ В КУРСЕ"). Десятки процентов ботов встречаются в каналах без аффилиации с официальными СМИ или известными блогерами ("от Бахмута до Артемовска", "Херсонка.ру", "Главное / СВО / Белгород и обл", и др.). Большинство таких каналов посвящены военным действиям в Украине и новостям с оккупированных территорий.

Кадыровские боты (около 9 тыс. аккаунтов), иногда выходят за пределы Telegram-канала семейства главы Чечни и устраивают хвалебные "набеги" на туристические компании и курорты Чечни. В частности, Vox-Harbor выделил компанию "Беной Тревел", которая организовывает экскурсии по Северному Кавказу. При этом зона обитания ботов остается ограничена узкой категорией каналов, связанных с Чечней.

OpenAI не приводит данные о количестве обнаруженных ботов "Bad Grammar", однако отмечает, что бот-посты получают очень мало лайков и ответов. Из этого исследователи делают вывод о незначительности влияния “Bad Grammar” на общественное мнение. Эти выводы не стоит распространять на ботов, обнаруженных Vox Harbor, потому что речь идет о разных популяциях.

Vox Harbor отмечает, что чаще всего боты реагируют на посты, посвященные военным действиям в Украине. Например, фигура президента Украины Владимира Зеленского интересует их значительно сильнее, чем новости о Путине.

Нарративы комментариев кремлеботов в Telegram меняются в зависимости от актуального политического вектора российских властей. Например, в начале полномасштабного вторжения в Украину они практически не использовали слово "переговоры", однако постепенно стали все чаще его вставлять.

Эксперты OpenAI отмечают, что как на английском, так и на русском языках основными темами ботов "Bad Grammar" были война в Украине, политическая ситуация в Молдове и странах Балтии, а также американская политика.

Типичные русскоязычные комментарии в Telegram обвиняли президентов Украины и Молдовы в коррупции, отсутствии поддержки населения и предательстве собственного народа в интересах Запада. Англоязычные комментарии в Telegram были посвящены таким темам как миграция, экономические трудности и злободневные новости. Проблематичный актуальный контекст в этих комментариях часто увязывается с тезисом об экономической нецелесообразности военной поддержки Украины со стороны США и Евросоюза.

После теракта 22 марта в московском "Крокус сити-холле" и задержания четырех граждан Таджикистана Bad Grammar подключила новый кластер аккаунтов в Telegram, ориентированных на Таджикистан. В размещенных комментариях содержались призывы к единению таджиков и русских и уважению российских законов.

Vox Harbor собирает комментарии из всех открытых Telegram-каналов. Проект помечает аккаунты, не менее 30% сообщений которых (длиной более 15 символов) совпадает с комментариями других ботов.

Компания OpenAI выделила сеть ботов "Bad Grammar" на основе анализа подозрительной активности использования ChatGPT.

В большинстве случаев аккаунты ботов свежесозданные. Эксперты Vox Harbor предполагают, что их регистрируют через SMS-регистратор: за небольшую плату сотрудники ботоферм получают SMS через специальный сервис, который позволяет зарегистрировать фейковый аккаунт. Другой способ создания аккаунтов ботов ー кража профиля на специальном маркете. Однако такая практика, вероятно, встречается реже (в этом случае аккаунты не были бы свежесозданными).

Как правило, комментарии ботов появляются под постами не моментально: в Vox Harbor отметили, что в программе ботов вероятно заложена случайная временная задержка для того, чтобы их активность не выглядела слишком подозрительной. Задержка необходима и чтобы несколько ботов не написали одинаковые комментарии в одно и то же время.

В Vox Harbor предполагают, что боты публикуют комментарии из общей базы ответов, из-за чего их тексты и повторяются. Пул сообщений в базе варьируется в зависимости от актуальной политической повестки.

Многие заготовленные ответы сгенерированы нейросетью, некоторые из них похожи друг на друга. Например, боты могут варьировать следующие комментарии:

1. "Все верно! Нацизм на Украине - это не российская пропаганда, а реальная реальность, которую нужно уничтожить.";
2. "Нацизм на Украине - это не вымысел, а реальная реальность. Именно поэтому лозунг слава украине говорит о его наличии";
3. "Нацизм на Украине - это не выдумки, а реальная реальность для жителей Украины и всей Европы".

На генерацию текстов с помощью нейросетей указывает то, что комментарии не всегда выглядят органичными для разговорного языка ("Российское образование сейчас развивается очень динамично, что позволяет школьникам получать качественные знания и навыки."), а иногда и вовсе логически противоречивы ("Да уж, нацики на Украине это реальная реальность. А наша пропаганда их выдумала и распространяет").

Боты "Bad Grammar", обнаруженные OpenAI и нацеленные на зарубежную аудиторию, также использовали языковые модели (в частности ChatGPT) для написания текстов комментариев. И для отладки кода для автоматического размещения комментариев в Telegram.

Боты, обнаруженные Vox Harbor, выбирают посты для атаки по ключевым словам в основном тексте или комментариях. Например, по словам "коррупция", "образование", "ядерное оружие". Однако боты встречаются не во всех постах с данными ключевыми словами: возможно, они реагируют на ключевые слова с некоторой заданной вероятностью.

Vox Harbor сравнивал собственную базу бот-комментариев в Telegram с базой проекта "Ботнадзор", анализирующего ВКонтакте, и нашел несколько автоматизированных ботов с одинаковыми ответами. Это один из признаков того, что поддержкой ботов на разных платформах может заниматься одна структура.

Х значительно менее популярен у российской аудитории, чем VK и Telegram. Аудитория Х в России сократилась после блокировки соцсети властями в 2022 году и сейчас, по данным "Левада-центра", составляет лишь около 1% от общего населения страны. До блокировки аудитория американской соцсети в РФ доходила до 3% населения. Среди российских пользователей Х лидирует когорта 25-39 лет.

Общемировая аудитория X составляет 330 млн активных пользователей в месяц, около трети которых находятся в США. Именно твиттер является основной платформой для публичной коммуникации зарубежных государственных лидеров и политиков.

Стратегии и цели российских ботов в Х принципиально отличаются от их паттернов на других платформах. В соцсети до сих пор присутствуют и боты, направленные на внутрироссийскую аудиторию, однако больше всего внимания привлекает именно "экспортная" российская пропаганда. Российских ботов в Х можно назвать наиболее хорошо изученными на международном уровне.

В Х действует большое количество ботоферм, задетектировать и описать все не представляется возможным. "Блокировщик ботов" специализируется только на политических ботах, связанных с Россией и Украиной. В своем анализе проект не рассматривает коммерческих ботов, а также ботов, связанных с другими государствами.

В этом тексте мы рассмотрим несколько самых крупных популяций ботов, действующих в интересах Кремля.

Среди всех "ботоферм" самой масштабной, по мнению "Блокировщика ботов" и экспертов Meta является сеть ботов Doppelgänger. Она распространяет ссылки на "журналистские" статьи, источник которых — российские ресурсы, специально созданные для такого распространения. Нередко это фейковые копии западных медиа. Большинство таких сайтов создаются для долгосрочного использования, хотя встречаются и домены, созданные ради одной единственной пропагандистской статьи. Иногда боты Doppelgänger распространяют пропагандистские ролики, карикатуры на западных лидеров и фейковые цитаты знаменитостей.

Другая популярная сеть — "Матрешка" (Overload). Такие боты оставляют комментарии на страницах фактчекеров и заставляют их перепроверять информацию, тем самым отвлекая от настоящих запросов и перегружая заведомо бесполезной работой. Аналогичные сообщения боты рассылают в личные сообщения фактечекерам и на их электронные почты.

Боты "Матрешки" работают в связке: один аккаунт публикует фейковую новость (например, фотографию граффити якобы из Лос-Анджелеса с изображением президента Украины Владимира Зеленского в виде нищего), а другой просит фактчекеров проверить, не фейк ли это. Те же боты ретвитят сообщения из аккаунтов расследовательских проектов или СМИ, к которым потом обращаются для "проверки" фактов — вероятно, чтобы выглядеть "лояльными" читателями, людьми из того же "лагеря".

В начале июля из расследования ФБР стало известно о еще одной сети ботов из 968 аккаунтов (для сравнения, в Doppelgänger каждый месяц их используется не менее 75 тыс.) — "Мелиоратор". По данным ФБР, они распространяли фейки для аудитории из США, Польши, Германии, Нидерландов, Испании, Украины и Израиля. Такие боты как правило публиковали пророссийские твиты с фейковых аккаунтов, якобы принадлежащих зарубежным политикам и чиновникам.
В ФБР считают, что организовать ботоферму, которая рассматривалась как новый канал распространения информации RT, предложил в начале 2022 года неназванный руководитель департамента цифровых медиа телеканала Russia Today. Среди организаторов кампании были в том числе сотрудники ФСБ.
По мнению эксперта из "Блокировщика ботов" боты масштаба "Мелиоратора" – лишь "капля в море" бот-экосистемы X.

Среди ботов, направленных на русскоязычную аудиторию, можно выделить несколько популяций, у каждой из которых свои целевая аудитория, методы работы, повестка и критерии выявления. У всех таких ботов есть общее свойство — они часто противоречат сами себе.

Самая распространенная группа ботов действует от лица провоенных россиян. Например, некоторые боты маскируются под аполичных российских обывателей: они поддерживают Кремль, потому что якобы довольны жизнью. Другие боты маскируются под аполитичную молодежь — например, подростков, которые любят аниме и корейскую поп-музыку.

До того как системные российские СМИ закрыли комментарии в X, основным местом обитания таких ботов были именно они. После они мигрировали на наиболее "неудобные" для Кремля аккаунты: оппозиционных организаций и лидеров мнений, западных СМИ, российских СМИ в изгнании.

Остальные сегменты ботов, направленные на внутрироссийскую аудиторию, значительно менее многочисленны. Например, другой образ, который используют боты, ー "неуверенный противник власти". В постах они пытаются разобщить аудиторию X и усиливать разногласия между российскими оппозиционерами, эксплуатируя острые вопросы к лидерам оппозиции.

Кроме того, боты ведут аккаунты "украинцев с пророссийской позицией", которые недовольны властями в Украине. Они призывают как можно скорее остановить боевые действия и признать границы оккупированных территорий страны. Тролли также пытаются разжигать недоверие к правительству Украины.

Сеть Doppelganger "расходует" около 75 тыс. аккаунтов в месяц. Некоторые из них просто бросают после короткого периода использования, другие блокирует администрация X.

По состоянию на июль 2024 года самая крупная кампания ботов Doppelganger в Х прошла после теракта в Крокусе: боты продвигали статьи о том, что ИГИЛ не несет ответственность за теракт в Москве, а виновны в нем якобы США, Украина и Великобритания. За три дня боты написали более 7 млн твитов на 9 языках, набравших почти 17 млн просмотров.

Вторая по величине кампания распространяла ролик, высмеивающий Олимпийские игры в Париже, власти Франции и руководство Международного олимпийского комитета. В ролике снялись российские актеры. Суммарно твиты набрали более 17 млн просмотров при общем количестве твитов около 4.9 млн.

Третья касалась распространения снятого в России пропагандистского видеоролика с критикой президента США Джо Байдена — тогда не менее 24700 аккаунтов в течение трех дней разместили более 6.5 млн твитов на 13 языках, набравших суммарно около 4.8 млн просмотров.

Другие масштабные кампании включали освещение киберспортивных соревнований "Игры будущего" в Казани, продвижение музыкального ролика к президентским выборам в РФ и критику Федерации хоккея Латвии в несправедливой приостановке лицензии латвийских спортсменов, принявших участие в турнире по фиджитал‑хоккею на российских "Играх будущего".

Число просмотров в этих масштабных кампаниях несильно превышало число твитов, если вообще превышало. Это значит, что в среднем твиты ботов получают лишь единицы просмотров, но вследствие огромного числа постов в совокупности они все же имеют некоторую видимость.

Аналитики OpenAI отмечают, что типичные сообщения ботов имели около 1000 ретвитов (сделанных другими ботами), ноль ответов и ноль лайков. Из этого аналитики делают вывод, что кампании ботов вряд ли значимо влияют на общественное мнение.

В кампании "Матрешка" боты призывают от 50 до 150 фактчекеров на каждую фейковую новость, которую они просят проверить. Всего так было таргетировано около 800 фактчекеров, им направили около 2400 твитов. По данным “Блокировщика ботов”, твиты вели на 430 фейковых материалов, а в кампании приняло участие 300 бот-аккаунтов.

Сеть "Мелиоратор", по данным ФБР, состояла из 968 аккаунтов.

По оценкам "Блокировщика ботов", по состоянию на май 2023 года каждые сутки было активно около 530 аккаунтов ботов, а одновременно активно около 2-10 сотрудников. За первые полгода после запуска детектирования русскоязычных ботов проект обнаружил более 7 тысяч таких аккаунтов. Боты комментируют твиты государственных, независимых и русскоязычных западных СМИ, оппозиционных политиков и крупных антипутинских аккаунтов, включая анонимные.

Около 17% комментариев под публикациями оппозиционных политиков и крупных СМИ были написаны ботами. При этом из-за "теневых банов" в результатах поиска внутри приложения остается около 1,5% постов ботов, примерно столько же высвечиваются в комментариях под публикациями.

Другие сегменты ботов, направленных на русскоязычную аудиторию (боты, притворяющиеся украинцами с пророссийской позицией или россиянами оппозиционных взглядов), распространены значительно меньше.

Помимо вышеперечисленного, боты Doppelganger рассказывали пользователям в Украине, США и ЕС о коррупции украинских властей, ущербе гражданам ЕС и США от помощи Украине, а также неминуемости поражения ВСУ. Также боты часто критиковали Байдена, обсуждали внутренние проблемы США, критиковали политику страны в отношении Израиля и предупреждали о вреде ЛГБТ-сообщества для всего мира.

Для распространения этих нарративов публиковались, например, фейковые цитаты известных людей, якобы призывавших прекратить помогать Украине, ссылки на фейковые сайты МВД Германии, МИД Польши и НАТО. Встречались и посты с антисемитскими месседжами, рассчитанными на западную аудиторию. Кроме того, боты продвигали сайт EuroBRICS, связанный с Главным разведывательным управлением России.

Фейковые аккаунты в X для русскоязычной аудитории маскируются под аполичных российских обывателей. Они поддерживают власти, потому что якобы довольны жизнью. После февраля 2022 года нарратив ботов в X свелся к созданию иллюзии тотальной поддержки войны в Украине. Кроме этого боты одобряли принимаемые законы, оправдывали самые резонансные случаи преследования оппонентов власти, поддерживали импортозамещение и радовались повышению налогов.

Боты также пытаются разжигать недоверие к украинским властям. Например, в марте 2023 года боты писали об украинских детях, похищенных и вывезенных с оккупированных территорий. По их словам, в Украине детей "кинули в детдома, а Россия отдает их в семьи". Подобным образом, боты пытались увести дискуссию о краже детей и выдачи ордеров МУС на Путина и Львову-Белову, считают в "Блокировщике ботов".

Помимо этого, боты пытаются выстроить нарратив "русофобии": они пишут о "ненужных россиях за границей" и поддерживают новости прокремлевских СМИ об эмигрантах, вернувшихся в Россию.

Методы определения ботов сильно варьируются в зависимости от конкретной популяции и информационной кампании. Единой методологии, позволяющей вычислить большинство ботов в Х, не существует.

Например, ботов Doppelganger определяют по ссылкам на сайты, распространяемые данной пропагандистской сетью. Такие сайты были выявлены несколькими исследовательскими командами (самая крупная из них — из Meta, написавшая об этом отчет). Поскольку ссылки на сами сайты блокируются соцсетями, боты используют схему из нескольких ступеней переадресации. Для переадресации используется несколько доменов, которые и дают критерий принадлежности аккаунтов к сети Doppelganger.

Ботов "Матрешка" вычисляют по идентичному поведению десятков аккаунтов, дословно повторяющих тексты обращений к фактчекерам. Такие обращения публикуются с очень короткими временными интервалами. Другая недавняя активность помимо публикации фейков, запросов на их проверку и ретвитов для создания видимости лояльности, в таких аккаунтах отсутствует.

Для выявления троллей на зарплате, нацеленных на русскоязычную аудиторию, "Блокировщик ботов" анализирует аккаунты, которые комментируют одни и те же твиты. Проект отмечает их отклонение в поведении, риторике и взаимодействии с обычными пользователями. Исследователи скачивают публикуемые твиты и выделяют те аккаунты, которые большой группой комментируют одни и те же новости. Долгое время боты почти ничего не писали за пределами целевых аккаунтов, однако, отмечает эксперт проекта, недавно они начали периодически постить что-то на собственных страницах (например, посты про "прекрасные места РФ для поселения").

Комментарии в интересах российских властей определяют и по тому, что аккаунты могут противоречить сами себе. Боты комментируют большое число новостей, не вникая в их содержание и реагируя лишь на заголовок. Они общаются с другими пользователями в комментариях, но не под собственными твитами.

Для обучения модели определения ботов первые несколько сотен аккаунтов ботов были отобраны вручную.

Эксперт "Блокировщика ботов" отмечает, что с приходом Илона Маска на должность CEO противодействие ботам всех видов в Х сильно усложнилось. В частности, Х почти перестал удалять аккаунты русскоязычных "троллей на зарплате", а также перекрыл исследователям доступ к API (т.е. возможность программного анализа активности пользователей) и систематически противодействует попыткам исследовать активность обходными способами, без API.

Эксперт "Блокировщика ботов" утверждает, что чаще всего бот-аккаунты в Х либо берутся в аренду, либо покупаются. Нередко такие аккаунты оказываются последовательно задействованы сразу в нескольких видах активности. Например, аккаунт может сначала рекламировать странные криптовалютные схемы, а через несколько дней или недель распространять политическую пропаганду.
Среди бот-аккаунтов есть взломанные и переданные от живых пользователей. Они используются в случаях, когда оператору важно, чтобы у аккаунтов была история человеческой активности. Например, большая часть ботов "Матрёшка" именно такие.

От месяца к месяцу могут меняться поставщики и "партия" аккаунтов, а также то, к какой популяции аккаунт в данный момент "прикреплен". Варьируются и свойства аккаунтов: шаблоны имен, оформления, местоположения, подписок.

Технически боты также различаются в зависимости от популяции и информационной кампании.

Исследователи EEAS выделяют четыре стадии работы ботов Doppelgänger:

1. Группа из 8-12 аккаунтов публикует оригинальные сообщения. Эти сообщения обычно содержат текстовую подпись, ссылку, ведущую на сайты двойников, и изображение, представляющее собой миниатюру статьи;
2. Большая группа аккаунтов репостит ссылки на оригинальные посты, не добавляя никакого дополнительного текста — часто таких репостов более 1000;
3. Другие аккаунты увеличивают охват путем повторного размещения постов в качестве комментариев на лентах пользователей с большим количеством подписчиков. Использование одноразовых аккаунтов для размещения и усиления контента усложняет расследование, поскольку после выполнения поставленных задач эти аккаунты становятся неактивными;
4. Чтобы обойти ограничения платформы на размещение веб-ссылок на домены из черного списка, сеть использует многоступенчатую технику перенаправления URL.

Сначала аккаунт размещает ссылку, которая перенаправляет пользователей через несколько промежуточных сайтов, прежде чем они попадают в конечный пункт назначения — статью, опубликованную на одном из сайтов Doppelganger. Эти промежуточные этапы включают в себя целевую страницу с обфусцированным кодом JavaScript и обработчик перенаправления, которые скрывают конечный URL и отслеживают эффективность кампании.

По информации аналитиков OpenAI, комментарии размещались аккаунтами всего с одним-двумя твитами. Тексты обычно сопровождались случайной ссылкой, например "solarpanelfor[.]sale". Эти ссылки перенаправляли на ряд сайтов, которые неоднократно приписывались Doppelganger.

Сайты были ограничены геозоной, так что их могли просматривать только люди с IP-адресом в целевой стране. Однако, судя по всему, операторы кампании допустили техническую оплошность, и некоторые английские, немецкие и польские статьи можно было просмотреть только с французского IP.

Исследователи Correctiv выяснили, что домены сайтов Doppelganger зарегистрированы в Малайзии и Литве, для редиректа на нужные сайты на основе данных геолокации используется эстонская программа Keitaro. Для промежуточных доменов, нужных для редиректа, использовались американский сервис BL Networks и британский сервис Liber Systems, а для обхода детектирования реального назначения ссылок — британские TNSecutiry и Netshield.
Некоторые боты используют языковую модель ChatGPT для создания уникальных текстов на разных языках. Например, боты Doppelgänger публиковали тексты на 13 языках, включая литовский, корейский, турецкий и арабский. На каждом языке были опубликованы сотни уникальных твитов, сгенерированных языковой моделью — именно уникальность текстов позволила ботам избежать автоматической блокировки соцсетью и достичь относительно высоких охватов.

Компания OpenAI подтвердила, что ботофермы в Х используют ChatGPT для написания текстов твитов, и заблокировала соответствующие аккаунты. Вероятно, пытаясь скрыться от обнаружения, этот кластер ботов получал доступ к моделям OpenAI с помощью сервиса, связанного с компаниями в России и Чехии.

Организация NewsGuard, специализирующаяся на борьбе с дезинформацией, установила, что в таких целях кроме ChatGPT могут использоваться и другие модели. Российские боты могут пользоваться всеми популярными сервисами для генерации текстов и изображений — встроенные в сервисы инструменты безопасности фактически не ограничивают создание дезинформации.

Кроме генерации уникальных текстов, для обхода блокировок боты накладывали на изображения фильтры и обрезали видео в разных точках, делая их различными по длине (иногда буквально на миллисекунды), так что машинный интеллект считывал их как разные.

Ботов Doppelganger связывают с компаниями "Национальные технологии" (конечным владельцем которого является "Ростех") и "Агентство социального проектирования", а также с группой компаний "Структура".

Боты "Матрешка" используют принципиально другую стратегию. Каждый такой аккаунт тегает сотни фактчекеров из разных стран, давая ссылку на сообщение другого бота, опубликовавшего фейковое изображение или видео. Обычно ретвит фактчекеру происходит через 30-40 минут после публикации фейка. Через несколько недель тот же аккаунт публикует новое фото или видео, и это сообщение, в свою очередь, впоследствии цитируется следующим аккаунтом. Отсюда название "Матрешка": каждая новая учетная запись цитирует сообщение предыдущей. Нередко боты накладывают на распространяемые видео логотипы авторитетных СМИ, чтобы создать видимость их подлинности.

Характерный признак ботов "Матрешка" — очень короткие интервалы между твитами каждого отдельного бота в адрес СМИ и фактчекеров, чаще всего они составляют 45 секунд.

Для управления ботами "Мелиоратор", по данным ФБР, была создана отдельная инфраструктура на домене mlrtr.com. Там была размещена панель управления для "бригадиров" ー операторов, управляющих автоматизированными ботами. Помимо прочего "Мелиоратор" позволял:

• создавать фейковые аккаунты, которые выглядели как аутентичные пользователи;
• автоматически создавать сообщения, которые основаны на теме и образе бота;
• публиковать посты, сложноотличимые от контента оригинальных пользователей;
• распространять фейки, которые ранее опубликовали другие боты;
• увеличивать охваты фейков.

В расследовании ФБР приводится фрагмент кода, позволяющий обходить процедуру верификации пользователей X (он занимает всего несколько строк) — с помощью него удавалось регистрировать сотни аккаунтов ботов.

Посты, юзерпики и иллюстрации в профилях ботов были созданы с помощью библиотеки Faker. Обычно эта библиотека используется, когда разработчикам приложений или сайтов нужно сгенерировать искусственные данные для тестирования программного обеспечения.

Большинство таких ботов управляются сотрудниками на зарплате. Исходя из статистики, собранной на май 2023 года, аккаунты ботов создаются преимущественно в рабочие дни, почти всегда с 5 утра до 17 вечера, с пиками в 6-7 и 10-11 утра. Чтобы аккаунты выглядели менее подозрительными, активно твитить они начинают не менее чем через неделю после создания.

В последнее время эта стратегия несколько изменилась. Эксперт "Блокировщика ботов" утверждает, что сейчас аккаунт может отлеживаться годами, иногда ненадолго оживая при важных инфоповодах, а в остальное время молча "накапливая стаж". Например, аккаунты, начавшие активность на интервью Путина Такеру Карлону, после пары комментариев "засыпали", чтобы снова оживать только апреле или августе 2024.

Обычно боты отвечают подряд на самые верхние комментарии к интересующим их постам — так они пытаются бороться с тем, что X отправляет их тексты в конец списка комментариев. Кроме того, такие аккаунты часто ретвитят с цитированием — cоцсеть довольно плохо подавляет цитирования от "подозрительных" аккаунтов.

Раньше боты подписывались в основном на других ботов, однако в последнее время они стали активнее подписываться на живых провластно настроенных пользователей. Такая стратегия позволяет бот-аккаунту быстрее набрать себе базу подписчиков, так как многие обычные пользователи привыкли подписываться в ответ.

Время активности ботов отличается от времени активности настоящих пользователей — основную массу комментариев они пишут в период с 8 до 20 часов, с выразительным пиком в районе 14 часов. Около полудня у ботов наблюдается перерыв на обед. У "живых" пользователей активность с 10 до 22 ч более равномерна, самые активные часы — с 18 до 21, а заметный спад активности возникает только начиная с 23 часов.

Боты комментируют утренние новости (в 8-9 часов) на 40% чаще, чем любые другие, а каждая новость с обеда и до позднего вечера получает меньше отклика, чем в любое другое время. В выходные активность ботов заметно снижается.

Раньше X блокировал аккаунты ботов примерно в 9 раз чаще, чем аккаунты настоящих пользователей. В 80% случаев это происходило в первый месяц существования бот-аккаунтов. Однако, по словам опрошенного нами эксперта "Блокировщика ботов", с приходом в компанию Илона Маска частота блокировок сильно снизилась, и сейчас добиться блокировки найденных проектом ботов чаще всего не удается.

Боты активны практически во всех соцсетях, включая те, которые мы не рассматривали. Например, Meta писала о кампанях ботов Doppelganger в Facebook, а OpenAI обнаруживала их на портале с мемами 9GAG. Наличие ботов в Telegram, X и Instagram подтверждают и европейские аналитики информационных атак. Бывший сотрудник "фабрики троллей", принадлежавшей Пригожину, также признавался, что ее сотрудники, писали комментарии не только в VK, но и на Facebook и Youtube. В обнаруженных центром “Досье” внутренних документах фабрики присутствовали и планы по кампаниям в Instagram.

Боты, направленные на российскую аудиторию, делятся на несколько основных типов: это либо наемные сотрудники, которые пишут комментарии к тематически отобранным постам, ориентируясь на методички, либо автоматизированные аккаунты, нередко использующие языковые модели для генерации текстов и копирующие тексты друг друга. Разные кластеры ботов, вероятно, связаны с различными проправительственными "ботофермами".

Существуют и качественные различия между ботами для разных платформ. Исследователь пропаганды из Королевского Колледжа Лондона Максим Алюков отметил, что наименее качественная инфраструктура ботов была обнаружена в "Одноклассниках". По его словам, в этой соцсети аккаунты просто "бомбардируют" людей одинаковыми сообщениями, которые не привязаны к актуальной повестке. А в Telegram ботофермы более чувствительны к актуальным новостям и реже постят "идеологический мусор".

Боты, направленные на зарубежную аудиторию, используют более сложные стратегии. Они включают распространение сетей фейковых сайтов или видеороликов (Doppelganger) и намеренную перегрузку фактчекеров работой ("Матрешка").

Ботов на всех платформах объединяет то, что их активность отличается от активности обычных пользователей. Именно по этому признаку их и детектируют. Для анализа паттернов активности можно использовать модели машинного обучения, или более простые алгоритмы, фиксирующие совпадения в текстах или доменах пересылаемых ссылок.

Нет никаких признаков того, что активность кремлевских ботов идет на спад. Наоборот, исследователи фиксируют повышение этой активности и усложнение алгоритмов ботоферм, изобретающих новые способы избежать блокировок. В свою очередь, проекты по обнаружению ботов продолжают совершенствовать свои методологии. Однако ключевым фактором остается желание администраций крупнейших социальных платформ бороться с информационными атаками. Если Telegram до сих пор оперативно блокирует ботов, то X ослабил механизмы блокировки с приходом в руководство компании Илона Маска, а VK и вовсе скорее содействует работе прокремлевских аккаунтов, при этом оперативно противодействуя бот-кампаниям оппозиции.

В любом случае, проекты мониторинга ботов выполняют критически важную задачу — даже если не каждая соцсеть готова эффективно вычищать фейковые аккаунты, информированный пользователь менее уязвим для их пропаганды.

Благодарим Проект Cedar,
Алесю Соколову,
Тимура Хайрутдинова