Машина цензуры: откровения китайского разработчика алгоритмов TikTok

Редакция Интерсвязь Медиа перевела громкое и откровенное интервью бывшего сотрудника ByteDance — одной из крупнейших компаний Китая, активно занимающейся сбором данных о пользователях и цензурой. Публикуем самые интересные отрывки в формате монолога анонимного разработчика.

Это была ночь, когда доктор Ли Вэньлян боролся за свою жизнь в отделении неотложной помощи Уханьской центральной больницы. Я, как и многие китайские веб-пользователи, не спал и постоянно обновлял свою ленту Вэйбо (Sina Weibo — крупнейшая китайская соцсеть — здесь и далее примечание редакции), чтобы получать информацию о его здоровье. Доктор Ли был тем самым офтальмологом, который бил тревогу в начале вспышки COVID-19. Вскоре он столкнулся с запугиваниями со стороны правительства, а затем заразился коронавирусом. Ранним утром 7 февраля он скончался. Я, как и многие китайские пользователи, выразил свое горе и возмущение в ленте Вэйбо. И мой аккаунт вскоре был удален.

Я больше чувствовал вину, чем гнев. В то время я работал в ByteDance и занимался разработкой инструментов и платформы для модерации контента. Система удаления контента должна была влиять на коллективные воспоминания граждан о страданиях, причиненных во время вспышки COVID-19. Другими словами, я строил систему, которая подвергала цензуре учетные записи. Такие, как моя. Я помог похоронить себя в постоянно расширяющейся кибермогиле Китая.

Я трудился в центральной технологической команде. Мы занимались поддержкой в отделе данных ByteDance. Отдел данных в основном занимается разработкой технологий для платформ короткого видео. По состоянию на начало 2020 года технологии, которые мы создали, поддерживали модерацию контента всей компании в Китае и за его пределами, включая Douyin и его международный эквивалент TikTok. В команде разработчиков продукта работало около 50 сотрудников, а в нашей технической команде работало от 100 до 150 инженеров-программистов. Кроме того, ByteDance нанял около 20 000 модераторов для мониторинга контента в Китае. Они работали на так называемых внутренних «базах» в разных городах страны. Некоторые из них были сотрудниками ByteDance, другие — подрядчиками.

Моя работа заключалась в создании и поддержке технологий, которые делали работу модераторов первого уровня более эффективной. Например, мы создали инструмент, который позволил им бросить видеоклип в нашу базу данных и найти аналогичный контент.

Во время прямых трансляций каждая аудиодорожка автоматически транскрибируется в текст, позволяя алгоритмам сравнивать заметки с постоянно обновляющимся списком «чувствительных» (запрещенных) слов, дат и имен, а также моделями обработки языка. Затем алгоритмы анализируют, является ли контент достаточно рискованным. Если пользователь упомянул запрещенное слово, модератор контента получит оригинальный видеоклип и стенограмму, показывающую, где появился этот термин. Если модератор сочтет речь «чувствительной» или неуместной, он закроет текущую сессию прямой трансляции и даже приостановит или навсегда удалит учетную запись. Инфлюенсеры пользуются особым отношением — есть модераторы контента, назначенные специально для мониторинга каналов определенных влиятельных лиц.

Некоторые чрезвычайно популярные влиятельные лица, государственные СМИ и государственные учреждения, наоборот, находятся в белом списке, созданном ByteDance, без какой-либо цензуры.

Однажды в ByteDance мы получили несколько запросов на разработку алгоритма, который мог бы автоматически определять, когда пользователь Douyin говорил по-уйгурски, а затем отключать ему сеанс прямой трансляции (уйгурский народ исторически находится в конфликте с официальным Пекином). Модераторы попросили об этом, потому что они не понимали языка. Стримеры, говорящие на этнических языках и диалектах, которые не понимают говорящие на китайском языке, получают предупреждение о необходимости перехода на путунхуа (официальный язык в Китае). Если стример не выполняет требований, наступает блокировка вне зависимости от контента.

Мы в основном подвергаем цензуре контент, который китайское правительство считает морально опасным — порнографию, непристойные разговоры, наготу, а также несанкционированные продажи в прямом эфире и контент, нарушающий авторские права. В целом китайские пользователи сети отлично владеют самоцензурой. Однако политические высказывания людей — главный страх китайских пользовательских контент-платформ (соцсетей). Неудаление политического контента влечет за собой жесткие санкции и пристальный контроль со стороны правительства. Для компаний это дело жизни и смерти. Были случаи, когда система модерации контента ByteDance отключалась на несколько минут, и именно в эти моменты мог появляться неугодный контент. Компания каждую секунду ходит по тонкому льду.

Команда, в которой я работал, а также армия из 20 000 модераторов контента помогли защитить ByteDance от негативных политических последствий и достичь коммерческого успеха. Мощные алгоритмы ByteDance заточены не только на точные прогнозы и рекомендацию контента — а это гордость компании, — но и помогают модераторам контента в выстраивании цензуры. Не многие технологические компании в Китае имеют так много ресурсов, посвященных модерации контента.

Я никогда не гордился своей работой и никому не говорил о ней. Когда меня спрашивали, что я делаю в ByteDance, я обычно говорил, что просто удаляю сообщения. Инструменты, которые я разрабатывал, могли помочь с фейковыми новостями, но на деле работали на цензуру мысли и стирание коллективных воспоминаний о негативных событиях в Китае. Многие из моих коллег беспокоились о том, что мы делаем. Одни изучали журналистику в колледже. Другие были выпускниками лучших университетов. Они были хорошо образованными и либеральными. Время от времени мы открыто говорили о том, как наша работа помогает цензуре. Но мы все чувствовали, что ничего не можем с этим сделать.

Доктор Ли предупредил коллег и друзей о неизвестном вирусе в Ухане. За это он был наказан. И в течение нескольких недель мы понятия не имели, что на самом деле происходит из-за сокрытия властями серьезности кризиса. Примерно в это же время в прошлом году многие китайские технологические компании активно удаляли сообщения, видео, дневники и фотографии, которые не были частью «правильной коллективной памяти», формируемой правительством Китая.

Только представьте: социальная сеть могла бы отвергнуть правительственные директивы о цензуре и сохранить жизнь доктору Ли и другим активистам. Возможно, сегодня были бы спасены миллионы жизней.