«Враждебный» узор, который не даёт камерам наблюдения вас распознать: как это работает

Билл Сверенген провёл последний год, снова и снова запуская практически один и тот же тест. Его цель — создать компьютерный узор, который не позволял бы камерам наблюдения, выстроенным вдоль американских улиц, обнаруживать его. Спустя примерно 31 миллион тестов Сверенген утверждает, что теперь может по запросу генерировать узоры, которые при нанесении на одежду и предметы не дают самым распространённым считывателям номерных знаков и камерам наблюдения распознавать то, что они покрывают, — от людей до автомобилей. Его проект, названный noRecognition, позволяет людям ускользать от автоматического распознавания и алгоритмической слежки, которая используется по всей территории США и за их пределами.

В последние годы камеры наблюдения обзавелись способностью понимать, что происходит в записываемом кадре: от отслеживания номеров превышающих скорость автомобилей до попыток распознавания лиц для опознания подозреваемых — правда, с переменным успехом, а иногда и с пугающими последствиями. Алгоритмы обнаружения, на которых работают сегодня большинство камер, способны просеивать огромные объёмы видеозаписи, позволяя правоохранителям выхватывать из потока интересующие события — примерно как вытащить иголку из стога сена. ## Как работают узоры

Узоры Сверенгена не блокируют саму запись видео. Вместо этого они «перемешивают» способность камеры опознавать объекты, людей или лица, так что камера не выдаёт сигнал обнаружения. Блокируя способность камеры распознавать то, что скрыто узором, человек снова становится иголкой в стоге сена — до тех пор, пока кто-нибудь не узнает, где искать.

«Приватность — это фундаментальное право», — заявил Сверенген TechCrunch в разговоре на этой неделе. Свои узоры он описывает как способ позволить людям «отказаться от отслеживания». В пятницу на конференции по кибербезопасности Def Con в Лас-Вегасе он провёл первый публичный тест: узор, напечатанный на автомобиле, успешно доказал, что такие паттерны могут бороться с системой обнаружения в реальном мире. В разговоре из своего дома в Канзас-Сити, где он соучредил кибербез-митап SecKC, Сверенген рассказал TechCrunch, что как киберпрофессионал остро осознаёт риски слежки для приватности и безопасности. Он описал, как его город наводнён камерами наблюдения — иногда они установлены всего в нескольких футах друг от друга. Он и другие жители никогда не давали согласия на то, чтобы за ними наблюдали, точно так же, как не соглашались на использование их водительских прав для распознавания лиц.

Сверенген описывает себя как мужчину средних лет с белым цветом кожи, живущего в центре США, и признаёт, что в силу этого не сталкивался с трудностями или дискриминацией из-за того, кто он и как выглядит. Однако в прошлом году он хотел пойти на протест, но чувствовал себя некомфортно: огромное число камер могло отслеживать людей, реализующих конституционное право на свободное выражение мнения. Если так чувствовал себя он, несомненно, так же себя чувствуют и другие — в том числе те, кто хотел бы воспользоваться своими правами, но не ощущает себя в безопасности. Сверенген взялся за работу. Сколько существуют камеры, способные что-то обнаруживать, столько существуют и попытки противостоять этой технологии. Несколько арт-проектов и брендов одежды выпускали предметы гардероба, призванные помочь победить распознавание лиц. Некоторые производители очков ухватились за тренд, правда, без особого эффекта. Сверенген говорит, что его исследование опирается на эти ранние работы, доказавшие принципиальную возможность блокировки обнаружения.

31 миллион тестов и обучение модели

Он начал в прошлом году с тестовой лаборатории, которая последовательно обходила один за другим алгоритмы обнаружения на камерах с открытым исходным кодом. В течение года он оттачивал узоры, наращивая тесты дополнительной вычислительной мощностью, и благодарит сообщество за предоставленное железо. Постепенно его прототип эволюционировал в модель обучения с подкреплением — по сути, самодостаточную систему, способную самостоятельно обучаться тому, какие узоры работают, а какие нет против конкретных алгоритмов камер. Простыми словами, Сверенген «научил свою модель рисовать»: каждый раз, когда узор не срабатывал и алгоритм его обнаруживал, модель пробовала снова, снова и снова, пока не научилась обходить сразу несколько алгоритмов. Вскоре модель нашла идеальные рецепты узоров, побеждающих все 11 протестированных алгоритмов обнаружения с открытым исходным кодом, включая программное обеспечение считывателей номерных знаков Flock, нательных камер Axon и камер, работающих на Clearview AI. Теперь модель создаёт новые узоры каждую минуту, и каждая партия математически лучше предыдущей, говорит он.

Первый публичный тест

В пятницу на Def Con в Лас-Вегасе Сверенген провёл первый реальный тест. При поддержке Donut Media автомобиль Toyota Yaris 2009 года покрыли одним из новейших узоров, чтобы проверить, станет ли машина невидимой для обнаружения камерой Flock. «Мы доказали, что это работает», — сказал Сверенген, хотя колёса и оказались проблемой. Видео демонстрации выйдет в ближайшие недели, сообщили в Donut Media. После публичного демо в Лас-Вегасе проект — раннее доказательство того, что избегать алгоритмического обнаружения в общественных местах возможно. Следующий шаг — донести узоры до людей, которые в них нуждаются. У проекта noRecognition есть и краудсорсинговая кампания, чтобы профинансировать продажу раннего мерча с узорами — от футболок до худи, а в перспективе и плёнок для автомобилей. Сверенген говорит, что стремится сделать узоры качественными и достаточно детализированными, чтобы работать на расстоянии, и при этом эстетически привлекательными. Свои самые сильные узоры он держит подальше от интернета, чтобы производители камер не научились их обходить, но работа ещё не закончена: его модели продолжают генерировать новые паттерны.

Этика и гонка вооружений

Проект поднимает непростые этические вопросы: те же технологии, что помогают защитить приватность граждан, могут использоваться и для сокрытия преступной деятельности. Сам Сверенген настаивает, что его цель — защита фундаментальных прав, а не создание инструмента для злоупотреблений, и указывает на отсутствие в США федерального закона, который ограничивал бы массовую биометрическую слежку. Пока же noRecognition остаётся ярким примером того, как технологии, созданные государством и корпорациями для контроля, встречают контр-технологии, создаваемые энтузиастами — и гонка вооружений в области распознавания образов продолжается, причём с обеих сторон она становится всё изощрённее.

Технически узор работает за счёт «состязательных» (adversarial) искажений: это не случайный рисунок, а математически просчитанная комбинация цветов и форм, которая эксплуатирует слабости нейросетей, лежащих в основе систем распознавания. Человеческий глаз видит абстрактный принт, а алгоритм — зашумлённый объект, не поддающийся классификации. Именно поэтому Сверенгену пришлось провести десятки миллионов итераций: каждая модель камеры обучена на своих данных, и универсального «невидимого плаща» не существует — каждый узор подбирается под конкретный класс алгоритмов. Сам исследователь признаёт, что его работа — лишь один из первых шагов: полноценная защита от камер потребует, чтобы узоры работали при разном освещении, погоде, ракурсах и расстояниях, а также покрывали не только автомобили, но и пешеходов в движении. Тем не менее, демонстрация на Def Con уже привлекла внимание и правозащитников, и специалистов по безопасности: первые видят в проекте инструмент защиты от массовой слежки, вторые — наглядную иллюстрацию того, насколько хрупкими могут быть современные системы видеоаналитики. Распространение подобных технологий, вероятно, подтолкнёт производителей камер к разработке более устойчивых алгоритмов, а значит, публичные пространства и дальше будут ареной борьбы между распознаванием и противостоянием ему.

По материалам TechCrunch