Невидим для человека и для ИИ. Китайцы сделали камуфляж по образцу осьминога, который обманывает и глаз, и нейросети
Китайские учёные разработали адаптивный камуфляж, который помогает скрывать объекты одновременно от человеческого глаза и систем компьютерного зрения. Технология CephCam меняет рисунок маскировки под окружающую обстановку и мешает алгоритмам искусственного интеллекта распознавать замаскированный объект.
Разработку представили исследователи Университета Цинхуа и Пекинского университета. В опубликованном 26 октября в журнале Nature Communications исследовании учёные описали систему, которая объединяет обычную визуальную маскировку с алгоритмами обмана нейросетей. В отличие от традиционного камуфляжа, CephCam способен подстраиваться под изменения окружающей среды.
Главная проблема современных маскировочных технологий заключается в различиях между человеческим и машинным зрением. Люди прежде всего обращают внимание на форму предметов и окружающий контекст, тогда как нейросети могут опираться на текстуры, контуры и другие особенности изображения. Рисунок, который успешно обманывает алгоритм распознавания, нередко выглядит для человека настолько необычно, что лишь привлекает внимание.
Авторы CephCam попытались решить обе задачи одновременно. В основу разработки легла способность осьминогов и каракатиц менять окраску тела в зависимости от окружающей обстановки. У головоногих моллюсков глаза собирают зрительную информацию, нервная система обрабатывает сигналы, а специальные пигментные клетки кожи позволяют менять цвет и рисунок поверхности. Исследователи воспроизвели похожую схему с помощью камер, вычислительных модулей и OLED-дисплеев.
Камеры CephCam анализируют окружающую обстановку и определяют преобладающие цвета. Затем алгоритм создаёт маскировочный рисунок, который одновременно соответствует фону и снижает вероятность обнаружения объекта нейросетями. Полученное изображение выводится на экраны, установленные на поверхности замаскированного предмета. При изменении условий система может пересчитать рисунок и обновить изображение.
Особенность разработки заключается в применении так называемых состязательных изображений. Специально подобранные узоры воздействуют на особенности работы нейросетей и могут заставить алгоритм пропустить объект, который присутствует в кадре. Обычно подобные методы используют для атак на системы компьютерного зрения, но исследователи встроили такой механизм в обычный камуфляж, сохранив визуальное сходство с окружающей средой.
Сначала учёные проверили CephCam в цифровых экспериментах. Для испытаний выбрали шесть типов окружающей среды, включая город, лес, пустыню, пляж, снежный ландшафт и ночные сцены. Эффективность оценивали по изображениям автомобилей, которые алгоритмы должны были обнаружить с разных расстояний и ракурсов. Для каждого сценария использовали 1000 изображений с одинаковыми условиями сравнения для разных способов маскировки.
Результаты показали, что простое копирование цветов окружающей среды помогает скрывать объект от людей, но не гарантирует защиты от нейросетей. Напротив, рисунки, специально созданные для обмана искусственного интеллекта, могут выглядеть неестественно. CephCam объединил оба подхода и в испытаниях превзошёл сравниваемые методы по способности затруднять обнаружение объекта, сохраняя визуальное соответствие фону.
Для проверки человеческого восприятия исследователи провели несколько экспериментов. Сначала 107 добровольцев оценивали, насколько хорошо автомобили с разными вариантами камуфляжа сливаются с окружающей средой, по семибалльной шкале. Затем ещё 112 участников искали машины на изображениях различных ландшафтов. В последнем эксперименте CephCam статистически значимо снизил долю правильных обнаружений и увеличил время реакции по сравнению с наиболее сильными из протестированных альтернатив.
Отдельно проверили способность маскировки противостоять разным алгоритмам компьютерного зрения. Разработчики использовали модели семейства YOLO, включая YOLOv9, YOLOX и YOLO11, а также архитектуры Cascade R-CNN, Mask R-CNN, DETR и DINO. Выяснилось, что рисунок, оптимизированный для одной нейросети, хуже работает против незнакомых моделей. Поэтому учёные добавили механизм совместной оптимизации с учётом нескольких детекторов, повысив эффективность маскировки против систем, которые не участвовали в её первоначальной настройке.
После цифровых испытаний исследователи собрали физический прототип на базе модели внедорожника Land Rover в масштабе 1:12. На капоте, дверях и крыше разместили три OLED-дисплея, а камеру установили в верхней части лобового стекла. Вычислительный модуль управлял изображениями и обменивался информацией с внешним сервером. Для сложных вычислений использовали сервер с десятью видеокартами NVIDIA RTX 3080.
Во время испытаний возникла дополнительная проблема. Цвета OLED-экранов менялись в зависимости от угла наблюдения, поэтому изображение, правильно рассчитанное компьютером, могло выглядеть иначе на реальном устройстве. Для компенсации искажений разработали отдельную нейросеть ColorNet. Алгоритм корректирует отображаемые цвета с учётом особенностей экранов, освещения и углов обзора, помогая приблизить реальный рисунок к рассчитанному.
Авторы подчёркивают, что CephCam пока остаётся экспериментальной системой. На физическом прототипе экраны закрывают только отдельные участки кузова, тогда как остальные поверхности сохраняют обычный внешний вид. Кроме того, сложная настройка маскировки требует связи с удалённым сервером по Wi-Fi. Задержки передачи информации и ограниченная вычислительная мощность бортового оборудования мешают быстро менять изображение в динамичной обстановке.
Исследователи рассчитывают, что гибкие дисплеи позволят в будущем покрывать значительно большую часть поверхности объектов, а более производительные встроенные процессоры смогут рассчитывать маскировочные рисунки без удалённого сервера. Однако опубликованные результаты пока не доказывают, что технология способна надёжно скрывать полноразмерный автомобиль от реальных систем наблюдения при движении, сложном освещении и произвольных ракурсах.
Разработка затрагивает и более широкую проблему безопасности искусственного интеллекта. Системы компьютерного зрения применяют для видеонаблюдения, распознавания объектов и автономного управления транспортом. CephCam демонстрирует, что специально подобранная визуальная маскировка может одновременно затруднять человеческое восприятие и снижать эффективность автоматического обнаружения. Для разработчиков подобных систем результаты дают дополнительный повод проверять устойчивость нейросетей к намеренно изменённым изображениям в реальных условиях.