что такое сканирование человека
Неочевидные лайфхаки 3D реконструкции людей
Сканировать людей можно для разных целей: от создания цифрового двойника для спецэффектов в кино до создания цифрового блогера или ассистента для соцсетей. Чаще всего удобно или даже нужно отсканировать уже существующего человека, чтобы внешность 3D модели была вполне определенная и фотореалистичная. В этой статье мы обсудим, какие есть неочевидные лайфхаки 3D сканирования людей на основе фотограмметрии.
Очевидные лайфхаки
Начнем с того, что фотограмметрией, т.е. восстановлением 3D моделей сцен на основе множества фотографий, пользуются уже не первый десяток лет для разных целей, в основном для сканирования карт местности или больших архитектурных объектов. Мы в Twin3D применяем фотограмметрию для сканирования людей, но есть и другие объекты, например, волкособы или диджейский пульт. Так какие же есть очевидные лайфхаки 3D сканирования людей?
Чем больше фотографий — тем лучше. Самый очевидный лайфхак. По принципу фотограмметрии на изображения проводятся лучи из виртуальной камеры через пиксели — в итоге лучи пересекаются. Но надо найти точки, которые повторяются на разных фотографиях. Чем больше фотографий объекта, тем больше таких точек, а значит — и качество итоговой 3D модели.
Между соседними фотографиями должно быть пересечение хотя бы 30% (лучше 50%). Это прямо следует из предыдущего объяснения.
Если объект подвижный (а человек очень подвижный, даже когда пытается стоять смирно), то фотографировать нужно одновременно. Это самое сложное в реализации требование. Получается, что просто вращать камеру вокруг человека не самый лучший вариант (хотя кто-то пытается). Нужно поставить много камер, которые умеют одновременно фотографировать. Кстати, у нас именно такой риг из камер (картинка ниже).
Использовать платный софт. Есть много бесплатных и опенсорсных софтов для 3D реконструкции, типа COLMAP или Meshroom, но по крайней мере на людях их результаты не идут ни в какое сравнение с платным софтом. Из платных мы рекомендуем (это не реклама) Agisoft Metashape или RealityCapture. У первого преимущество в том, что есть удобный питоновский API, а у второго — что он хорошо адаптирован под сканирование людей. На картинке ниже видна катастрофическая разница между бесплатным и платным софтом. Кстати, у Agisoft есть свой список советов для реконструкции людей, посмотрите.
Наш полноростовый сканер 
Тестовая сборка в MeshRoom, COLMAP, Metashape и RealityCapture соответственно
Неочевидные лайфхаки
Если пункты выше понятны любому, кто пытался собрать свои 3D модели и имеет опыт в фотографии, то дальше мы рассмотрим моменты, которые не лежат на поверхности и требуют некого бэкграуда в computer science и глубоком обучении. Помимо этого, их объединяет то, что не подразумевают какого-то ручного вмешательства 3D моделлера или фотографа.
Кстати до этого мы писали статью про автоматическую реконструкцию лица человека до уровня пор. Там совершенно другой сетап и другие подходы к реконструкции.
1. Background matting
Ниже — сырые фотографии с наших камер. Как видно, тут кропы тела человека на довольно сложном фоне. Не удивительно, что софт по 3D реконструкции с трудом справляется с тем, чтобы находить матчинг точек на разных фотографий: появляется шум и артефакты из-за этого сложного фона.
Сырые фотографии со сканера
Было бы идеально убрать фон. Но как это сделать? Конечно, есть множество статей по сегментации картинок, но они в основном ориентированы на определенный обучающий датасет, и там люди обычно целиком представлены (а не куском ноги). К тому же очень желательно, чтобы убирание фона было максимально точным (с точность до мм) и быстро считалось.
К счастью, есть статья «Real-Time High-Resolution Background Matting» (Shanchuan Lin et al., CVPR 2021), в которой есть всё это: очень точное убирание фона независимо от главного объекта и быстрая скорость вычислений. И главное — доступный код с лицензией MIT.
Вот что получается после прогона на нем картинок сверху:
Фотографии после background matting
Приблизим и уберем текстуру объекта:
Результат background matting — убирание фона с точностью до волосков
Результаты поразительные! Фон убирается с точностью до волосков. Теперь мы уж точно ожидаем, что 3D реконструкция должна улучшиться. Что по факту получается?
На картинке ниже мы сделали 2 модели: одну без убирания фона (слева), другую — с ним. Разница на лицо (буквально).
3D реконструкция до и после убирания фона
2. Image enhancement
Глаз опытного фотографа заметит, что наши сырые фотографии явно нуждаются в улучшении. Тут и резкости недостаточно, и свет слишком яркий, есть и дисторсия камер и так далее. Гипотеза в том, что улучшение этих вещей должно помочь собрать более качественные 3D модели.
Мы решили попробовать продукты известной в мире фотографии компании DxO, а именно DxO PureRaw (тоже не реклама). Этот софт умеет делать все выше перечисленное, а еще убирать шум с фотографий с помощью разработанной inhouse нейронной сети DeepPRIME AI. Вот что получается после его применения:
Применение DxO PureRaw
Главный вопрос: как это сказывается на итоговой модели?
Модели до и после улучшения фотографий
Видим, что улучшение исходных фотографий существенно улучшает и итоговую модель.
3. Mesh denoising
Предыдущие приемы касались улучшения входных изображений для 3D реконструкции. Вопрос теперь в том, можем ли мы как-то улучшить выходы: т.е. меш или текстуру. Обычно, на выходе меш получается очень шумным, особенно если эта часть видна малым числом камер (например, нижняя часть руки).
Сырая модель руки
Мы уже писали подробную статью про разные подходы к убиранию шума с меша: от обычных фильтров до графовых нейронных сетей — так что перейдем сразу к результатам на людях.
Применение убирания шума к модели девушки
Если приглядеться к этой девушке, то можно легко заметить, что после уменьшения шума итоговый рендеринг становится гораздо приятнее, при этом детализация не пропадает. Можем также посмотреть и на нижнюю часть руки:
Чищеная модель руки
Заключение
Область 3D реконструкции человека очень широкая и интересная, можно применить огромный спектр методов к восстановлению модели по фотографиям. Здесь мы покрыли лишь часть из них, но уже с их помощью видны существенные улучшения результатов.
В других статьях мы расскажем, как можно восстанавливать текстуры, как вычислять реалистичные нормали кожи, как создавать виртуальные камеры между настоящими и много других интересных вещей.
Камеры следят за вами всюду. Как работает система распознавания лиц и нужно ли ее бояться
Камеры уже повсюду. Как нейронные сети следят за нами, нарушает ли это наши права и как изменится пугающая технология в будущем – в материале The Guardian.
Программа распознавания лиц – что это такое?
Сегодня технология распознавания лиц используется повсеместно. Facebook, где вас отмечают на фото с встречи одноклассников, свадьбы вашего кузена или летней вечеринки на работе. В программы Google, Microsoft, Apple и так далее встроены приложения для накопления информации.
Программа распознавания лиц используется в аэропортах, она есть в вашем телефоне – с ее помощью вы можете его разблокировать. И если вам нужно подтвердить свою личность для банковского перевода в £1,000, просто посмотрите в камеру.
Новые приложения появляются все время. Хотите знать, кто стоит за дверью? Видео-дверной звонок с программой распознавания лиц сообщит вам, если вы заранее загрузили фотографии ваших знакомых.
Многочисленные системы используются для обнаружения пропавших без вести и ловли прогульщиков, которые не приходят вовремя на работу. Рекламодатели, конечно, тоже не остаются в стороне. Благодаря программам распознавания лиц на рекламных щитах сегодня появляется тот товар, который интересен именно вам, исходя из оценки вашего пола, возраста и настроения.
Большой Брат здесь? Программа распознавания лиц – инструмент контроля?
В определенных случаях, конечно. Китай использует программу для расового профилирования. Резкую критику получила правительственная практика использования программы для отслеживания и контроля над мусульманами-уйгурами. Камеры с программой распознавания лиц отслеживают и штрафуют пешеходов, отмечают учеников при входе в школу и контролируют выражение их лиц на уроках, чтобы те не отвлекались.
В России технология также используется.
Согласно источникам, Израиль использует распознавание лиц для слежения за палестинцами на Западном берегу реки Иордан. А в Британии полиция столицы и Южного Уэльса опробовала программу распознавания лиц, чтобы находить людей среди футбольных и регбийных толп, на городских улицах, а также на памятных мероприятиях и музыкальных фестивалях. Тейлор Свифт даже использовала программу на концерте в Калифорнии, чтобы отсеять нежелательных посетителей.
В магазинах программа все чаще используется для отпугивания и поимки воров. В следующем году она дебютирует на Олимпийских играх в Токио.
Как технология распространяется?
Большую роль сыграли достижения в трех областях: большие данные (big data), глубокие сверточные нейронные сети и мощные графические процессоры.
Благодаря Instagram, Facebook, Flickr, Google и другим системам в интернете находятся миллиарды фотографий лиц людей, которые были объединены в огромные наборы данных. Они используются для обучения глубоких нейронных сетей – главной опоры современного искусственного интеллекта – для обнаружения и распознавания лиц. Рутинная вычислительная работа обычно выполняется на графических процессорах, сверхбыстрых чипах, которые предназначены для обработки графики. Но за последнее десятилетие системы распознавания лиц распространились повсюду, и данные, собранные по ним, помогли компаниям отточить свои технологии.
Как это работает?
Во-первых, компьютер должен понять, что такое лицо. Научить его можно через алгоритм, обычно глубокой нейронной сети, на примере огромного количества фотографий в различных приложениях. Каждый раз, сталкиваясь с изображением, алгоритм оценивает, где находится лицо. Сначала будет много мусора, но постепенно алгоритм улучшается и в конечном итоге овладевает искусством определения лиц. Это шаг к функции распознавания лиц.
Следующая ступень – распознавание. Обычно используется вторая нейронная сеть. Она получает серию фотографий и учится отличать одно лицо от другого. Некоторые алгоритмы непосредственно отображают лицо, измеряя расстояния между глазами, носом и ртом и так далее. Другие отображают лицо, используя более абстрактные черты. В любом случае, сеть выводит вектор для каждого лица – строку чисел, которая однозначно идентифицирует человека среди других в обучающем блоке.
Программное обеспечение работает с видеоматериалами в режиме реального времени. Компьютер сканирует кадры видео, как правило в местах скопления людей, например на входе на футбольный стадион. И сначала он обнаруживает в кадре лица, а затем выдает векторы для каждого из них. Затем векторы лица сравниваются с векторами лиц людей в розыскном списке. Все совпадения, которые проходят предварительно установленный порог, затем ранжируются и отображаются.
Это не единственный способ, который использует полиция для распознавания лиц. Если подозреваемый замечен, офицеры могут загрузить снимки преступника из базы данных и искать записи с камер видеонаблюдения, чтобы проследить путь подозреваемого до места преступления.
Насколько это точно?
Независимые тесты Национального института стандартов и технологий США (NIST) показали, что за период с 2014 до 2018 года системы распознавания лиц улучшили показатели совпадения по базе портретных фото в 20 раз. Процент сбоев снизился с 4% до 0,2% за этот период, и такое значительное увеличение точности связано с глубокими нейронными сетями. В институте заявили, что сети привели к «промышленной революции» в распознавании лиц.
Но такая отличная производительность возможна в идеальных условиях: при наличии четкого и ясного снимка неизвестного человека, который проверяется по базе данных других высококачественных фотографий. В реальном мире изображения могут быть размытыми или снятыми при плохом освещении, люди могут отвести взгляд от камеры, надеть платок или шарф, или быть намного старше, чем на фотографии на аватарке.
И согласно тестам, проведенным институтом, даже при использовании лучших алгоритмов система дает сбои при попытке различить лица близнецов.
А как насчет системных ошибок?
Проблема возникает, когда нейронные сети обучаются на различном количестве лиц из разных групп людей. Например, если система обучается на миллионе белых мужских лиц, но почти не использует лица женщин и людей с другим цветом кожи, она будет менее точна при попытке распознать последние две группы. Меньшая точность означает больше ошибочных идентификаций, и в результате большее количество людей будут ошибочно задержаны.
В прошлом году Американский союз защиты гражданских свобод (ACLU) обнаружил, что программное обеспечение от Amazon под названием Rekognition ошибочно идентифицировало 28 членов Конгресса как людей, которые ранее находились под арестом. Оно непропорционально и неправильно идентифицировало афроамериканцев и латиноамериканцев. Но в Amazon сказали, что в ACLU просто использовали неправильные настройки.
Судебные тяжбы также выявили недостатки программы распознавания лиц. Исследование Кардиффского университета в Южном Уэльсе показало, что действенность системы NEC NeoFace снизилась, когда на экране было много людей, и она хуже работала в пасмурные дни и вечером, когда светочувствительность камеры повышалась и кадры становились более «шумными».
За 55 часов работы система отметила 2 900 потенциальных совпадений, из которых 2 755 были ложными. Основываясь на показаниях системы, полиция произвела 18 арестов, но в докладе университета не говорится, были ли кому-либо предъявлены обвинения.
Уэльский суд выделил еще одну проблему при распознавании лиц: овцы. Так называют людей из списка подозреваемых, которые не имеют особых примет и похожи на многих других людей. Во время сканирования толпы на матчах по регби в Уэльсе система NeoFace 10 раз обнаружила женщину из списка подозреваемых полиции Южного Уэльса. Ни одна из них не была настоящей подозреваемой.
Кто владеет технологией?
Технологические фирмы по всему миру развивают программы распознавания лиц, но США, Россия, Китай, Япония, Израиль и Европа лидируют. В некоторых странах технология применяется с большей готовностью, чем в других.
В Китае миллионы камер подключены к программному обеспечению распознавания лиц, а Россия заявила о планах использовать для наблюдения собственные сети. В Европе, как и везде, программа распознавания лиц используется в магазинах для задержания воров и в бизнесе для мониторинга персонала и посетителей, но распознавание лиц в режиме реального времени в общественных местах пока на стадии судебных разбирательств.
В США полиция обычно использует систему распознавания лиц для идентификации подозреваемых по видеозаписям с камер наблюдения, а не для сканирования толп людей в режиме реального времени. Но все равно система используется все больше. Согласно отчету 2016 года Центра права Университета Джорджтаун, половина всех американцев находится в полицейских базах данных по распознаванию лиц, а значит, алгоритмы выбирают подозреваемых из 117 миллионов виртуальных профилей законопослушных граждан.
Что говорит об этом закон?
Почти ничего. В Великобритании нет закона, который дает полиции право использовать программу по распознаванию лиц, и никакой государственной политики по ее использованию. Это привело к тому, что комиссар по биометрии Пол Уайлс назвал ситуацию выгодной для полиции, которая сама решает, где и когда целесообразно использовать программу распознавания лиц и что делать с изображениями, которые снимают камеры.
Компания «Свобода» призвала к полному запрету использования программы в режиме реального времени в общественных местах, заявляя, что она нарушает право на частную жизнь и принуждает людей менять свое поведение. Группа подала судебный иск против полиции Южного Уэльса в связи с использованием этой технологии. Подобные же претензии выразил Эссекский университет в ходе независимого обзора использования полицией программы распознавания лиц. Было доказано, что людей ошибочно задерживали, а значит, технология используется для выслеживания людей, которые вовсе не находятся в розыске. В заключении было сказано, что распознавание лиц в режиме реального времени нарушает закон о правах человека.
Еще одна область разногласий – списки людей, находящихся в розыске. Несмотря на решение Верховного суда 2012 года, что хранение изображений невинных людей незаконно, полиция постоянно создавала базу данных из задержанных 20 миллионов человек, многие из которых так никогда и не были осуждены. Фотографии из базы данных и из социальных сетей используются для создания списков людей, находящихся в розыске, и используются в системах распознавания лиц. В частном бизнесе ситуация еще хуже – владельцы магазинов и предприятий сами решают, кто входит в секретные списки находящихся в розыске и обмениваются фотографиями с другими фирмами.
В США ситуация не намного лучше. Только в пяти штатах есть законы, которые касаются использования программы по распознаванию лиц правоохранительными органами. Путаница в законе привела к тому, что в то время, как в полиции Сиэтла и Сан-Франциско запрещено использовать программу в режиме реального времени, в офисе шерифа в округе Марикопа, штат Аризона, каждое фото и водительские права жителей Гондураса проверяются по списку подозреваемых через программу распознавания лиц.
Как насчет других биометрических данных?
Конечно, технология распознавания лиц в центре внимания, но полиция и другие организации внимательно изучают новые биометрические данные, которые идентифицируют людей, помимо отпечатков пальцев и ДНК.
Говорят, что анализы текстуры кожи компенсируют проблемы при попытке распознать частично закрытые или искаженные лица, анализируя расстояние между порами кожи. Этот метод не часто тестировался, но разработчики утверждают, что, возможно, он позволит различать близнецов.
Еще один биометрический анализ, который интересует полицию, так как он применим на расстоянии и без взаимодействия с человеком, – это анализ походки.
Алгоритмы идентифицируют людей по уникальному стилю их шага, отражая различия в анатомии, генетике, социальном происхождении, привычках и индивидуальности.
Алгоритмы идентифицируют людей по уникальному стилю их шага, отражая различия в анатомии, генетике, социальном происхождении, привычках и индивидуальности.
Есть еще распознавание вен, когда оптические сканеры составляют карту кровеносных сосудов на руке, пальце или в глазу. Считается, что сканеры трудно обмануть, так как наши вены находятся под кожей. Система PalmSecure Fujitsu использует карты вен для мониторинга сотрудников на различных предприятиях.
Идентификация голоса уже используется банками и Министерством по налогам и сборам для подтверждения личности. В отличие от распознавания речи, которое переводит звуки в слова, идентификация голоса обнаруживает уникальные акустические паттерны, созданные голосовым трактом человека и его речевыми привычками.
Что дальше?
Вполне возможно, что эта технология станет вездесущей. Американская фирма Vuzix объединилась с дубайской фирмой NNTC для производства смарт-очков для распознавания лиц. В оправу вставлена крошечная восьмимегапиксельная камера, которая сканирует лица прохожих и предупреждает владельца о любых совпадениях в базе данных из миллиона человек. В Великобритании беспроводное видеонаблюдение работает на полицейских нательных камерах, которые делают почти то же самое. В США недавно запатентована полицейская нательная камера, которая начинает запись, когда лицо подозреваемого опознано.
А между тем технические фирмы совершенствуют свои системы, чтобы работать быстрее, с большим количеством лиц и со все более сложными изображениями – сделанными при плохом освещении или если люди прикрывают лица. Ведется работа над алгоритмами, которые смогут идентифицировать людей в масках и с использованием маскировки. Чтобы сделать системы распознавания еще более эффективными, биометрия лица будет сочетаться с другими биометрическими анализами, такими как голос и походка.
Неудивительно, что гонка вооружений началась: исследователи из Университета Карнеги-Меллона в Питтсбурге разработали свои собственные солнцезащитные очки, чтобы обмануть систему распознавания лиц: так один испытатель в очках был идентифицирован как Мила Йовович.
Как работает распознавание лиц и можно ли обмануть эту систему
Что такое распознавание лиц?
Распознавание лиц — это технология, которая позволяет автоматически идентифицировать (распознать, кто на фото) или верифицировать (подтвердить, что на фото именно этот человек) человека на фото, видео или вживую. Для распознавания используют нейросети, которые умеют считывать и анализировать уникальные черты человеческого лица, а затем сверять их с базой.
Об эксперте: Татьяна Гайнцева, преподаватель Deep Learning School (МФТИ), автор блога об искусственном интеллекте и нейронных сетях.
Как развивалась технология распознавания лиц
Как работает распознавание лиц?
В основе технологии — две нейросети:
Первая — сеть-«выравниватель» (англ. aligner). Она берет картинку, которая поступает с камеры наблюдения, детектирует на ней все лица, которые сможет найти, «вырезает» и «выравнивает» их.
Вот как это выглядит:
Программа вырезает обнаруженные лица (те, что плотно расположены друг к другу, повернуты в профиль или просто очень маленькие и нечеткие, система может не распознать).
Затем она их выравнивает: детектирует на лице точки глаз, носа и рта.
Наконец, поворачивает и подгоняет размер фото так, чтобы точки глаз, носа и рта находились в определенных местах.
Некоторые алгоритмы используют больше семи точек — то есть, обводят контуры лица. Это может понадобиться, к примеру, для создания дипфейков.
Вторая — сеть-«распознаватель». Она принимает на входе выровненное изображение, которое передала первая нейросеть, а на выходе выдает вектор лица — то есть, набор чисел фиксированной длины. У разных сетей эти векторы могут отличаться, но чаще всего это некая степень двойки. Например, 512:
На похожие лица сеть выдает похожие векторы и наоборот.
Возьмем одно фото Анджелины Джоли и два изображения Брэда Питта и прогоним их через сеть. На выходе получим три вектора. Измерим расстояние между вектором Анджелины Джоли и вектором первого Брэда Питта, а также между векторами двух Брэдов Питтов. В первом случае расстояние будет большим — это разные люди, а во втором — маленьким: это один человек.
Чтобы обучить нейросети, используют огромные базы данных с лицами людей. Нейросети на входе сообщают, кому принадлежит это лицо, а затем, в ходе обучения, добиваются, чтобы она выдавала максимально точные результаты. Обучившись на миллионах разных людей, нейросеть начинает распознавать и новые лица — те, которых не было в базе.
Технология Face ID в смартфонах устроена немного иначе. Алгоритм распознает вас не по фото, а с помощью инфракрасных точек, которые проецируются на ваше лицо через камеру. После этого создается трехмерная модель и сравнивается с той, что вы уже внесли ранее.
Где применяют распознавание лиц?
💣 Безопасность
Криминалисты, полиция и спецслужбы используют автоматизированные системы биометрической идентификации (ABIS) для поиска преступников, доказательства преступлений и их предотвращения — например, терактов или мошенничества с документами.
Камеры с распознаванием лиц применяют для обеспечения безопасности на массовых мероприятиях, для прохождения контроля в аэропортах, контроля доступа в различных организациях. Системы помогают находить пропавших детей, дезориентированных взрослых или людей, которых держат в рабстве.
💊 Здравоохранение и медицина
Распознавание лиц в больницах и домах престарелых помогает отслеживать, принимают ли пациенты лекарства и следить за их состоянием через специальный монитор. Нейросети даже умеют обнаруживать по лицу генетические заболевания по характерным признакам на лице — такие, как синдром Ди Джорджи, — и оценивать общее состояние пациента.
🍕 Ретейл, общепит и банки
Технология распознавания лиц помогает идентифицировать клиента и предотвратить мошенничество во время покупки в магазине, анализировать поведение покупателей и оптимизировать сервис так, чтобы продавать больше.
С помощью онлайн-биометрии можно открыть счет и получить кредит, а также снять деньги в банкомате. Например, в Китайском KFC и американском Amazon Go действует «оплата по лицу». В России биометрию планируют внедрить во всех крупнейших банках вместо обычной идентификации.
Еще одно перспективное направление — распознавание эмоций. Например, чтобы улучшить взаимодействие с клиентами и сотрудниками, работая онлайн, или анализировать, как пользователи реагируют на контент. В России подобными разработками занимается компания Neurodata Lab.
📚 Образование
Сервисы на базе распознавания лиц помогают во время онлайн-обучения: следят, чтобы ученик не отвлекался во время экзамена, не списывал и не пользовался устными подсказками.
Самые продвинутые разработки в этой области
Самые масштабные разработки в области распознавания лиц — у Google, Apple, Facebook, Amazon и Microsoft (GAFAM).
В 2014 году Facebook запустил сервис DeepFace, который определяет, принадлежат ли два сфотографированных лица одному и тому же человеку с точностью 97,25%.
В 2015 Google представила свою разработку — FaceNet. Благодаря огромному массиву данных, которые собирают сервисы Google, FaceNet достигла рекордной точности — 99,63%. Технологию, в частности, используют в Google Фото для сортировки изображений и автоматических отметок людей на них.
Amazon с 2018 года активно продвигает свой облачный сервис распознавания лиц под названием Rekognition, которым пользуются правоохранительные органы США. Система умеет распознавать до 100 человек на одном фото и искать их в базах данных, содержащих десятки миллионов лиц.
По данным Центра стратегических и международных исследований, а также Управления по науке и технологиям МВД США, лучшим решением в 2020 году было признано FRT: его точность распознавания составила 99,97%.
В России есть пять крупных игроков на рынке распознавания лиц:
NTechLab — разработчик нашумевшего приложения FindFace, которое использовали для поиска людей во «ВКонтакте» по фото. Сервис неоднократно оказывался в центре скандалов с нарушением приватности. Максимальная точность их алгоритмов для распознавания лиц — 99%. Компания также выступила подрядчиком для внедрения камер с распознаванием лиц в Москве.
Второй подрядчик московских властей в этой области — VisionLabs. Они также разрабатывали системы для московских камер и участвовали в других городских проектах. С недавних пор VisionLab стала частью экосистемы «Сбера», и теперь их разработки применяют, в том числе, для внедрения биометрии в банковских сервисах.
Группа ЦРТ в 2014 году первой внедрила систему распознавания лиц в спорте. Ее решения используются на стадионах «Газпром-Арена», «ВТБ-Арена» и других.
Что не так с распознаванием лиц в Москве?
В Москве действует одна из крупнейших в мире сетей с распознаванием лиц — более 200 тыс. камер общей стоимостью около 5 млрд руб.
Российскую технологию NTechLab признали лучшей в результате тестирования Национального института стандартов и технологий США. NTechLab вели совместные разработки с Genetec — поставщиком систем видеонаблюдения для американского правительства и спецслужб.
Систему для Москвы начали разрабатывать еще в 2015 году, а пилотный проект запустили в 2017-м: тогда это были 1,5 тыс. камер во дворах и подъездах. В 2018-м систему расширили, протестировав на чемпионате мира по футболу. Камеры помогли задержать около 100 нарушителей из базы уголовного розыска. В том же году с помощью камеры с распознаванием лиц задержали грабителя, находящегося в розыске МВД.
Московскую систему видеонаблюдения использовали во время пандемии в 2020 году. С ее помощью выявили более 200 нарушителей карантина и самоизоляции, которым пришлось выплатить штрафы.
Правозащитники указывают на опасность технологии для обычных граждан. Например, юрист Алена Попова неоднократно подавала иски к управлению МВД Москвы и московскому Департаменту информационных технологий с требованием запретить систему распознавания лиц на митингах.
Распознавание лиц и правда используют на митингах?
В феврале 2021-го появилась информация о том, что с помощью камер власти отслеживали участников митингов в Москве и привлекали их к ответственности. Полицейские останавливали людей на входе в метро или приходили к ним домой. Такое бывало и в других странах.
Во время протестов в Гонконге 2019-20 годов власти тоже использовали распознавание лиц, чтобы вычислять активистов. Для борьбы с этим протестующие использовали лазерные указки, маски с чужими лицами и проекторы для лица, а также громили столбы с камерами.
По мнению оппозиции, для распознавания используют программу Face++ от китайского стартапа Megvii. Эта система, предположительно, попала в черный список властей США за нарушение прав человека.
Еще один недавний пример — сайт Faces of the Riot, созданный студентом из Вашингтона. Он использовал приложение с открытым исходным кодом, чтобы извлечь лица из 827 видео, размещенных в соцсети Parler во время штурма Капитолия 6 января 2021 года. Затем он применил нейросеть для распознавания лиц, обученную на 200 тыс. фото из базы ФБР, и идентифицировал людей.
Какие еще проблемы есть у технологии сегодня?
👁️🗨️ Утечки. В данном случае в сеть утекают доступы к камерам наблюдения и результатам распознавания. За деньги можно проверить по фотографии, где и когда камеры засекли конкретного человека.
🤦 Ошибки в распознавании. В 2018 году технология распознавания лиц от Amazon ошибочно опознала 28 членов Конгресса США как преступников. Недавний пример — москвич Сергей Межуев, которого система распознавания лиц в метро ошибочно приняла за преступника в розыске. В итоге мужчину задержали, собрали все данные и не сняли подозрения, пока реальный подозреваемый не нашелся.
❌ Использование лиц без согласия. В США до недавнего времени для обучения нейросетей распознаванию лиц использовали датасеты с лицами из открытых источников. Готовые датасеты тоже были в открытом доступе. Однако сейчас их убрали, так как это нарушает законы о защите персональных данных. Теперь доступ к ним можно получить по запросу и только для исследовательских (некоммерческих) целей.
The New York Times опубликовала расследование, согласно которому система распознавания лиц ClearView использует фото из Facebook и Twitter, чтобы помогать полиции находить людей. Аналогичные претензии были и к NtechLab: у компании был доступ к фото пользователей в «ВКонтакте».
😠 Дискриминация и расизм. Для обучения нейросетей используют датасеты, которые содержат, в основном, фото людей титульной нации и расы. В итоге системы распознавания лиц плохо распознают азиатов, латиноамериканцев или афроамериканцев. Системы, которые используют в криминалистике, чаще указывают на чернокожих людей как на потенциальных преступников.
Исследование MIT от 2018 года показало, что алгоритмы Microsoft, IBM и китайского Megvii (FACE ++) очень часто ошибаются при идентификации темнокожих женщин по сравнению со светлокожими мужчинами.
Есть примеры дискриминации по полу: например, нейросеть, которая дорисовывает женским фото тело в бикини, а мужским — в костюме. Просто потому, что в сети большинство изображений именно такие.
👮 Использование технологии для манипуляции людьми. Оказавшись в руках властей, системы с распознаванием лиц вместе с базами персональных данных дают неограниченные возможности. Самый радикальный пример того, к чему это может привести — Китай.
Распознавание лиц в Китае: социальная антиутопия
В Китае распознавание лиц используют в полиции, аэропортах, на улицах, в общественном транспорте. Государство планирует распространить систему по всей стране: по данным CNBC, в конце 2018 года в Китае использовали более 200 млн камер наблюдения, а к концу 2021-го их число достигнет более 500 млн.
Одна из главных причин — внедрение системы социального рейтинга или кредита. Каждый гражданин страны получает положительные баллы за общественно-полезную деятельность, отсутствие нарушений, своевременную уплату налогов. За проступки баллы снимаются. Низкий или отрицательный рейтинг влечет разные последствия: отказ в выдаче кредита и социальных выплатах, запрет на вылет из страны и работу в определенных организациях.
Также при помощи этой технологии правительство Китая следит за представителями уйгурского этнического меньшинства. Сотни тысяч уйгуров поместили в города-гетто и лагеря для политзаключенных и всячески ограничивают их в перемещении.
Можно ли обмануть систему распознавания лиц?
Чтобы бороться с «умными» камерами, в ход идут специальные маски, проекторы, лазеры и другие приемы:
Однако все эти способы вряд ли помогут. Во-первых, мы до конца не знаем, по каким именно приметам нейросети распознают лица. Во-вторых, алгоритмы обучают по разным схемам и на разных датасетах. Чтобы их обмануть, нужно точно знать, как устроена конкретная нейросеть.
Можно, конечно, полностью скрыть лицо в публичных местах и на массовых мероприятиях. Но во многих странах — включая Россию и Китай — это запрещено законом.
Есть способы, которые помогают изменить уже готовые фото. Например, компания Generated Media создала Anonymizer: приложение, которое генерирует серию портретов на основе ваших фото и делает их неузнаваемыми для нейросетей.
Можно использовать специальную маску. К примеру, возьмем фото, на котором нейросеть опознала актрису Еву Лонгорию и немного изменим его:
Слева — исходное фото, справа — маска, наложенная на него, посредине — результат. Теперь алгоритм его не узнает, хотя для нас очевидно, что это та же самая женщина. Но и этот способ можно применить только если у вас есть доступ к архитектуре нейросети.
Как регулируют распознавание лиц в разных странах?
В ЕС и Великобритании действует самый жесткий регламент по защите данных — GDPR. Он запрещает любое посягательство на личную жизнь человека со стороны частных компаний и госорганов без его согласия. Это касается и систем распознавания лиц.
В США нет единого закона, который бы регулировал использование технологии. Ближе всех к европейскому GDPR по сути стоит Закон о конфиденциальности потребителей в Калифорнии (CCPA). В некоторых штатах действуют ограничения для полиции и других органов — например, в Орегоне, Вашингтоне, Техасе, Иллинойсе, Массачусетсе, Вермонте.
ИТ-корпорации настаивают на принятии законов на федеральном уровне. В 2020 году IBM объявила о прекращении продаж своих продуктов для распознавания лиц. Вслед за ними Amazon и Microsoft временно приостановили сотрудничество с госорганами в этой области. А в июле правозащитники из ACLU подали иск против ClearviewAI за нарушение закона штата Иллинойс о конфиденциальности биометрической информации.
В Китае распознавание лиц используют повсеместно, и у госорганов есть неограниченные возможности по применению технологии. С недавних пор биометрия является обязательной даже при регистрации телефонного номера.
В России есть закон о защите персональных данных. Но он направлен, в первую очередь, на сохранность самих данных: их необходимо защищать, чтобы предотвратить утечки. Права самих граждан, чьи данные используются, никак не защищены. Безопасность биометрических данных в частной сфере пока не регулируется, но у властей с 2019 года есть право использовать распознавание лиц без согласия граждан.
Какое будущее у этой технологии?
Эксперты считают, что в ближайшие пару лет распознавание лиц окончательно станет массовой технологией. Ее будут применять в «умных» и обычных гаджетах, для идентификации и оплаты, прохода в офисы и регистрации в аэропорту, а также для доступа к онлайн-сервисам и аккаунтам в соцсетях. В течение 15-20 лет мы полностью перейдем на биометрические паспорта. А вот обмануть алгоритмы или укрыться от камер с распознаванием лиц станет практически невозможно.
Это означает полную утрату приватности и частной жизни.