Как работает распознавание лицевых образов в мобильных устройствах

Для чего мы останавливаемся на разблокирование по лицевому распознаванию

В прошлые годы определение лиц стало одной из самых популярных возможностей для разблокировки смартфонов. Лишь несколько годков ранее большинство юзеров обходились пин-кодами, паролями или сканерами отпечатков пальцев. Но с появлением подобных технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает эту конкретную возможность очень нужной? Для начала, это комфортно: не нужно помнить сложные пароли или искать нужный палец в темноте. Кроме того, это мгновенно: современные алгоритмы узнают лицо фактически за мгновение. В-третьих, это впечатление будущего — словно в фильмах про вулкан казино разведчиков.

Тем не менее за такой видимой несложностью прячется целый мир трудных техник и инженерных решений. Позвольте нам исследовать, как точно работает фейсканирование в актуальных гаджетах, какие существуют технологии, насколько они защищены и что нас предстоит.

Сжатая повествование эволюции технологии

Идентификация лиц как техника имеется уже более 50 лет. Изначальные эксперименты автоматизированного анализа облика были предприняты еще в 1960-х годы в научных учреждениях США. Тогда компьютеры умели лишь выделять силуэты лица и определять расстояния между глазами и устами на монохромных изображениях.

Изначальные торговые установки появились в девяностых годах, но они были несовершенны: действовали неспешно и часто ошибались. Только с развитием синтетических сетей и таких площадок, как вулкан россии, сильных мобильных чипов определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять личные разработки.

Основные этапы функционирования системы распознавания

Процесс распознавания лица можно условно сегментировать на несколько ключевых этапов:

Распознавание лица — аппарат выявляет присутствие человеческого лица в снимке.
Выделение признаков — механизм анализирует контуры облика: очертания глаз, носа, губ, расположение бровей.
Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с стандартом — сформированный шаблон сравнивается с зафиксированной при внесении биометрической сведениями владельца.
Принятие решения — если сходство достаточно существенное, смартфон деблокируется.

Всякий из указанных шагов запрашивает особых алгоритмов и оптимизаций для скорой работы прямо на устройстве.

Железные составляющие: что прячется внутри

Типичная селфи камера.

Простейший простой метод определения физиономии использует исключительно лицевую видеокамеру мобильного устройства. Подобный метод реализован во различных недорогих моделях Android-устройств.

Плюсы:

Необходимо нуждается в дополнительных датчиков.
Оперативно функционирует при хорошем освещённости.

Отрицательные стороны:

Легко одурачить изображением или роликом.
Плохо работает при слабом освещённости или необычных точках зрения.

Инфракрасная камера и точечный проекционный аппарат

Более совершенные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Каким способом это работает:

Точечный проекционный прибор показывает на лицо юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 пятен).
ИК камера регистрирует изменение формы этой сетки по поверхности физиономии.
Получается 3D карта глубины глубинности, которая практически неподвластна для подделки типичной снимком или маской.

Преимущества

Надёжная функционирование даже в полной тьме.
Большая защита к фальсификациям.
Точность идентификации выше 99%.

Дополнительные датчики

В отдельных аппаратах применяются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют время движения света до предмета и обратно; RGB-датчики дальности; специальные лазерные лидары для создания более аккуратной 3D-модели физиономии.

Эти технологии используются наиболее часто во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный ум в действии

Современные устройства опознания физиономий немыслимы при отсутствии эксплуатации искусственного интеллекта и машинного обучения. Именно благодаря таким технологиям, как вулкан россии, гаджет способно узнавать юзера даже при метаморфозах облика: новая причёска, щетина, оптика или грим не становятся препятствием для деблокировки.

Детектирование лица

В стартовом шаге программа должна мгновенно обнаружить лицо внутри полного кадра с камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” находить лица людей среди множества других объектов.

Пример: метод MTCNN способен обнаруживать физиономию даже с неполном перекрытии (например, платком или рукой).

Идентификация основных моментов

После идентификации лица механизм, такая как вулкан россии, определяет положение ключевых точек: края глаз, кончик носа, границы губ и так далее. Как правило применяется от 68 до 128 ключевых маркеров на лицевой области.

Данное нужно для нормализации визуала: если человек находится с телефон под углом, или наклонил головку, программа “выпрямляет” изображение до стандартного положения для последующего изучения.

Формирование биометрии образца

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Такой формат очень трудно имитировать: он не удерживает само картинку пользователя, а лишь исключительные характеристики его облика, что делает его идеальным для таких систем, как vulkan russia.

Сравнительный анализ и осуществление решения

В случае, когда пользователь хочет разблокировать мобильник взглядом, система повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный уровень (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ не предоставляется.

Привыкание к метаморфозам облика

Занимательная черта нынешних системы — возможность самостоятельного обучения. Если вы постоянно разблокируете мобильное устройство с новой прической или оптикой, алгоритм постепенно модернизирует основной образец вашего облика для повышения точности работы без ухудшения безопасности.

Безопасность биометрии информации.

Большинство пользователи опасаются держать свои биометрические данные на телефоне из-за вероятности утечки данных или хакерской атаки. Иные организации, такие как vulkan russia, предлагают варианты для увеличения защиты сведений юзеров.

Локальное сбережение: Основная часть аппаратов сохраняет биометричные шаблоны лишь внутри защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют гаджет и недоступны в том числе создателю.
Шифрование: Все информация хранятся только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации личности через системный API.

Следует упомянуть значимую деталь: в случае, если кто-либо достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители внедряют защиту от неосознанного разблокирования — к примеру, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают типы определения лиц на изображениях?

Сегодня можно выделить различить 3 ключевых способа к осуществлению этой операции:

Софтверное плоское определение

Используется только лицевая видеокамера без вспомогательных датчиков дистанции. Такой подход используется обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота реализации; минимальная цена; быстрая работа при достаточном освещении.
Минусы: легко ввести в заблуждение фотографией; ненадежная работа ночью; низкая безопасность.

Аппаратное трёхмерное оцифровка

Задействует ИК видеокамеру + проектор пикселей + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная достоверность; не получится подделать фото/видео; стабильная функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные способы с интеграцией ИИ

Используют комбинацию программных методов + техническую обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как вулкан россии и Google Pixel Face Unlock последних версий, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Примеры эксплуатации разных методов

iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в числе Android.
Samsung Galaxy S10/S20 имеют как программное плоское идентификацию по изображению фронталкой, так и сенсор радужки глаза.
Huawei Mate20 Pro применяет систему из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы охраны и неверные срабатывания

Несмотря на впечатляющий успехи технологий за недавние лет, безупречных механизмов пока не имеется:

Вероятность подвоха: Недорогие смартфоны просто открываются качественной снимком владельца либо видеозаписью с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные системы могут спутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
Изменения внешности: Внезапное утрата веса/набор веса, хирургические вмешательства либо травмы иногда требуют обновления данных биометрии.
Условия съёмки: Сильная освещённость солнечным светом либо плотная тень могут уменьшить точность определения признаков.

Ниже несколько советов по надёжному использованию:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Постоянно обновляйте прошивку программное обеспечение телефона для предотвращения угроз от современных угроз;
Включайте настройку “Требовать открытых глаз” в тех местах, где она доступна.

В каких местах ещё используется технология помимо мобильных телефонов?

Хотя предмет нашей работы сосредоточена на конкретно портативным гаджетам, стоит упомянуть о прочих направлениях внедрения технологии:

Управление входа в деловых центрах и жилых домах;
Платёжные аппараты банков (“Face Pay”);
Электронные паспорта нового образца;
Системы видеомониторинга городских служб;
Автоматизирование учёта присутствия школ/университетов;
Вход пользователей компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Похожие инициативы развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом изменяется техпроцесс сегодня?

Любой год возникают современные концепции для улучшения качества функционирования систем распознавания лиц:

Увеличивается детализация датчиков — чем больше информации фиксируется камерой/датчиками глубины, тем меньше риск ошибки;
Улучшаются искусственные интеллекты — новейшие архитектуры модели MobileNetV3 позволяют скоростно адаптироваться к дополнительным чертам облика владельца прямо на устройстве без отправки данных в облако.
Развиваются способы антиспуфинга — теперь телефоны могут различать подлинные анимированные лица от фиксированных фото/маскировок по микроскопическим движениям кожи.
Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут авто блокировать мобильный телефон, если обладатель удалился на значительное расстояние.
Появляются гибридные механизмы — например комбинирующие голосовую идентификацию + облик + отпечаток пальца.

Здесь, какие тренды очень актуальны на сегодняшний день:

1) Сокращение деталей

Изготовители стараются минимизировать величину выреза (“чёлки”) для сенсоры на экране за счёт внедрения миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для повышения личной безопасности всё больше вычислений осуществляется на месте без отправки данных во сторонний облачный услугу.

3) Стандартизация норм

Google энергично пропагандирует эталон BiometricPrompt API, с целью чтобы такие платформы, как вулкан россия, и любые Android-аппы могли взаимодействовать с всеми формами биометрии единообразно.

Что выбрать сегодня?

Когда вам всем важна предельная безопасность информации, остановите выбор на передовые модели с интегрированным ИК-излучателем или ToF-сенсором глубины.

iPhone всех новейших версий
Huawei Companion/P ряда
Mi Professional
Vivo X линейки
Oppo Найти X серий.

Если средства невелик – лучше предпочесть обычным средствам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную возможность комфорта.

Каким способом увеличить удобство использования опции?

Есть некоторые советов для пользователей, кто уже использует функцию распознавания лица:

Регулярно обновляйте свою изображение-шаблон, если кардинально трансформируется внешний вид.
Не забывайте чистить объектив передней камеры – загрязнения могут понизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает фотоаппарат когда вы поднимаете его.
В процессе регистрационного процесса старайтесь удерживать голову неподвижно перед видеоустройства исключая резкого наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от дисплея.

Возможности развития технологии

В ближайшие времена можно предвкушать возникновения полностью бесконтактных способов распознавания индивидуума сразу по нескольким биометрическим параметрам одновременно: лицо + голос + походка + жесты рук!

Также возможно возникновение свежих способов обеспечения приватности – к примеру, переменное изменение цифрового паттерна после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень увлекательных инноваций нашего эпохи! Она делает интеракцию со мобильным устройством комфортнее чем когда-либо прежде, и такие аппы, как vulkan russia, могут в разы повысить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как работает эта система в деталях, – сумеете более осмысленно выбирать свой следующий устройство!