Каким способом работает идентификация лиц в мобильных устройствах

Зачем мы выбираем разлочивание по фейсу

В прошлые годы распознавание лиц является одной из самых распространённых функций для разблокировки мобильных телефонов. Лишь некоторые годов назад большинство юзеров обходились PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, как вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект делает данную возможность такой востребованной? Во-первых, это практично: не нужно запоминать сложные пароли или находить нужный палец в темноте. Во-вторых, это быстро: современные системы распознают лицо фактически за доли секунды. В-третьих, это чувство будущего — будто в кинофильмах про вулкан автомат разведчиков.

Тем не менее за этой видимой легкостью прячется весь универсум трудных технологий и инженерных решений. Давайте понять, как конкретно работает распознавание лиц в современных смартфонах, какие бывают методы, насколько они защищены и что нас ожидает в будущем.

Сжатая хроника развития технологии

Распознавание лиц как технология имеется уже более 50 лет. Первые эксперименты автоматического анализа облика были осуществлены еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины способны были лишь обозначать силуэты лица и вычислять расстояния между глазами и губами на монохромных снимках.

Начальные торговые платформы появились в девяностых годах, но они были далеки от совершенства: действовали неспешно и часто давали сбои. Только с развитием нейронных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и прочие стали интегрировать свои решения.

Основные шаги функционирования механизма идентификации

Процесс распознавания лица можно ориентировочно разделить на несколько важных этапов:

1. Идентификация лица — камера распознает существование человеческого образа в кадре.
2. Извлечение характеристик — алгоритм исследует контуры облика: конфигурацию зрительных органов, обонятельного органа, уст, положение бровей.
3. Построение структуры — создаётся уникальный виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение с образцом — полученный модель сопоставляется со зафиксированной при регистрации биометрической сведениями владельца.
5. Принятие выбора — если соответствие достаточно высокое, смартфон деблокируется.

Каждый из данных шагов запрашивает индивидуальных методов и улучшений для быстрой работы непосредственно на девайсе.

Железные составляющие: что прячется в их недрах

Типичная селфи камера.

Простейший легкий метод распознавания физиономии использует только фронтальную камеру смартфона. Данный способ внедрён во многочисленных бюджетных моделях Android-устройств.

Достоинства:

• Не нуждается в потребляет дополнительные сенсоров.
• Шустро функционирует при достаточном освещении.

Слабые стороны:

• Легко ввести в заблуждение изображением или видеозаписью.
• Неправильно работает при слабом свете или непривычных углах обзора.

Инфракрасная камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Каким способом это функционирует:

• Точечный устройство проекции отображает на облик пользователя невидимую структуру из тысяч инфракрасных точек (например, Face ID применяет около 30 000 пятен).
• ИК устройство фиксирует деформацию этой решетки по плоскости физиономии.
• Формируется трёхмерная карта глубины глубинности, что почти неосуществима для подделки стандартной фотографией или маскировкой.

Достоинства

• Надёжная деятельность даже в полной тьме.
• Высокая защита к фальсификациям.
• Точность определения более 99%.

Дополнительные датчики

В отдельных девайсах используются также вспомогательные датчики: ToF (Time-of-Flight), которые определяют время движения луча до предмета и обратно; Цветные-датчики дальности; специальные световые дальномеры для создания более детализированной 3D-модели физиономии.

Эти технологии применяются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искуственный ум в работе

Современные механизмы идентификации физиономий невозможны при отсутствии применения искусственного интеллекта и machine learning. Именно благодаря таким инновациям, как вулкан россии, устройство в состоянии узнавать пользователя даже при изменениях внешнего вида: новая причёска, растительность на лице, очки или макияж не становятся барьером для открытия.

Обнаружение лица

При первом шаге алгоритм обязана оперативно найти ликовое изображение внутри полного снимка камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN способен находить физиономию даже в случае частичном перекрытии (например, шалью или рукой).

Идентификация ключевых точек

После идентификации лица механизм, такая как вулкан россии, устанавливает местоположение ключевых точек: края глаз, кончик носа, границы губ и так далее. Как правило задействуется от 68 до 128 главных меток на лицевой поверхности.

Это необходимо для нормализации изображения: если пользователь удерживает телефон под наклоном, или наклонил голову, программа исправляет картинку до нормального состояния для дальнейшего анализа.

Формирование биометрического идентификатора шаблона

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Данный образец очень трудно сфальсифицировать: он не хранит само изображение юзера, а лишь исключительные характеристики его вида, что делает его идеальным для таких площадок, как vulkan russia.

Сопоставление и принятие решения

В случае, когда юзер желает разблокировать телефон глазами, механизм воспроизводит все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый границу (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ не предоставляется.

Приспособление к метаморфозам внешности

Занимательная особенность нынешних систем — способность самостоятельного обучения. Если ты регулярно разблокируете мобильное устройство с обновленной стрижкой или оптикой, программа постепенно обновляет базовый шаблон вашего внешности для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных данных.

Множество юзеры боятся хранить свои биометрические данные на телефоне из-за угрозы потери данных или взлома гаджета. Определенные компании, вроде vulkan russia, предлагают решения для увеличения безопасности сведений юзеров.

• Локальное сбережение: Преимущественно аппаратов записывает биометрические модели исключительно внутри защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не оставляют гаджет и закрыты включая создателю.

• Шифрование: Все информация сберегаются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Стоит подчеркнуть существенную деталь: если кто-либо сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют меры безопасности от “слепого” разблокирования — в частности, требуют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории распознавания лиц на изображениях?

На сегодняшний день можно выделить определить три основных метода к выполнению этой функции:

Программируемое 2D идентификация

Используется только фронтальная камера без экстра датчиков глубины. Этот подход встречается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность осуществления; низкая стоимость; скоростная функционирование при достаточном освещении.
Минусы: легко одурачить фотографией; ненадежная работа ночью; слабая защищенность.

Техническое 3D сканирование

Использует инфракрасную видеокамеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: большая достоверность; нельзя исказить фото/видео; постоянная работа в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с ИИ-дополнением

Применяют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как вулкан россии и Google Pixel Face Unlock современных поколений, сочетают фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Образцы эксплуатации разных способов

• iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID среди Android.
• Samsung Galaxy S10 версия/S20 имеют как софтверное плоское идентификацию по фото фронтальной камерой, так и сенсор ириса глаза.
• Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-сенсор

Проблемы защиты и неверные срабатывания

Несмотря на поразительный прогресс технологий за недавние лет, безупречных системы пока не наблюдается:

1. Вероятность мошенничества: Доступные телефоны без труда открываются высококачественной снимком хозяина или же роликом с экрана другого устройства.
2. Идентичные двойняшки: Даже самые совершенные устройства могут перепутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
3. Метаморфозы облика: Внезапное похудение/увеличение массы тела, хирургические вмешательства или травмы в некоторых случаях необходимы для перерегистрации биометрии.
4. Условия съёмки: Интенсивная подсветка солнцем или интенсивная темнота могут уменьшить аккуратность определения признаков.

Ниже несколько рекомендаций по защищённому эксплуатации:

• Для значимых операций всегда внедряйте двухэтапную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Систематически обновляйте прошивку телефона для обеспечения безопасности от актуальных атак;
• Включайте опцию “Требовать распахнутых глаз” в тех местах, где она есть.

В каких местах ещё находится применение технологии помимо смартфонов?

Хотя тема этой публикации посвящена именно мобильным устройствам, следует отметить прочих направлениях внедрения технологии:

• Контроль прохода в рабочих помещениях и резиденциях;
• Платёжные аппараты банков (“Face Pay”);
• Электронные паспорта нового образца;
• Комплексы видеонаблюдения муниципальных подразделений;
• Механизация регистрации посещаемости школ/университетов;
• Вход пользователей персональных компьютеров/ноутбуков.

Например: В городском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Аналогичные проекты реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом изменяется технология в нынешнее время?

Каждый год появляются свежие концепции для повышения качества деятельности систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше вероятность погрешности;
2. Совершенствуются нейронные сети — современные структуры вида MobileNetV3 дают возможность быстро адаптироваться к свежим чертам вида пользователя прямо на устройстве без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства умеют распознавать реальные движущиеся лица от неподвижных фотографий/масок по незаметным движениям кожи.
4. Синхронизация со умными устройствами — смарт-часы могут самостоятельно заблокировать смартфон, если владелец отошёл далеко.
5. Появляются комбинированные механизмы — например объединяющие аудио опознание + облик + пальцевой отпечаток.

Вот, те тенденции особенно востребованы на сегодняшний день:

1) Уменьшение элементов

Изготовители пытаются минимизировать габариты прорези (“чёлки”) под датчики на экране за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более обработки данных происходит на месте без передачи данных во дополнительный облачный сервис.

3) Стандартизация стандартов

Гугл интенсивно пропагандирует норму BiometricPrompt API, чтобы такие системы, как вулкан россия, и каждые Android-приложения могли взаимодействовать с всеми формами биометрии унифицированно.

Что выбрать на сегодня?

Когда вам всем важна максимальная защита данных, остановите выбор на топовые модели с вмонтированным ИК-излучателем либо ToF-сенсором глубины.

• iPhone всех новейших моделей
• Huawei Companion/P Series линейки
• Mix Professional
• Vivo X линейки
• Oppo Find X серий.

Если бюджет невелик – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, применять только как опциональную возможность комфорта.

Каким образом повысить практичность работы функции?

Есть пара лайфхаков для тех, кто уже применяет функцию распознавания лица:

1. Периодически меняйте свою фотографию-шаблон, если кардинально трансформируется облик.
2. Не упускайте из виду чистить линзу передней камеры – разводы могут снизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам активирует фотоаппарат когда вы поднимаете его.
4. В процессе записи пытайтесь сохранять голову ровно перед объектива исключая значительного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от дисплея.

Возможности развития технологии

В ближайшие годы можно предвкушать возникновения полностью дистанционных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + манера ходьбы + жесты рук!

Также возможно возникновение новых методов защиты конфиденциальности – к примеру, переменное модификация электронного шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из наиболее увлекательных технологий нашего эпохи! Она обеспечивает взаимодействие со мобильным устройством проще чем до этого, и такие программы, как vulkan russia, могут в разы повысить ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта технология внутри, – будете в состоянии осознаннее выбирать свой следующий девайс!