Сейчас Siri работает следующим образом: по запросу прослушивает команду пользователя, анонимно отсылает голосовые данные на сервера Apple, где они конвертируются из аудио в текст, затем анализируется команда, а результат обработки отсылается на iPhone или iPad пользователя. Процесс распознавания голоса требует значительных ресурсов, поэтому сейчас он проходит на серверах Apple, а не на самом смартфоне.
В случае с Siri серверная часть сервиса требует наличия доступа в интернет. Если его нет, то после инициации виртуального помощника фразой «Привет, Siri» соответствующее приложение запускается, однако только для того, чтобы сообщить об офлайн-режиме, в котором ассистент не работает. Согласно поданной Apple заявке на патент, опубликованной в четверг, эта ситуация может в скором времени измениться. «Яблочная» компания хочет запатентовать «Личного ассистента, работающего в офлайн-режиме».
В патенте вместо соединения с серверами предлагается осуществлять распознавание речи и валидацию на самом устройстве, т. е. на iPhone. По получение запроса от пользователя, смартфон сам сможет понять задание, используя встроенный интерпретатор естественных языков. Если задание будет понятным, то Siri выполнит его даже без доступа в интернет.
В зависимости от содержимого и структуры запроса, цифровой офлайновый ассистент сможет выполнить ряд шаблонных действий, хранящихся в модуле потоковой обработки или сервисном модуле. Они содержат модели для часто используемых действий, таких как установка таймера или запуск проигрывания песни, сохраненной на iPhone. В зависимости от запроса, Siri выберет нужную модель.
В рамках патента Apple предполагает использовать алгоритмы машинного обучения для выполнения конкретных видов задач, включая обработку естественного языка. Такие системы смогут понимать контекст, что делает их достаточно эффективными для понимания пользователя в условиях ограниченного объема данных, доступных на iPhone без выхода в интернет.
Даже с модулем для офлайн-использования, Siri сможет выходить в интернет при наличии доступа, что позволит голосовому помощнику работать двумя способами, в зависимости от наличия или отсутствия подключения к серверам компании.
Два способа обработки пользовательского запроса, удаленный и локальный, дают цифровому помощнику два варианта расшифровки задания. В таком случае система вычислит коэффициент полезности для удаленной и локальной интерпретации. У какой коэффициент будет выше, та и будет использована для выполнения запрашиваемого действия.
Таким образом, Siri получит запасной вариант интерпретации запроса пользователя, используя онлайн-компонент как альтернативу, если локальная часть сервиса не справится с заданием. В случае, если удаленная версия обработки запроса станет недоступной, всегда есть локальная, которую можно использовать для выполнения запрашиваемого действия.
Procontent.Ru отмечает, что Apple еженедельно подает несколько заявок на патенты, поэтому описанная выше система совсем необязательно будет реализована в Siri или других продуктах компании.
В случае с голосовым помощником, однако, такое усовершенствование вполне возможно. В новых iPhone используются процессоры серии A, поддерживающие «Нейронный движок» (Neural Engine), который создан для выполнения интенсивных вычислений, таких как аутентификация по Face ID и других функций при работе с фото. Однако, он также может быть использован для машинного обучения.
Учитывая мощность второго поколения «Нейронного движка» в iPhone 2018 года, вполне логично предположить, что этим преимуществом Apple может воспользоваться для реализации в Siri офлайн-режима.
Возможность работы без интернета — не единственный способ сделать голосового помощника более полезным. В октябре Apple подал патента на распознавание голоса конкретных пользователей с помощью «голосового отпечатка», так что «яблочная» компания может внедрить многопользовательскую поддержку с персонализированными ответами на запросы.
Siri уже получил некоторые улучшения, касающиеся системы распознавания, включая географические голосовые модели, призванные выполнять региональные запросы и справлять с локальными особенностями естественных языков. Более очевидным для потребителей улучшением стали ярлыки в Siri, появившиеся с iOS 12, позволяющие пользователям создавать собственные команды для голосового помощника.
.Постоянный адрес публикации: http://www.procontent.ru/news/31333.html
© Дмитрий Серпухов «Мобильный Контент»