Рубрики Aнaлитики StoneTemple прoвeли тeст пoпулярныx голосовых помощников, чтобы определить, какой из них лучше понимает запросы человека и реагирует на его команды. В тесте приняли участие Siri, Google Assistant, Microsoft Cortana и Amazon Alexa. Эффективность каждого ассистента замерялась по качеству ответов на более чем 5000 вопросов.
Вопросы касались новостей, результатов спортивных соревнований, погоды, запросов в Интернете и прочего. Расспрашивая и сравнивая ответы ассистентов, исследователи учитывали, дала ли программа устное объяснение или запросила ответ из базы данных, такой как Knowledge Graph, черпала ли информацию из сторонних источников, включая «Википедию». Также учитывались ошибки, когда помощники не понимали или неверно истолковывали просьбу.
Самым умным помощником оказался Google Assistant, который справился с ответами на 68,1% вопросов. 90,6% ответов функции были правильными. Следом с небольшим отставанием идет Cortana: она дала ответ на 56,5% вопросов, в 81,9% случаев — безошибочно.
У Alexa процент правильных ответов выше — 87%, однако программа Amazon смогла ответить всего на 20,7% вопросов. Не слишком хорошо показала себя и Siri: она ответила на 21,7% вопросов, причем правильно — только на 62,2%.
Справедливости ради стоит сказать, что в рамках тестирования Siri работала на iOS 10. К релизу iOS 11, которую анонсировали на WWDC 2017, она станет намного умнее и получит больше функций. Siri начнет применять алгоритмы глубокого обучения, а её голос будет звучать мягче и естественнее. Возможно новый тест покажет ее с лучшей стороны.
]]>