Аналитический обзор компьютерных паралингвистических систем для автоматического распознавания лжи в речи человека


https://doi.org/10.15217/issn1684-8853.2017.5.30

Полный текст:


Аннотация

Постановка проблемы: компьютерная паралингвистика анализирует невербальные аспекты человеческой коммуникации и речи, такие как естественные эмоции, интонации, особенности произношения, параметры голоса диктора, истинность речевых сообщений и т. д. Задача автоматического выявления истинности/ложности сообщений является актуальной в различных приложениях, многие современные исследования посвящены разработке математического и программного обеспечения для автоматизированных систем распознавания лжи в речи человека. Цель: анализ и представление достижений и разработок в области компьютерной паралингвистики, в частности, в автоматическом распознавании лжи в речи человека для определения недостатков существующих методов и путей их преодоления при создании новой автоматической системы. Результаты: анализ широкого спектра современной научно-технической литературы, описывающей результаты мировых научных исследований по данной тематике за последние десять лет, включая международные соревнования Computational Paralinguistic Challenge, показал, что применяются во многом схожие методы распознавания, однако алгоритмы обработки сигналов имеют различия, которые влияют на точность распознавания ложности/истинности речевых высказываний. Представлена обобщенная схема системы распознавания, ее основные составляющие, а также классификация наиболее эффективных методов, использующихся при разработке автоматических систем паралингвистического анализа естественной речи. На данный момент в распознавании лжи в речи человека существует масса нерешенных проблем технического и естественного характера, включая учет индивидуальных особенностей диктора (его пол, возраст, эмоциональную стабильность, национальные особенности и т. д.), преодоление которых позволитзначительно улучшить функциональность системы.

Об авторах

Алена Николаевна Величко
Санкт-Петербургский институт информатики и автоматизации РАН; Санкт-Петербургский государственный университет аэрокосмического приборостроения
Россия


Виктор Юрьевич Будков
Санкт-Петербургский институт информатики и автоматизации РАН
Россия


Алексей Анатольевич Карпов
Санкт-Петербургский институт информатики и автоматизации РАН
Россия


Список литературы

1. Карпов А. А., Кайа Х., Салах А. А. Актуальные задачи и достижения систем паралингвистического анализа речи // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 4. С. 581-592. doi:10.17586/2226-1494-2016-16-4-581-592

2. Горшков Ю. Г., Дорофеев А. В. Речевые детекторы лжи коммерческого применения // ИНФОРМОСТ. «Радиоэлектроника и Телекоммуникации». 2003. № 6(30). С. 13-15.

3. Montacie C., Caraty M.-J. Prosodic Cues and Answer Type Detection for the Deception Sub-Challenge // Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2016-2020.

4. Будков В. Ю., Савельев А. И., Вольф Д. А. Методика исследования параметров речевого сигнала, отражающая истинность передаваемой информации // Докл. ТУСУР. 2016. Т. 19. № 2. С. 56-60. doi:10.21293/1818-0442-2016-19-2-56-60

5. Басов О. О., Карпов А. А., Саитов И. А. Методологические основы синтеза полимодальных инфокоммуникационных систем государственного управления. - Орел: Академия ФСО РФ, 2015. - 271 с.

6. Levitan S. I., An G., Ma M., Levitan R., Rosenberg A., Hirschberg J. Combining Acoustic-Prosodic, Lexical, and Phonotactic Features for Automatic Deception Detection// Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2006-2010.

7. Herms R. Prediction of Deception and Sincerity from Speech using Automatic Phone Recognition-based Features// Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2036-2040.

8. Levitan S. I., An G., Wang M., Mendels G., Hirschberg J., Levine M., Rosenberg A. Cross-Cultural Production and Detection of Deception from Speech// Proc. ACM Workshop on Multimodal Deception Detection, Seattle, USA, 2015. P. 1-8.

9. Родькина О. Я., Никольская В. А. К проблеме распознавания психоэмоционального состояния человека по речи с использованием автоматизированных систем // Информационные технологии. 2016. № 10(22). С. 728-733.

10. Савченко В. В., Васильев Р. А. Анализ эмоционального состояния диктора по голосу на основе фонетического детектора лжи // Научные ведомости Белгородского государственного университета. 2014. Вып. 32/1. № 21(192). С. 186-195.

11. Amiriparian S., Pohjalainen J., Marchi E., Pugachevskiy S., Schuller B. Is Deception Emotional? An Emotion-Driven Predictive Approach// Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2011

12. Hirschberg J. Detecting Deceptive Speech: Requirements, Resources and Evaluation// Proc. LREC-2008, Marrakech, Morocco, 2008. http://www.lrec-conf.org/proceedings/lrec2008/keynotes/Hirsch-berg.pdf (дата обращения: 30.03.2017).

13. Kirchhubel C., Stedmon A., Howard D. M. Analyzing Deceptive Speech// Proc. EPCE-2013. Springer LNCS. 2013. Vol. 8019. P. 134-141. doi:10.1007/978- 3-642-39360-0_15

14. Pan X., Zhao H., Zhou Y. The Application of Fractional Mel Cepstral Coefficient in Deceptive Speech Detection // PeerJ. 2015. https://doi.org/10.7717/peerj. 1194 (дата обращения: 30.03.2017). doi:10.7717/ peerj.1194

15. Schuller B., Steidl S., Batliner A., Hirschberg J., Burgoon J. K., Baird A., Elkins A., Zhang Y., Coutinho E., Evanini K. The INTERSPEECH 2016 Computational Paralinguistics Challenge: Deception, Sincerity & Native Language // Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2001-2005.

16. Kaya H., Karpov A. Fusing Acoustic Feature Representations for Computational Paralinguistics Tasks// Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2046-2050.

17. Zhang Y., Weninger F., Ren Z., Schuller B. Sincerity and Deception in Speech: Two Sides of the Same Coin? A Transfer- and Multi-Task Learning Perspective// Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2041-2045.

18. Lee H.-S., Tsao Y., Lee C.-C., Wang H.-M., Lin W.-C., Chen W.-C., Hsiao S.-W., Jeng S.-K. Minimization of Regression and Ranking Losses with Shallow Neural Networks on Automatic Sincerity Evaluation// Proc. INTERSPEECH-2016, San Francisco, USA, 2016. P. 2031-2035.

19. Levitan S. I., Levitan Y., An G., Levine M., Rosenberg A., Levitan R., Hirschberg J. Identifying Individual Differences in Gender, Ethnicity, and Personality from Dialogue for Deception Detection// Proc. NAACL-HLT-2016, San Diego, USA, 2016. P. 40-44.

20. Раисов М. Э., Мещеряков Р. В. Полиграф на основе речевого ввода // Научная сессия ТУСУР-2009. Томск: В-Спектр, 2009. Ч. 3. С. 344-346.

21. Пат. 2293518 РФ. Способ оценки искренности/неискренности говорящего / Морозов В. П., Морозов П. В. - № 2005124844/14; заявл. 04.08.04; опубл. 20.02.07, Бюл. № 5. - 19 с.


Дополнительные файлы

Для цитирования: Величко А.Н., Будков В.Ю., Карпов А.А. Аналитический обзор компьютерных паралингвистических систем для автоматического распознавания лжи в речи человека. Информационно-управляющие системы. 2017;90(5):30-41. https://doi.org/10.15217/issn1684-8853.2017.5.30

For citation: Velichko A.N., Budkov V.Y., Karpov A.A. Analytical Survey of Computational Paralinguistic Systems for Automatic Recognition of Deception in Human Speech. Information and Control Systems. 2017;90(5):30-41. (In Russ.) https://doi.org/10.15217/issn1684-8853.2017.5.30

Просмотров: 39


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1684-8853 (Print)
ISSN 2541-8610 (Online)