В течение года они создавали разнообразные жизненные сценарии и фиксировали голосовые отклики актеров в профессиональной студии. Полученный результат — это общедоступная библиотека, которую могут использовать разные предприятия. Банки и другие учреждения, которым важно понимать эмоциональный фон клиентов, уже внедрили данное решение.

Библиотека чувств

Aniemore — это платформа, созданная российскими специалистами: Артемом Аментесом (МФТИ), Ильей Лубенцом и Никитой Давидчуком. За год работы они сформировали уникальный голосовой набор и обучили девять нейросетей распознаванию различных чувств человека.

Артем Аментес рассказал, что библиотека написана на Python, позволяя легко интегрировать её в различные программные решения для анализа текста, аудио и видео.

С помощью этого инструмента программы могут оценивать эмоциональные оттенки речи человека. Все исследования и данные доступны бесплатно, и любой может использовать код.

Предприятия, особенно финансовые учреждения, активно применяют эту технологию для анализа эмоционального фона своих клиентов. Психологические и благотворительные центры также могут использовать этот инструмент для улучшения общения с пациентами.

Создание датасета

Чтобы нейросеть могла эффективно распознавать эмоции, команда арендовала студию звукозаписи. Они подготовили 54 разных сценария, где актеры импровизировали эмоциональные диалоги. Таким образом, было собрано более трех часов записей от 200 актеров.

Артем утверждает, что библиотека проста в использовании и не требует специальных настроек.

За свой проект разработчики были удостоены главного приза в конкурсе по искусственному интеллекту и получили грант в 6 млн рублей.