Яндекс разрабатывает единую нейросеть для речи и текста

Яндекснанимает сотрудников для работы над мультимодальной моделью SpeechGPT, которая, согласно описанию вакансии, должна будет воспринимать текст и звук и отвечать при их же помощи. Нейросетевые сервисы компании уже обрабатывают как речь, так и текст, но процесс происходит с преобразованием данных из одного вида в другой. Мультимодальные сети призваны улавливать детали, которые теряются при такой конвертации,— например, эмоции и сарказм.

Яндекс работает над еще не анонсированной нейросетевой моделью SpeechGPT и нанимает в соответствующую команду инженера в области машинного обучения, говорится в разделе вакансий компании. Речь идет о мультимодальной модели (то есть способной обрабатывать разные виды вводных данных), которая «умеет воспринимать текст и звук, отвечать текстом и звуком, решать разные задачи на стыке текста и звука». В «Яндексе» пояснили, что работают над мультимодальностью в ассистенте «Алиса» и других сервисах

www.kommersant.ru/doc/6744106