В новом кейсе поделимся тем, как компания neuro․net развернула инфраструктуру для высоконагруженной ИИ-платформы

🔎 О компании

neuro․net — один из глобальных лидеров в индустрии Voice AI. Компания разрабатывает виртуальных операторов, голосовых помощников и чат-ботов на базе технологий распознавания и синтеза речи, а также больших языковых моделей (LLM).

Решения neuro․net помогают автоматизировать бизнес-процессы в ритейле, финтехе, образовании, здравоохранении и государственном секторе.

🎯 Задачи:
🔹 Масштабировать ИИ-платформу под высокие нагрузки;
🔹 Сократить задержки при взаимодействии между сервисами;
🔹 Развернуть инфраструктуру для инференса — процесса генерации ответов LLM без существенного роста затрат.

🔗 Решения Selectel:
Коммуникационная платформа должна выдерживать тысячи одновременных запросов, поэтому команда сервиса развернула ее на выделенных серверах Selectel с высокопроизводительными видеокартами (GPU).

Чтобы обеспечить повышенную отказоустойчивость, платформа neuro․net распределена между несколькими облачными провайдерами. При этом, сервисы объединены в единую структуру, чтобы запросы выполнялись максимально быстро.

Команде требовалась инфраструктура для запуска большой языковой модели. Благодаря широкому выбору комплектующих нам удалось подобрать оптимальные конфигурации под задачи бизнеса и сохранить баланс между производительностью и стоимостью инфраструктуры.

🚀 Результаты

✔️ До 5 000 одновременных диалогов поддерживает платформа neuro․net.
✔️ До 800 запросов обрабатывается в секунду в пиковые периоды.
✔️ Гарантированная доступность сервисов на уровне 99,9%.

Подробнее — в Академии Selectel ➡️ slc.tl/5z1so