Яндекс поделился технологией непрерывной обработки данных для более актуальных рекомендаций

Мы выложили в опенсорс YTsaurus Flow — систему для непрерывной обработки больших потоков данных. Она обрабатывает клики, лайки и другие события в интернете сразу же — по мере их появления. Благодаря этому алгоритмы быстрее замечают изменения в интересах пользователей, что напрямую влияет на точность подбора рекламы, товаров и контента.

💬 Разработка уже применяется в нескольких бизнесах. Например, в Маркете Flow используется для сбора оперативной статистики по предложениям и продажам и быстрой реакции на изменение спроса, в антифроде — для быстрого обнаружения злоумышленников. В Рекламе технология ускоряет подготовку данных к дообучению рекомендательных моделей: раньше на это уходило 10–20 часов — с Flow эта задержка почти полностью устранена.

💬 Потенциал технологии шире рекомендательных и рекламных технологий. Flow будет полезна в самых разных проектах, где важна свежесть информации. Например, с её помощью можно готовить данные для обучения ML-моделей, обновлять информацию для сайтов и приложений, считать просмотры, клики и заказы. Технология рассчитана на высокую нагрузку и обрабатывает каждое событие ровно один раз, исключая потерю или дублирование данных.

💬 Эффективная обработка данных улучшает экономику ИИ. Flow сокращает лишние записи и повторную обработку данных, помогая сдерживать рост инфраструктурных затрат при увеличении нагрузки. Это важно для масштабирования рекомендательных технологий и их влияния на бизнес-результаты наших продуктов.

💬 Опенсорс расширяет экосистему Яндекса. Flow добавляет потоковую обработку в нашу открытую платформу YTsaurus для работы с большими данными. Крупный бизнес получает возможность совмещать исторические и свежие данные в единой системе. Это повышает ценность платформы для корпоративных клиентов и создаёт надёжную базу для развития коммерческих сервисов вокруг неё.