Автоматизация аналитики Abscur: расчет абсолютных курсов на Kaggle и генерация обзоров через Gemini API

Коллеги, приветствую.

Те, кто читает мои статьи, знают, что я давно развиваю проект Abscur по расчету абсолютных валютных курсов. Математическая декомпозиция матриц кросс-курсов позволяет очистить 45 мировых валют от взаимного влияния и привести их к единому измерителю — невзвешенной расчетной единице ABS. На основе этих данных я считаю чистую волатильность, коэффициенты вариации (CV), Maximum Drawdown, а также оцениваю реальную доходность акций Мосбиржи без рублевого шума.

Проекту уже много лет, историческая база синхронизирована на глубину в 20 лет. Однако долгое время актуальным оставался вопрос автоматизации: как сделать систему полностью автономной, ежедневной и при этом не тратить ресурсы на содержание выделенных серверов.

Недавно я полностью перестроил архитектуру пайплайна. Теперь вся цепочка работает по схеме «Zero-Infrastructure» (без постоянных серверов и баз данных), а ежедневная техническая аналитика генерируется автоматически. Ниже кратко о том, как устроен этот процесс и что он дает на выходе.

1. Расчеты на Kaggle как бесплатный cron

В качестве среды исполнения я выбрал Kaggle Notebooks. Это дает стабильное Linux-окружение, предустановленные data-science библиотеки и возможность запуска скриптов по расписанию (scheduled runs). Каждые сутки скрипт автоматически просыпается и выполняет математическую часть:

• Сбор данных: Подтягивает свежие котировки по всем кросс-курсам.
• Линейная алгебра: Логарифмирует матрицу, переводит относительные изменения в линейные уравнения и находит изолированные значения для каждой валюты.
• Технический анализ: На основе абсолютных курсов рассчитываются скользящие средние (MA7, MA30), индексы относительной силы (RSI(abc) в дополнение к стандартному RSI(руб)) и показатели волатильности.

2. Генерация обзоров через Gemini API

Раньше сухие таблицы и графики требовали ручной интерпретации для публикаций. Чтобы автоматизировать этот процесс и исключить человеческий фактор, я подключил к пайплайну Gemini API.

Через защищенные OAuth-токены Kaggle передает нейросети собранные технические метрики и агрегированные новостные заголовки по ключевым глобальным активам, товарам и акциям (включая Сбербанк, Норникель и др.). Промпт настроен жестко: ИИ не занимается предсказаниями, а генерирует сухой, структурированный технический обзор текущей ситуации на стыке математики абсолютных курсов и классических индикаторов.

3. Публикация в Blogger без ручного ввода

Готовые результаты (JSON-структуры данных и сгенерированные тексты) скрипт напрямую коммитит в репозиторий GitHub. Оттуда через настроенный автоматический пайплайн данные подтягиваются фронтендом сайта на платформе Blogger.

В итоге графики, таблицы портфелей (оптимизированные по Шарпу и Сортино) и ежедневные обзоры обновляются на сайте полностью автономно. От сбора котировок до публикации аналитики не требуется ни одного ручного действия.

Исходный код и описание модели:

• Подробное математическое обоснование и описание модели декомпозиции кросс-курсов: Abscur: Описание методики расчета
• Посмотреть, как устроена автоматизация внутри среды Kaggle, и форкнуть Python-скрипт можно в открытом репозитории: Kaggle Notebook: abscur2

Буду рад обсудить в комментариях математическую логику изоляции валютных рисков, применимость очищенных индикаторов к портфельному анализу, а также ваш опыт построения автономных аналитических пайплайнов.