
Ответы на комментарии пользователя Андрей К
Базовая архитектура «Мастер-Воркер» на Redis
Компоненты:
Redis Server: Запущен на той же машине или отдельно. Хранит очереди.
Master / Dispatcher (Диспетчер): Скрипт (на Python), который создает задания. Это аналог «заданий, запускаемых в Kubernetes».
Worker (Воркер): Множество копий скрипта (процессов), которые в бесконечном цикле берут задачи из очереди и выполняют их. На одной GPU можно запустить N таких воркеров (где N примерно равно количеству ядер CPU или потоков GPU для параллельных вычислений).
Ключевые структуры данных Redis, которые используются:
queue:jobs(Список,RPUSH/BLPOP): Основная очередь задач (FIFO — First In, First Out).
queue:results(Список или Хеш-таблица): Очередь или хранилище для результатов выполненных задач.
set:active_workers(Множество): Для отслеживания работающих воркеров (опционально, для мониторинга).
hash:job:<id>(Хеш): Для хранения статуса, прогресса или метаданных конкретной задачи.
… или потоков GPU для параллельных вычислений...
… просто запускаете задания, а кластер сам ими управляет...
… Вы ведь хорошо должны знать, что 100 потоков распараллелить по настоящему, это серьезный такой программистский подход...
… кстати 300 тыр в год, это не просто некий аналог видеокарты. Это в первую очередь, как написано в заголовке — автономность. Типа классификация по Tier: энергоусточивость, сетевая стабильность и другие плюшки. Нынче это все денег нормально стоит
Андрей К, +1
Еще можно агрегировать по цене. Т.е. для асков — копим все аски, у которых цена выше или равна предыдущему аску. Как только появляется покупка с ценой ниже — начинаем складывать заново. Так же можно прерывать когда появляется продажа. В общем некоторое поле для подгонки имеется.