ARANEA, Но тогда важно уточнить, что означает “200 000 комбинаций/сек”. Это один PM? одна стратегия? одна структура правил? уже подготовленные сигналы? включены ли разные PM-семейства, stop/take/trailing, pruning, комиссии, сохранение метрик и правая сторона? Без этого это скорость конкретного backend-слоя, а не скорость полного исследования.
Это прогон одной стратегии с разными параметрами автоматов(триггеры, ордера, стопы, тейки, защиты и т.п.). Всё, что можно вынести в GPU, вынесено туда, т.к. та же симуляция на CPU в сотни раз медленнее. А всякие OOS тесты естественно поверх CPU и GPU симуляций. GPU симуляция не считает абсолютно все метрики, она максимизирует только какую-то одну метрику. Симуляция на CPU считает все метрики и используется для финальной оценки стратегии, найденной через поиск оптимальных параметров.
А отсечки бессмысленных комбинаций параметров происходят на этапе подготовки данных для GPU симуляций — это реализовано просто как фильтр комбинаций через колбэк — если какое-то условие на отношение параметров не проходит, то подготовки и GPU прогона не будет. И да, это сильно уменьшает количество комбинаций, которые проверяются:) Но эти фильтры — это ничто по сравнению с изолированными статистическими исследованиями, которые дают возможность посчитать конкретный параметр, а не найти его в брутфорсе всех комбинаций.
ARANEA, Для GPU важна однородность задачи. Чем больше в расчете ветвлений, разных правил выхода, разной длины сделок, условий остановки, sparse-сценариев и логики отбора, тем сложнее это эффективно уложить в один массовый kernel.
Не сложно, просто GPU будет крутить пустую операцию на ветвлениях, которые не попадают под условия. Можно конечно усложнить себе жизнь и сделать многофазное вычисление с более активным использованием памяти, но оно того не стоит, имхо.
ARANEA, У меня подготовка на CPU занимает примерно столько же времени, как прогон 200000 комбинаций на GPU. А вот при повторном использовании работают in-memory кэши на все вычисленные данные — и там всё в разы быстрее.
ARANEA, Брутфорс всего пространства — так себе идея. Да и ядра стратегий — это конкретные закономерности, которые находятся математическими исследованиями, которые вообще непонятно как автоматизировать, и там слабое место — это не вычислительные мощности.
Понадобятся инструменты уровня JetBrains, хороший опыт в C++, понимание памяти, потоков, профилирования, CPU/GPU и внутренней логики пересчета.
Я считаю стратегии на GPU. сотни тысяч комбинаций параметров в секунду на минутках на годовом интервале. Ни строчки кода на C++, всё сделано на python/numba/taichi. На CPU идёт подготовка «сигналов», потому что у GPU всё плохо с вычислением скользящих окон и доступности тяжелой математической артиллерии, а на GPU идёт массовая параллельная симуляция стратегий с разными параметрами. Можно ускорить ещё в несколько раз и я даже знаю как, но мне уже не за чем:)
Кейс: Ростелеком анонсировал инвестиции в размере 100 млрд руб. в новый ЦОД мощностью 100 МВт.
Ещё бы знать какое там железо. Если это rtx 5060 ti за 50000 руб, то это 277 руб/Вт. Если это H100 за 4000000 руб, то это 6500 руб/Вт.
А тут 1000руб/Вт, и это с учетом, земли, стройки, и остального железа. Т.е. будет использовано явно устаревшее GPU железо, на GDDR памяти, а не HBM. Неконкурентноспособность ещё на этапе планирования.
Коллаген не усваивается напрямую, т.к. он всё равно расщепляется на пептиды, поэтому без разницы какой источник белка использовать. Короче говоря, препарат с недоказанной эффективностью, как и гинкго билоба.
1. Интеллектом является любой инструмент, который умеет обучаться, и решать задачи.
2. ИИ — это инструмент, который обучили для решения конкретных задач.
3. ИИ — в какой-то степени умеет «думать», т.к. структура речи — это в том числе структура мысли. Обучение на рассуждаениях обучает ИИ рассуждениям, а это и есть «думание». Тут возникают и промежуточные шаги и абстракции. Обучение ИИ новым специализированным языкам и методам использования инструментальных средств позволяет ему решать широкий спект задач.
4. Где подменить? ИИ можно обучить так, чтобы он был непреклонен, и наоборот, переобувался на лету. Всё зависит от целей обучения.
5. Для любой информации требуется физический носитель. Это ничего недоказывает и не опровергает.
6. Зависит от того, чему обучен ИИ. Он может иметь инструментальные слои для поиска любой информации в любых источниках и дальнейшей его обработки для целей, которые были заданы при обучении.
7. Если это было в браузере, то всё мимо, — текущая вкладка не знает ничего о других вкладках и не имеет доступа к системе.
Суровая правда в том, что пользователям от VK нужен только мессенджер, лента, и немного музыки. Всё остальное — не нужно. А хостить петабайты мусора — денег стоит.
deke, В интернетах пишут, что только 1% библиотек написаны на плюсах. Пусть питон тормозит, зато разработка ускоряется во много раз, и бизнесу дешевле воткнуть ещё одну серверную стойку, чем нанять ещё программиста. Там, где нужна скорость на питоне, можно использовать numba или taichi. Плюсы реально нужны только для разработки в высокопроизводительном фреймворке или микросервисах, поверх которых работает питон, джава/kotlin, или С#.
Там была очень даже явная тенденция по количеству пожаров на НПЗ.
А отсечки бессмысленных комбинаций параметров происходят на этапе подготовки данных для GPU симуляций — это реализовано просто как фильтр комбинаций через колбэк — если какое-то условие на отношение параметров не проходит, то подготовки и GPU прогона не будет. И да, это сильно уменьшает количество комбинаций, которые проверяются:) Но эти фильтры — это ничто по сравнению с изолированными статистическими исследованиями, которые дают возможность посчитать конкретный параметр, а не найти его в брутфорсе всех комбинаций.
А тут 1000руб/Вт, и это с учетом, земли, стройки, и остального железа. Т.е. будет использовано явно устаревшее GPU железо, на GDDR памяти, а не HBM. Неконкурентноспособность ещё на этапе планирования.
Это всё на уровне шума. Опять же из-за малого количества сделок.
Основное движение по новостям происходит примерно за 5 минут.
При расширении горизонта прогноза ошибка растёт экспоненциально.
Какой-то черный ящик что-то предсказал. Практического толку от этого ноль:)
2. ИИ — это инструмент, который обучили для решения конкретных задач.
3. ИИ — в какой-то степени умеет «думать», т.к. структура речи — это в том числе структура мысли. Обучение на рассуждаениях обучает ИИ рассуждениям, а это и есть «думание». Тут возникают и промежуточные шаги и абстракции. Обучение ИИ новым специализированным языкам и методам использования инструментальных средств позволяет ему решать широкий спект задач.
4. Где подменить? ИИ можно обучить так, чтобы он был непреклонен, и наоборот, переобувался на лету. Всё зависит от целей обучения.
5. Для любой информации требуется физический носитель. Это ничего недоказывает и не опровергает.
6. Зависит от того, чему обучен ИИ. Он может иметь инструментальные слои для поиска любой информации в любых источниках и дальнейшей его обработки для целей, которые были заданы при обучении.
7. Если это было в браузере, то всё мимо, — текущая вкладка не знает ничего о других вкладках и не имеет доступа к системе.