Блог им. UHSF

Попал на планку по оперативной памяти

    • 19 июня 2019, 10:03
    • |
    • UHSF
  • Еще

Занимался в TSLabе оптимизацией на 4,5 летнем периоде на 1 минутных свечах. На 99% оптимизации кончилась оперативная память, и повисло всё (чуток не хватило).

Попал на планку по оперативной памяти


Оптимизацию кое-как остановил, но что смог сделать потом, так это только переключиться на вкладку Доход. TSLab повис на несколько минут. Пришлось его «убить» и потерять данные…

3 часа зря жужжал компьютер, напрягался. Записал в блокнот только параметры по фильтру Максимальный доход из данных оптимизации. Это печально…

В общем, не приятно попадать на планку из-за малого кол-ва планок или их объема))

Помню, дискуссия была здесь по конфигурации ПК для торговли и кто-то писал, что 8GB вполне достаточно будет. Я тогда писал, что этого мало и надо хотя бы 16GB – так вот теперь показываю наглядный пример, почему оперативной памяти лучше ставить больше. Это только один TSLab работал, еще и с QUIKом серьезную оптимизацию запускать вообще не вариант…

В свое время опрометчиво поступил, когда объем оперативной памяти выбирал. Теперь вот на планки попадаю))

Коллеги, кто по опыту скажет, сколько для TSLabа и QUIKа Вам требуется оперативной памяти?

  • обсудить на форуме:
  • TSLab
★2
51 комментарий
память копейки стоит, последний месяц почти в 2 раза подешевела
Секрет Бобра, где такое видели? Я вижу, что она и за пару-тройку лет не подешевела даже на 20%. Даже Б/У на подешевела в два раза))
avatar
Все зависит от цели. Для торгов занимает 2-3 гб на 1 tslab. Для оптимизации — смотря какая длина. Берите 32. Раз оптимизацией играетесь 
avatar
Я беру минутки 12 лет и несколько активов сразу. Считается — минуты. Никаких проблем по памяти и по времени. Пишите оптимизаторы на пригодном к этому ПО, а не на кубиках для начинающих.

avatar
SergeyJu, такой путь, боюсь, сейчас не для меня. Именно для TSLabа больше интересен объем памяти.
avatar
SergeyJu, Может посоветуете доступные для публики оптимизаторы и тестеры?
avatar
Gorazio, не знаю, к счастью или к несчастью, но писать надо самим на любом языке — от VBA и C# до R.  
avatar
SergeyJu, А как быть с тем, что не у каждого есть достаточно времени, (а это несколько лет) для освоения необходимого уровня языка, необходимого для написания полноценного тестера. Неужели ещё нет доступной user friendly среды для проверки своих стратегий?
avatar
Gorazio, ну амиброкер есть. Там пары гигов хватит. Но там язык все равно надо осваивать. Кубики это ЛГБТ в мире программирования, поймите уже это :)
avatar
quant_trader, блок-схема в программировании — очень правильная штука.
avatar
ch5oh, согласен. Но требует некоего минимального уровня который в кубикотаскании пропущен.
avatar
Gorazio, люди же используют ТС-лаб? Начните с этого. Раньше еще метасток был, для первых опытов. 
avatar
SergeyJu, имхо это лучший способ забросить все это нафиг, как Тимофей изучал сишарп. Я честно попытался кое что накалякать. Поставил тслаб, студию, еще что то там. Открыл, подумал, закрыл и написал на питоне.

Имхо лучше начинать с easylanguage. Взрослые люди учатся на практических задачах, так вот трейдеру именно на изи можно плавно освоить программирование на понятных вещах.

avatar
По этой причине я от него отказался. ТС-лаб непомерно жрет память даже во время простой работы и теста, даже без оптимизаций. Т.е. потребление просто неуклонно нарастает, в итоге приводя к полному тормозу на простых операциях.
Friendly Deep Space, что говорит об уровне программеров этого тс-лаба...)
avatar
SergP, или об уровне автора торговой стратегии. Особенно, если он сам ее на сишарпе зафигачил.
avatar
Friendly Deep Space, 99% там банальные утечки и хоть 32 будет, может зависать )
Свой Мужик, мне сложно судить о причинах, я не специалист. Но то обстоятельство, что потребление памяти программы в течении нескольких часов растет непропорционально активности пользования программой, в итоге превышая суммарное потребление всего остального рабочего окружения + ОС, намекает на проблемы в программе и способствует к прекращению пользования.

Friendly Deep Space, оптимизация относится к тому классу задач, когда рост памяти может быть адекватен целям.

 

ПС Хотя объективности ради вынужден отметить, что оптимизатор у них детсадовский.

avatar

Friendly Deep Space, в новых версиях (примерно с 2.0.33) стало сильно лучше.

Меня с моими опционами уж очень сильно поджимало по памяти, а теперь хорошо.

avatar
Дык на скриншоте 6гб, кудой 2 дели и что своп религия включить не позволяет?
Свой Мужик, остальные 2 система потребляет.
Своп установлен 6 тоже. Но скорость даже SSD диска сильно меньше RAM.
avatar
UHSF, какая система? Это виртуалка?
В биос зайди убери с видюхи 2гб, если на буке рил 8гб )
Да и своп оставь системе )
Свой Мужик, нет, не виртуалка. 
Видеокарта дискретная со своими 3GB. Но посмотрю позже, может за ней зарезервировано действительно.
avatar
Свой Мужик, нашел недостающие почти 2GB — в настройках MSConfig.
Спасибо за наводку!
avatar
UHSF, да не за что, расскажите потом прошел тест или нет, есть подозрение, что там утечка памяти в TSLabe… и 32 будет мало (

Свой Мужик, теперь прошел этот же тест и с работающим QUIKом. TSLabу получается 4GB хватило (4 было свободно перед запуском), но весь тест память была забита под завязку. Главное что тест благополучно завершился и с данными можно было что-то делать — не зависло как в тот раз.
Многие говорят, что TSLab нерационально память использует. С этим, видимо, только мириться придется…
avatar
UHSF, своп обычно ставят в 2 раза больше оперативы. Но Ваша досада мне знакома.
avatar
Что за ноут? 2гб видюхе выделены или такой кастрированный?
Современное поколение выбирает пепси торгует со смартфонов)
У меня 2 гига памяти на планшете с квиком. Как то живу, однако.
avatar
сколько для TSLabа и QUIKа Вам требуется оперативной памяти?

Не менее 32, если активно пользоваться минутками за большой период.
ИМХО дело не в памяти, это Тслаб кривой. Сколько ему памяти не насуй, все может сожрать, результат не дать, а если дать, то неточный. А так, мне 2 Гб хватало, ну максимум 5. Файл подкачки еще имеется, так что нев памяти дело. 

avatar
TT, да уж точно. Но хотя бы оптимальный средний объем, если можно так сказать, какой у кого выходит узнать.
avatar
UHSF, если активно опционами торговать, на машине минимум 8 гигов надо иметь. Лучше 16, конечно. С недавних пор очень круто использование памяти улучшили. По моим задачам в 2-3 раза потребление снизилось.
avatar
16 gb DDR 4
Вполне хватает и на торговлю и на тесты.  

Так надо дампить в файл результаты) и будет вам счастье). 

 

А то что проц не юзается — это просто в моменте, или такая интересная инфраструктура/стратегия, что только оперативка?

 

Почему вообще расход нарастал? — Утечка?

 

Я когда с Велсом работал — там тоже, вроде утечки были, ну или просто много ел оперативки, я поэтому когда комп новый собирал поставил 32 Гб) — хватает)).

avatar
Replikant_mih, процессор без нагрузки от того, что оптимизацию остановил. Но TSLab продолжал висеть, вот как раз видимо из-за оперативной памяти.
Не совсем понимаю, о каких утечках идет речь? Куда и как может оперативная память утекать?
avatar

UHSF, ну это ошибки в ПО, я не помню, как это работает, то-ли просто куча мусора в оперативке программа хранит и не юзает, хотя добраться до данных можно, то-ли говорят об утечке когда данные хранятся, но добраться нельзя (в этом случае должна срабатывать уборка мусора, если язык это предполагает, иначе если явно этого не делать, то будет расход накапливаться). Если что — все это относится к внутренней кухне софта тс-лабовского и понимать, что именно я имел в виду не обязательно)).

 

FYI: опыт показывает, что оптимизировать можно все что хочешь, в оптимизации на свечках не такие объемы данных проворачиваются, чтобы нельзя это было уложить в 6 Гб — вопрос оптимизации ПО. ТС-лаб же вроде вообще по одному тикеру тока гоняет? — нафига ему вообще тогда такие объемы в оперативке? — тайм-серия одна, результаты прогонов — че там так много данных? — или там миллионы прогонов, не знаю, по-моему дампить результаты прогонов самая здравая идея — не обязательно на каждом прогоне, можно пачками.

avatar
К сожалению про TSLab ничего не могу сказать. 2 квика+Excel+VS C# (создание и отладка программ торговых алгоритмов и их тестирования)+несколько консолек на С# (рабочие алгоритмы+запуск тестов) +SPSS идут на 4 Гб спокойно. Если еще квика 4 навесить, то надо уже 8Гб. Дальше-больше.

Но важен еще и процессор. На Atom или всей линейке дешевых AMD идут постоянные зависания квиков.
avatar
А. Г., у меня при одном работающем квике с 23 вкладками загрузка уже на 3GB — половина всего ресурса.
Вы получается визуализацию (сделки на графике) при тестах не используете вообще?
avatar
UHSF, я в квиках всегда ставлю Получение данных->Исходя из настроек открытых пользователем таблиц. А вкладок у меня 5 в квике (две с графиками, на одной пятиминутки торгуемых, на другой просто отслеживаемых), из которого качаю данные по DDE, в остальных мне больше одной не надо (на ней всего 6 таблиц: клиентский портфель, позиции на фьючерсах, таблица лимитов по бумагам, таблица стоп-заявок, заявки, сделки).

Я помню делал настройки квика под S#. Так у меня этот квик зависал и на 8Гб. Поэтому я с S# и работать не стал.

При тестах я визуализацию вообще не использую, с помощью консольки в С# получаю набор эквити по всем перебираемым значениям оптимизируемых параметров, а потом эту матрицу обрабатываю в Excel и SPSS.

Статистику сделок использую только для предварительной оценки допустимого проскальзывания. Но опять же эту статистику мне выдает консолька на С# и пишет в текстовый файл, занимающий от силы несколько килобайт.
avatar
Квик вообще 32-битная прога, он не может сожрать больше 3-4 гигов памяти принципиально.
avatar
Память ДДР2?
avatar
Павел, DDR3 1866 (работает на 2133).
avatar
Автор, переоптимизация зло. Поставь точки пошире да параметров поменьше. Хорошая система должна работать в достаточно широком поле значений. Игрался на ноуте с 8гб, минутки за 10 лет — никаких проблем не испытывал.
avatar
Uncle Fedor, разговор не об этом. Параметров не много (3), но на большом интервале возникают проблемы с памятью.
avatar
kot_vezdehot, переподгонка зло. Торговля непровереренных алгоритмов еще большее зло. Так что новичек попадает на выбор  между Сциллой и Харибдой.
avatar
Используйте облачные вычисления, взять сервер на 1 час и посчитать что-то ресурсоёмкое стоит копейки. 2 CPU и 8Гб памяти стоит 6 рублей в час, 4 проца и 16Гб — 15 рублей в час. Тарификация — посекундная. Если нужно что-то считать пару раз в месяц, то так проще, быстрее и дешевле. Можно держать готовый образ в выключенном состоянии и запускать виртуальную машину лишь на время тестов и вычислений.
avatar
не попал на планку по памяти — не мужик
avatar
у РусАлго есть пару статей про кеширование в ТСЛаб интересные, но сложные для понимания. Я тоже лет 6-7 назад про такое писал на форуме. Если применять такие методы, то и оптимизация быстрее идет гораздо и памяти меньше жрет. 
avatar

теги блога UHSF

....все тэги



UPDONW
Новый дизайн