Блог им. UHSF

Попал на планку по оперативной памяти

Занимался в TSLabе оптимизацией на 4,5 летнем периоде на 1 минутных свечах. На 99% оптимизации кончилась оперативная память, и повисло всё (чуток не хватило).

Попал на планку по оперативной памяти


Оптимизацию кое-как остановил, но что смог сделать потом, так это только переключиться на вкладку Доход. TSLab повис на несколько минут. Пришлось его «убить» и потерять данные…

3 часа зря жужжал компьютер, напрягался. Записал в блокнот только параметры по фильтру Максимальный доход из данных оптимизации. Это печально…

В общем, не приятно попадать на планку из-за малого кол-ва планок или их объема))

Помню, дискуссия была здесь по конфигурации ПК для торговли и кто-то писал, что 8GB вполне достаточно будет. Я тогда писал, что этого мало и надо хотя бы 16GB – так вот теперь показываю наглядный пример, почему оперативной памяти лучше ставить больше. Это только один TSLab работал, еще и с QUIKом серьезную оптимизацию запускать вообще не вариант…

В свое время опрометчиво поступил, когда объем оперативной памяти выбирал. Теперь вот на планки попадаю))

Коллеги, кто по опыту скажет, сколько для TSLabа и QUIKа Вам требуется оперативной памяти?

  • обсудить на форуме:
  • TSLab
★2
память копейки стоит, последний месяц почти в 2 раза подешевела
Секрет Бобра, где такое видели? Я вижу, что она и за пару-тройку лет не подешевела даже на 20%. Даже Б/У на подешевела в два раза))
avatar

UHSF

Все зависит от цели. Для торгов занимает 2-3 гб на 1 tslab. Для оптимизации — смотря какая длина. Берите 32. Раз оптимизацией играетесь 
avatar

Frend

Я беру минутки 12 лет и несколько активов сразу. Считается — минуты. Никаких проблем по памяти и по времени. Пишите оптимизаторы на пригодном к этому ПО, а не на кубиках для начинающих.

avatar

SergeyJu

SergeyJu, такой путь, боюсь, сейчас не для меня. Именно для TSLabа больше интересен объем памяти.
avatar

UHSF

SergeyJu, Может посоветуете доступные для публики оптимизаторы и тестеры?
avatar

Gorazio

Gorazio, не знаю, к счастью или к несчастью, но писать надо самим на любом языке — от VBA и C# до R.  
avatar

SergeyJu

SergeyJu, А как быть с тем, что не у каждого есть достаточно времени, (а это несколько лет) для освоения необходимого уровня языка, необходимого для написания полноценного тестера. Неужели ещё нет доступной user friendly среды для проверки своих стратегий?
avatar

Gorazio

Gorazio, ну амиброкер есть. Там пары гигов хватит. Но там язык все равно надо осваивать. Кубики это ЛГБТ в мире программирования, поймите уже это :)
quant_trader, блок-схема в программировании — очень правильная штука.
avatar

ch5oh

ch5oh, согласен. Но требует некоего минимального уровня который в кубикотаскании пропущен.
Gorazio, люди же используют ТС-лаб? Начните с этого. Раньше еще метасток был, для первых опытов. 
avatar

SergeyJu

SergeyJu, имхо это лучший способ забросить все это нафиг, как Тимофей изучал сишарп. Я честно попытался кое что накалякать. Поставил тслаб, студию, еще что то там. Открыл, подумал, закрыл и написал на питоне.

Имхо лучше начинать с easylanguage. Взрослые люди учатся на практических задачах, так вот трейдеру именно на изи можно плавно освоить программирование на понятных вещах.

По этой причине я от него отказался. ТС-лаб непомерно жрет память даже во время простой работы и теста, даже без оптимизаций. Т.е. потребление просто неуклонно нарастает, в итоге приводя к полному тормозу на простых операциях.
avatar

Friendly Deep Space

Friendly Deep Space, что говорит об уровне программеров этого тс-лаба...)
avatar

SergP

SergP, или об уровне автора торговой стратегии. Особенно, если он сам ее на сишарпе зафигачил.
avatar

ch5oh

Friendly Deep Space, 99% там банальные утечки и хоть 32 будет, может зависать )
Свой Мужик, мне сложно судить о причинах, я не специалист. Но то обстоятельство, что потребление памяти программы в течении нескольких часов растет непропорционально активности пользования программой, в итоге превышая суммарное потребление всего остального рабочего окружения + ОС, намекает на проблемы в программе и способствует к прекращению пользования.

Friendly Deep Space, оптимизация относится к тому классу задач, когда рост памяти может быть адекватен целям.

 

ПС Хотя объективности ради вынужден отметить, что оптимизатор у них детсадовский.

avatar

ch5oh

Friendly Deep Space, в новых версиях (примерно с 2.0.33) стало сильно лучше.

Меня с моими опционами уж очень сильно поджимало по памяти, а теперь хорошо.

avatar

ch5oh

Дык на скриншоте 6гб, кудой 2 дели и что своп религия включить не позволяет?
avatar

Свой Мужик

Свой Мужик, остальные 2 система потребляет.
Своп установлен 6 тоже. Но скорость даже SSD диска сильно меньше RAM.
avatar

UHSF

UHSF, какая система? Это виртуалка?
В биос зайди убери с видюхи 2гб, если на буке рил 8гб )
Да и своп оставь системе )
Свой Мужик, нет, не виртуалка. 
Видеокарта дискретная со своими 3GB. Но посмотрю позже, может за ней зарезервировано действительно.
avatar

UHSF

Свой Мужик, нашел недостающие почти 2GB — в настройках MSConfig.
Спасибо за наводку!
avatar

UHSF

UHSF, да не за что, расскажите потом прошел тест или нет, есть подозрение, что там утечка памяти в TSLabe… и 32 будет мало (

Свой Мужик, теперь прошел этот же тест и с работающим QUIKом. TSLabу получается 4GB хватило (4 было свободно перед запуском), но весь тест память была забита под завязку. Главное что тест благополучно завершился и с данными можно было что-то делать — не зависло как в тот раз.
Многие говорят, что TSLab нерационально память использует. С этим, видимо, только мириться придется…
avatar

UHSF

UHSF, своп обычно ставят в 2 раза больше оперативы. Но Ваша досада мне знакома.
avatar

ch5oh

Что за ноут? 2гб видюхе выделены или такой кастрированный?
avatar

Свой Мужик

Современное поколение выбирает пепси торгует со смартфонов)
У меня 2 гига памяти на планшете с квиком. Как то живу, однако.
avatar

Turbo Pascal

сколько для TSLabа и QUIKа Вам требуется оперативной памяти?

Не менее 32, если активно пользоваться минутками за большой период.
ИМХО дело не в памяти, это Тслаб кривой. Сколько ему памяти не насуй, все может сожрать, результат не дать, а если дать, то неточный. А так, мне 2 Гб хватало, ну максимум 5. Файл подкачки еще имеется, так что нев памяти дело. 

avatar

TT

TT, да уж точно. Но хотя бы оптимальный средний объем, если можно так сказать, какой у кого выходит узнать.
avatar

UHSF

UHSF, если активно опционами торговать, на машине минимум 8 гигов надо иметь. Лучше 16, конечно. С недавних пор очень круто использование памяти улучшили. По моим задачам в 2-3 раза потребление снизилось.
avatar

ch5oh

16 gb DDR 4
Вполне хватает и на торговлю и на тесты.  

Так надо дампить в файл результаты) и будет вам счастье). 

 

А то что проц не юзается — это просто в моменте, или такая интересная инфраструктура/стратегия, что только оперативка?

 

Почему вообще расход нарастал? — Утечка?

 

Я когда с Велсом работал — там тоже, вроде утечки были, ну или просто много ел оперативки, я поэтому когда комп новый собирал поставил 32 Гб) — хватает)).

avatar

Replikant_mih

Replikant_mih, процессор без нагрузки от того, что оптимизацию остановил. Но TSLab продолжал висеть, вот как раз видимо из-за оперативной памяти.
Не совсем понимаю, о каких утечках идет речь? Куда и как может оперативная память утекать?
avatar

UHSF

UHSF, ну это ошибки в ПО, я не помню, как это работает, то-ли просто куча мусора в оперативке программа хранит и не юзает, хотя добраться до данных можно, то-ли говорят об утечке когда данные хранятся, но добраться нельзя (в этом случае должна срабатывать уборка мусора, если язык это предполагает, иначе если явно этого не делать, то будет расход накапливаться). Если что — все это относится к внутренней кухне софта тс-лабовского и понимать, что именно я имел в виду не обязательно)).

 

FYI: опыт показывает, что оптимизировать можно все что хочешь, в оптимизации на свечках не такие объемы данных проворачиваются, чтобы нельзя это было уложить в 6 Гб — вопрос оптимизации ПО. ТС-лаб же вроде вообще по одному тикеру тока гоняет? — нафига ему вообще тогда такие объемы в оперативке? — тайм-серия одна, результаты прогонов — че там так много данных? — или там миллионы прогонов, не знаю, по-моему дампить результаты прогонов самая здравая идея — не обязательно на каждом прогоне, можно пачками.

К сожалению про TSLab ничего не могу сказать. 2 квика+Excel+VS C# (создание и отладка программ торговых алгоритмов и их тестирования)+несколько консолек на С# (рабочие алгоритмы+запуск тестов) +SPSS идут на 4 Гб спокойно. Если еще квика 4 навесить, то надо уже 8Гб. Дальше-больше.

Но важен еще и процессор. На Atom или всей линейке дешевых AMD идут постоянные зависания квиков.
avatar

А. Г.

А. Г., у меня при одном работающем квике с 23 вкладками загрузка уже на 3GB — половина всего ресурса.
Вы получается визуализацию (сделки на графике) при тестах не используете вообще?
avatar

UHSF

UHSF, я в квиках всегда ставлю Получение данных->Исходя из настроек открытых пользователем таблиц. А вкладок у меня 5 в квике (две с графиками, на одной пятиминутки торгуемых, на другой просто отслеживаемых), из которого качаю данные по DDE, в остальных мне больше одной не надо (на ней всего 6 таблиц: клиентский портфель, позиции на фьючерсах, таблица лимитов по бумагам, таблица стоп-заявок, заявки, сделки).

Я помню делал настройки квика под S#. Так у меня этот квик зависал и на 8Гб. Поэтому я с S# и работать не стал.

При тестах я визуализацию вообще не использую, с помощью консольки в С# получаю набор эквити по всем перебираемым значениям оптимизируемых параметров, а потом эту матрицу обрабатываю в Excel и SPSS.

Статистику сделок использую только для предварительной оценки допустимого проскальзывания. Но опять же эту статистику мне выдает консолька на С# и пишет в текстовый файл, занимающий от силы несколько килобайт.
avatar

А. Г.

Квик вообще 32-битная прога, он не может сожрать больше 3-4 гигов памяти принципиально.
avatar

oerlikon

Память ДДР2?
avatar

Павел

Павел, DDR3 1866 (работает на 2133).
avatar

UHSF

Автор, переоптимизация зло. Поставь точки пошире да параметров поменьше. Хорошая система должна работать в достаточно широком поле значений. Игрался на ноуте с 8гб, минутки за 10 лет — никаких проблем не испытывал.
avatar

Uncle Fedor

Uncle Fedor, разговор не об этом. Параметров не много (3), но на большом интервале возникают проблемы с памятью.
avatar

UHSF

kot_vezdehot, переподгонка зло. Торговля непровереренных алгоритмов еще большее зло. Так что новичек попадает на выбор  между Сциллой и Харибдой.
avatar

SergeyJu

Используйте облачные вычисления, взять сервер на 1 час и посчитать что-то ресурсоёмкое стоит копейки. 2 CPU и 8Гб памяти стоит 6 рублей в час, 4 проца и 16Гб — 15 рублей в час. Тарификация — посекундная. Если нужно что-то считать пару раз в месяц, то так проще, быстрее и дешевле. Можно держать готовый образ в выключенном состоянии и запускать виртуальную машину лишь на время тестов и вычислений.
avatar

Lev

не попал на планку по памяти — не мужик
avatar

Cristopher Robin

у РусАлго есть пару статей про кеширование в ТСЛаб интересные, но сложные для понимания. Я тоже лет 6-7 назад про такое писал на форуме. Если применять такие методы, то и оптимизация быстрее идет гораздо и памяти меньше жрет. 
avatar

Андрей К


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
UPDONW