UHSF
UHSF личный блог
19 июня 2019, 10:03

Попал на планку по оперативной памяти

Занимался в TSLabе оптимизацией на 4,5 летнем периоде на 1 минутных свечах. На 99% оптимизации кончилась оперативная память, и повисло всё (чуток не хватило).

Попал на планку по оперативной памяти


Оптимизацию кое-как остановил, но что смог сделать потом, так это только переключиться на вкладку Доход. TSLab повис на несколько минут. Пришлось его «убить» и потерять данные…

3 часа зря жужжал компьютер, напрягался. Записал в блокнот только параметры по фильтру Максимальный доход из данных оптимизации. Это печально…

В общем, не приятно попадать на планку из-за малого кол-ва планок или их объема))

Помню, дискуссия была здесь по конфигурации ПК для торговли и кто-то писал, что 8GB вполне достаточно будет. Я тогда писал, что этого мало и надо хотя бы 16GB – так вот теперь показываю наглядный пример, почему оперативной памяти лучше ставить больше. Это только один TSLab работал, еще и с QUIKом серьезную оптимизацию запускать вообще не вариант…

В свое время опрометчиво поступил, когда объем оперативной памяти выбирал. Теперь вот на планки попадаю))

Коллеги, кто по опыту скажет, сколько для TSLabа и QUIKа Вам требуется оперативной памяти?

51 Комментарий
  • память копейки стоит, последний месяц почти в 2 раза подешевела
  • Friend
    19 июня 2019, 10:19
    Все зависит от цели. Для торгов занимает 2-3 гб на 1 tslab. Для оптимизации — смотря какая длина. Берите 32. Раз оптимизацией играетесь 
  • SergeyJu
    19 июня 2019, 10:27
    Я беру минутки 12 лет и несколько активов сразу. Считается — минуты. Никаких проблем по памяти и по времени. Пишите оптимизаторы на пригодном к этому ПО, а не на кубиках для начинающих.

    • Gorazio
      19 июня 2019, 10:51
      SergeyJu, Может посоветуете доступные для публики оптимизаторы и тестеры?
      • SergeyJu
        19 июня 2019, 11:28
        Gorazio, не знаю, к счастью или к несчастью, но писать надо самим на любом языке — от VBA и C# до R.  
        • Gorazio
          19 июня 2019, 12:42
          SergeyJu, А как быть с тем, что не у каждого есть достаточно времени, (а это несколько лет) для освоения необходимого уровня языка, необходимого для написания полноценного тестера. Неужели ещё нет доступной user friendly среды для проверки своих стратегий?
          • quant_trader
            19 июня 2019, 14:00
            Gorazio, ну амиброкер есть. Там пары гигов хватит. Но там язык все равно надо осваивать. Кубики это ЛГБТ в мире программирования, поймите уже это :)
            • ch5oh
              19 июня 2019, 14:17
              quant_trader, блок-схема в программировании — очень правильная штука.
              • quant_trader
                19 июня 2019, 14:42
                ch5oh, согласен. Но требует некоего минимального уровня который в кубикотаскании пропущен.
          • SergeyJu
            19 июня 2019, 14:02
            Gorazio, люди же используют ТС-лаб? Начните с этого. Раньше еще метасток был, для первых опытов. 
            • quant_trader
              19 июня 2019, 14:12
              SergeyJu, имхо это лучший способ забросить все это нафиг, как Тимофей изучал сишарп. Я честно попытался кое что накалякать. Поставил тслаб, студию, еще что то там. Открыл, подумал, закрыл и написал на питоне.

              Имхо лучше начинать с easylanguage. Взрослые люди учатся на практических задачах, так вот трейдеру именно на изи можно плавно освоить программирование на понятных вещах.

  • Friendly Deep Space
    19 июня 2019, 10:29
    По этой причине я от него отказался. ТС-лаб непомерно жрет память даже во время простой работы и теста, даже без оптимизаций. Т.е. потребление просто неуклонно нарастает, в итоге приводя к полному тормозу на простых операциях.
    • SergP
      19 июня 2019, 10:46
      Friendly Deep Space, что говорит об уровне программеров этого тс-лаба...)
      • ch5oh
        19 июня 2019, 14:18
        SergP, или об уровне автора торговой стратегии. Особенно, если он сам ее на сишарпе зафигачил.
    • Свой Мужик
      19 июня 2019, 11:00
      Friendly Deep Space, 99% там банальные утечки и хоть 32 будет, может зависать )
      • Friendly Deep Space
        19 июня 2019, 11:13
        Свой Мужик, мне сложно судить о причинах, я не специалист. Но то обстоятельство, что потребление памяти программы в течении нескольких часов растет непропорционально активности пользования программой, в итоге превышая суммарное потребление всего остального рабочего окружения + ОС, намекает на проблемы в программе и способствует к прекращению пользования.
        • ch5oh
          19 июня 2019, 14:22

          Friendly Deep Space, оптимизация относится к тому классу задач, когда рост памяти может быть адекватен целям.

           

          ПС Хотя объективности ради вынужден отметить, что оптимизатор у них детсадовский.

    • ch5oh
      19 июня 2019, 14:19

      Friendly Deep Space, в новых версиях (примерно с 2.0.33) стало сильно лучше.

      Меня с моими опционами уж очень сильно поджимало по памяти, а теперь хорошо.

  • Свой Мужик
    19 июня 2019, 10:37
    Дык на скриншоте 6гб, кудой 2 дели и что своп религия включить не позволяет?
      • Свой Мужик
        19 июня 2019, 10:58
        UHSF, какая система? Это виртуалка?
        В биос зайди убери с видюхи 2гб, если на буке рил 8гб )
        Да и своп оставь системе )
          • Свой Мужик
            19 июня 2019, 23:54
            UHSF, да не за что, расскажите потом прошел тест или нет, есть подозрение, что там утечка памяти в TSLabe… и 32 будет мало (

      • ch5oh
        19 июня 2019, 14:20
        UHSF, своп обычно ставят в 2 раза больше оперативы. Но Ваша досада мне знакома.
  • Свой Мужик
    19 июня 2019, 10:39
    Что за ноут? 2гб видюхе выделены или такой кастрированный?
  • Современное поколение выбирает пепси торгует со смартфонов)
  • Turbo Pascal
    19 июня 2019, 10:50
    У меня 2 гига памяти на планшете с квиком. Как то живу, однако.
  • сколько для TSLabа и QUIKа Вам требуется оперативной памяти?

    Не менее 32, если активно пользоваться минутками за большой период.
  • TT
    19 июня 2019, 11:03
    ИМХО дело не в памяти, это Тслаб кривой. Сколько ему памяти не насуй, все может сожрать, результат не дать, а если дать, то неточный. А так, мне 2 Гб хватало, ну максимум 5. Файл подкачки еще имеется, так что нев памяти дело. 

      • ch5oh
        19 июня 2019, 14:25
        UHSF, если активно опционами торговать, на машине минимум 8 гигов надо иметь. Лучше 16, конечно. С недавних пор очень круто использование памяти улучшили. По моим задачам в 2-3 раза потребление снизилось.
  • Кирилл Глухов
    19 июня 2019, 11:14
    16 gb DDR 4
    Вполне хватает и на торговлю и на тесты.  
  • Replikant_mih
    19 июня 2019, 12:09

    Так надо дампить в файл результаты) и будет вам счастье). 

     

    А то что проц не юзается — это просто в моменте, или такая интересная инфраструктура/стратегия, что только оперативка?

     

    Почему вообще расход нарастал? — Утечка?

     

    Я когда с Велсом работал — там тоже, вроде утечки были, ну или просто много ел оперативки, я поэтому когда комп новый собирал поставил 32 Гб) — хватает)).

      • Replikant_mih
        19 июня 2019, 12:24

        UHSF, ну это ошибки в ПО, я не помню, как это работает, то-ли просто куча мусора в оперативке программа хранит и не юзает, хотя добраться до данных можно, то-ли говорят об утечке когда данные хранятся, но добраться нельзя (в этом случае должна срабатывать уборка мусора, если язык это предполагает, иначе если явно этого не делать, то будет расход накапливаться). Если что — все это относится к внутренней кухне софта тс-лабовского и понимать, что именно я имел в виду не обязательно)).

         

        FYI: опыт показывает, что оптимизировать можно все что хочешь, в оптимизации на свечках не такие объемы данных проворачиваются, чтобы нельзя это было уложить в 6 Гб — вопрос оптимизации ПО. ТС-лаб же вроде вообще по одному тикеру тока гоняет? — нафига ему вообще тогда такие объемы в оперативке? — тайм-серия одна, результаты прогонов — че там так много данных? — или там миллионы прогонов, не знаю, по-моему дампить результаты прогонов самая здравая идея — не обязательно на каждом прогоне, можно пачками.

  • А. Г.
    19 июня 2019, 12:36
    К сожалению про TSLab ничего не могу сказать. 2 квика+Excel+VS C# (создание и отладка программ торговых алгоритмов и их тестирования)+несколько консолек на С# (рабочие алгоритмы+запуск тестов) +SPSS идут на 4 Гб спокойно. Если еще квика 4 навесить, то надо уже 8Гб. Дальше-больше.

    Но важен еще и процессор. На Atom или всей линейке дешевых AMD идут постоянные зависания квиков.
      • А. Г.
        19 июня 2019, 13:05
        UHSF, я в квиках всегда ставлю Получение данных->Исходя из настроек открытых пользователем таблиц. А вкладок у меня 5 в квике (две с графиками, на одной пятиминутки торгуемых, на другой просто отслеживаемых), из которого качаю данные по DDE, в остальных мне больше одной не надо (на ней всего 6 таблиц: клиентский портфель, позиции на фьючерсах, таблица лимитов по бумагам, таблица стоп-заявок, заявки, сделки).

        Я помню делал настройки квика под S#. Так у меня этот квик зависал и на 8Гб. Поэтому я с S# и работать не стал.

        При тестах я визуализацию вообще не использую, с помощью консольки в С# получаю набор эквити по всем перебираемым значениям оптимизируемых параметров, а потом эту матрицу обрабатываю в Excel и SPSS.

        Статистику сделок использую только для предварительной оценки допустимого проскальзывания. Но опять же эту статистику мне выдает консолька на С# и пишет в текстовый файл, занимающий от силы несколько килобайт.
  • Oerlikonium
    19 июня 2019, 12:53
    Квик вообще 32-битная прога, он не может сожрать больше 3-4 гигов памяти принципиально.
  • Павел
    19 июня 2019, 13:21
    Память ДДР2?
  • Uncle Fedor
    19 июня 2019, 13:31
    Автор, переоптимизация зло. Поставь точки пошире да параметров поменьше. Хорошая система должна работать в достаточно широком поле значений. Игрался на ноуте с 8гб, минутки за 10 лет — никаких проблем не испытывал.
  • SergeyJu
    19 июня 2019, 14:24
    kot_vezdehot, переподгонка зло. Торговля непровереренных алгоритмов еще большее зло. Так что новичек попадает на выбор  между Сциллой и Харибдой.
  • Leo
    19 июня 2019, 15:22
    Используйте облачные вычисления, взять сервер на 1 час и посчитать что-то ресурсоёмкое стоит копейки. 2 CPU и 8Гб памяти стоит 6 рублей в час, 4 проца и 16Гб — 15 рублей в час. Тарификация — посекундная. Если нужно что-то считать пару раз в месяц, то так проще, быстрее и дешевле. Можно держать готовый образ в выключенном состоянии и запускать виртуальную машину лишь на время тестов и вычислений.
  • Cristopher Robin
    19 июня 2019, 17:17
    не попал на планку по памяти — не мужик
  • Андрей К
    19 июня 2019, 22:03
    у РусАлго есть пару статей про кеширование в ТСЛаб интересные, но сложные для понимания. Я тоже лет 6-7 назад про такое писал на форуме. Если применять такие методы, то и оптимизация быстрее идет гораздо и памяти меньше жрет. 

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн