Блог им. FineLogin |Лайфхак QLUA для загрузки больших данных

    • 27 апреля 2023, 22:45
    • |
    • GOLD
      Популярный автор
  • Еще
Мой дорогой друг, если ты гоняешь бэктесты в QLUA, то тебе регулярно приходится загружать исторические данные. Как правило, это текстовый файл с тысячами строк в формате D,T,O,H,L,C,V:

20220915,090000,61420,61497,61406,61464,241
20220915,090100,61460,61476,61420,61451,160
20220915,090200,61444,61489,61436,61479,185

Осмелюсь предположить, что эти строки ты заливаешь в массив с помощью string.match. Это готовый парсер строки с разделителем. Работает достаточно шустро. Я на нем сидел пару лет.

Когда данных не много, такой метод загрузки не напрягает. Но когда за день 20-30 раз загружаешь сотни тысяч или миллион строк, то потери времени становятся невыносимыми.

Стал искать способ ускорить этот процесс. И он таки нашелся. Выяснил следующее:

Если строки в файле истории сконвертировать в такой вид (делается 1 раз):

table.insert(MyTable,{«20220915»,«090000»,61420,61497,61406,61464,241})
table.insert(MyTable,{«20220915»,«090100»,61460,61476,61420,61451,160})
table.insert(MyTable,{«20220915»,«090200»,61444,61489,61436,61479,185})



( Читать дальше )

Блог им. FineLogin |Google долго ищет. Youtube долго грузит. Лекарство.

    • 11 июня 2022, 00:21
    • |
    • GOLD
      Популярный автор
  • Еще

Благодаря американским банкирам (для обывателей — «США» или «Запад»), Гугл в России стал долго искать, а Ютуб долго грузить ролики. Я не знаю, кто  конкретно испоганил работу сервисов, но если бы американские банкиры внезапно сдохли, то мне не пришлось бы лечить созданную ими проблему. А вылечил я ее так:

1. Ввел в адресную строку chrome://flags/ а давнул Enter (у меня Chrome)
2. На открывшейся странице в поисковой строке ввел QUIC
3. В пункте Experimental QUIC protocol установил значение Disabled.
4. Перезапустил хром.

Лаги исчезли. Чудесно! Можно жить!


Пожалуйста, не спрашивайте меня, что такое Experimental QUIC protocol. Я ХЗ.

Желающие померцать гранями эрудиции — добро пожаловать в комменты))


....все тэги
UPDONW
Новый дизайн