15 августа 2019, 16:18
Работа с Quik Finam. Обрывы Соединения - Случайность или Закономерность ? Следствие ведут Колобки
Работа с Quik Finam.
Обрывы Соединения — Случайность или Закономерность?
Следствие ведут Колобки
По мотивам вот этих постов: smart-lab.ru/blog/553764.php , https://smart-lab.ru/blog/553853.php
Кто не знает, сообщаю, Я работаю на рынке только роботами. Портфели роботов.
В последнее время у меня стали часто пропадать соединения с Сервером Квика.
Приведу пример сегодняшнего дня.
9:30 — Соединение установлено.
10:00 Открытие торгов. Постепенно начинают входить в Позиции роботы.
По одному инструменту у меня может много позиций и в Short и в Long, потому что стратегии в роботах разные.
После 11:00 у меня были открыты нетто позиции SiH9 Long, SRU9 Short.
После 12:00 НАЧАЛОСЬ ДВИЖЕНИЕ по Si и SR.
В это время я увидел знакомые мне обрывы соединения с Квиком (Удаленный хост рубит соединения).
Наученный предыдущим опытом (когда такие безобразия с установлением-обрывом соединений продолжались долго https://smart-lab.ru/blog/537471.php)
я вручную закрыл все позиции, открытые роботами, в моменте когда Соединение на несколько минут устанавливалось.
Получил небольшую Прибыль. Но расставаться с наметившимся Импульсом было жаль.
Такие СЛУЧАЙНЫЕ потери соединения в моменты сильных движений на рынке повторялись и раньше,
но в последние дни стали происходить значительно чаще.
Также, любая потеря Соединения вне зависимости от состояния рынка должна восприниматься как НЕШТАТНАЯ СИТУАЦИЯ,
требующая рассмотрения и вмешательства.
Ведь на рынке может случиться все что угодно в любую секунду. А тут приходится разбираться с Соединениями.
И тут я решил «Бросить Эти Шуточки, А вдруг это не ЗАКРЫТЫЙ, а ОТКРЫТЫЙ ПЕРЕЛОМ».
Ну, конечно, Интернет, наверное, у меня ХРЕНОВЫЙ на моем удаленном Сервере в неплохом DataCentre в Москве,
где и сайты и сервисы мои крутятся, и все работает и где можно посмотреть трафик графически.
И быстро взяв на вооружение powershell я написал простой скрипт с ping-ом Серверов Quikа.
Скрипт просто пингует периодически Сервера Quikа в цикле,
а я наблюдаю за процессом установления Соединения самим Quik-oм в моментах потери Соединения.
И О Чудо.
Обнаружилось, что часто У МЕНЯ МОЙ QUIK рубит соединение или не может его установить,
а В ЭТО ЖЕ ВРЕМЯ Ping показывает, что Серверы-Quika прекрасно пингуются.
Возникают вопросы ...
Пока ОргВыводы делать рано.
Но я теперь возьму это Безобразие под контроль и буду собирать Статистику.
Ведь“Сколько веревочке ни виться, а конец будет“
Хотелось бы верить, что это Безобразие Прекратится, и этот пост был бы Первым и Последним постом на эту тему.
Но я в этом не Уверен.
To Be Continued
Так Выпьем же за то, благодаря чему мы, несмотря ни на что, во что бы то ни стало.
Quik: Установление Соединения.
Закрытие Позиций. Вынужденное.
Обрывы Соединения — Случайность или Закономерность?
Следствие ведут Колобки
По мотивам вот этих постов: smart-lab.ru/blog/553764.php , https://smart-lab.ru/blog/553853.php
Кто не знает, сообщаю, Я работаю на рынке только роботами. Портфели роботов.
В последнее время у меня стали часто пропадать соединения с Сервером Квика.
Приведу пример сегодняшнего дня.
9:30 — Соединение установлено.
10:00 Открытие торгов. Постепенно начинают входить в Позиции роботы.
По одному инструменту у меня может много позиций и в Short и в Long, потому что стратегии в роботах разные.
После 11:00 у меня были открыты нетто позиции SiH9 Long, SRU9 Short.
После 12:00 НАЧАЛОСЬ ДВИЖЕНИЕ по Si и SR.
В это время я увидел знакомые мне обрывы соединения с Квиком (Удаленный хост рубит соединения).
Наученный предыдущим опытом (когда такие безобразия с установлением-обрывом соединений продолжались долго https://smart-lab.ru/blog/537471.php)
я вручную закрыл все позиции, открытые роботами, в моменте когда Соединение на несколько минут устанавливалось.
Получил небольшую Прибыль. Но расставаться с наметившимся Импульсом было жаль.
Такие СЛУЧАЙНЫЕ потери соединения в моменты сильных движений на рынке повторялись и раньше,
но в последние дни стали происходить значительно чаще.
Также, любая потеря Соединения вне зависимости от состояния рынка должна восприниматься как НЕШТАТНАЯ СИТУАЦИЯ,
требующая рассмотрения и вмешательства.
Ведь на рынке может случиться все что угодно в любую секунду. А тут приходится разбираться с Соединениями.
И тут я решил «Бросить Эти Шуточки, А вдруг это не ЗАКРЫТЫЙ, а ОТКРЫТЫЙ ПЕРЕЛОМ».
Ну, конечно, Интернет, наверное, у меня ХРЕНОВЫЙ на моем удаленном Сервере в неплохом DataCentre в Москве,
где и сайты и сервисы мои крутятся, и все работает и где можно посмотреть трафик графически.
И быстро взяв на вооружение powershell я написал простой скрипт с ping-ом Серверов Quikа.
Скрипт просто пингует периодически Сервера Quikа в цикле,
а я наблюдаю за процессом установления Соединения самим Quik-oм в моментах потери Соединения.
И О Чудо.
Обнаружилось, что часто У МЕНЯ МОЙ QUIK рубит соединение или не может его установить,
а В ЭТО ЖЕ ВРЕМЯ Ping показывает, что Серверы-Quika прекрасно пингуются.
Возникают вопросы ...
Пока ОргВыводы делать рано.
Но я теперь возьму это Безобразие под контроль и буду собирать Статистику.
Ведь“Сколько веревочке ни виться, а конец будет“
Хотелось бы верить, что это Безобразие Прекратится, и этот пост был бы Первым и Последним постом на эту тему.
Но я в этом не Уверен.
To Be Continued
Так Выпьем же за то, благодаря чему мы, несмотря ни на что, во что бы то ни стало.
Quik: Установление Соединения.
Закрытие Позиций. Вынужденное.
Lora, и смотрите CHANGE, Dec24 больше всего, о чем и писал. Так и должно быть на нормальном рынке. Только на мосбирже не так. Под экспиарцию раздули спред и закрылись выше.
Goldman Sachs не ожидает изменения цен на нефть в следующем году.
25 ноября 2024
Goldman Sachs ожидает, что нефть марки Brent будет стоить в среднем от $70 до $85 за баррель в следующем году, с...
Эдуард Лоскутов, я считаю, что ниже. Вы помните, какие компании так пампили против рынка? Пару-тройку с ходу назовать можете из недавних?
Goldman Sachs не ожидает изменения цен на нефть в следующем году.
25 ноября 2024
Goldman Sachs ожидает, что нефть марки Brent будет стоить в среднем от $70 до $85 за баррель в следующем году, с...
23:01
Goldman Sachs не ожидает изменения цен на нефть в следующем году.
25 ноября 2024
Goldman Sachs ожидает, что нефть марки Brent будет стоить в среднем от $70 до $85 за баррель в следующем году, с...
23:00
Роман Бабанин, это само собой, будет и инфляция и девальвация, но речь не о напечатанных деньгах, а о реальных предприятиях. и о том кто их будет контролировать когда уляжется пыль.
22:59
Георгий Б, За 2024г, в марте 2025г, почему китайцам не забрать свои кровные дивы, 16700р на акцию лежат мертвым грузом, как депозит???
22:59
Вадим Рахаев, нам тогда надо — +- среднию зарплату москвича получать — лет 24-25!
— А потом — Да — спросишь — почему квартиры так дешево покупаешь.
2к жду, потом ракета.
я как раз об этом.
Соединений хватает не для всех.
Просто разрешили бы соединиться,… Парню.
вот нагуглил по памяти
https://forum.quik.ru/forum1/topic246/
Заявки выставляю через Trans2Quik.
Все остальное время штатно и примерно так
у меня это продолжалось до 15:57.
При этом сервер q1.finam.ru пинговался и пингуется сейчас нормально.
Кстати, пинг не факт, что до сервера квика прямо идёт. Порты разные, на пинг может хоть другая машина ответить, смотря какая маршрутизация.
Я с этим закончил когда на крымняше рынок порвало и заявки ушли где-то в чёрную дыру, данные не передавались пол-часа.
Дану, теперь только ручками.
Комиссия какая в Церихе за скальп. сделку по 1 контракту RI ?
В Финаме 0.45 — скальп.
Если в Церихе комииссия больше, то можете не отвечать.
Спасибо.
Ау! Финам! Количество хомяков растет! Пора апгрейдить серверы!
про восьмерку говорят, что появится в меню Quik (в каком меню не знаю) предложение «Обновиться до 8-ой версии».
Проблема не в Финаме, а в архитектуре QUIK-а. Все крупные брокеры мучаются с этим и ждут решения от ARQA.
Серверная часть QUIK-а 32-битная (!) (в 8-й версии вроде бы реализовали 64-бит). Соответственно один процесс может использовать только 2 Гб оперативной памяти. 2 Гб — это ничтожно мало для приложения, к которому одновременно подключаются тысячи клиентов и запрашивают огромный поток рыночной информации.
У любого крупного брокера параллельно запущено множество копий QUIK. За одним внешним адресом сервера QUIK, к которому подключаются клиенты, реально скрывается несколько параллельных процессов «сервера QUIK», и идет балансировка нагрузки между ними.
Т.е. если у брокера есть 4 различных IP-адреса для подключения клиентов, то реально за ними может скрываться 4*N запущенных экземпляров «сервера QUIK». Плюс не стоит забывать, что серверная часть QUIK состоит из множества независимых модулей, взаимодействующих между собой.
Настроить и поддерживать весь этот зоопарк очень непросто. А в случае сбоя одного элемента приходится перезапускать и согласовывать все остальные.
Оптимальный выход сейчас — использовать выделенные VIP-сервера QUIK.
Например у БКС данная услуга стоит 3300 р. в месяц. Пользуются ей не более 100 клиентов (скорее даже несколько десятков), причем далеко не все из них торгуют быстрыми роботами, загрузка сервера минимальна.
Стандартные сервера БКС ощутимо тормозят каждый день, отваливаются как минимум раз в неделю, а на сильных движениях стаканы котировок висят без движения по несколько минут. VIP-сервер не тормозит почти никогда. Даже на Брексите, выборах Трампа и 09.04.2018 у меня всё работало без обрывов, хотя если честно было слегка ссыкотно наблюдать за роботами.
Кстати приятно удивляет брокер ВТБ. При его громадной базе клиентов, обычные сервера QUIK работают очень даже стабильно, несравнимо лучше чем у БКС. Возможно это связано с тем, что в ВТБ почти нет активных спекулянтов, в основном неторопливые инвесторы.
1. Никто не говорит, что делать service + maintenance + developing + upgrading + deploying серверов легко. Но это надо делать.
Если не можешь предоставлять Клиентам сервис на должном уровне, который работает, значит не соответствуешь современным требованиям. Освободи дорогу Идущим и Ищущим.
2. Да существует проблема scalability. Но она остро стоит в системах типа BlockChain, где курсируют распределенные транзакции. Там она (проблема) существуют по-определению.
3. У нас же все Архитектуры это Клиент-Сервер. В этой архитектуре НИЧЕГО НОВОГО НЕТ. Уже давно есть готовые технические и программные решения которые ПРИДУМАНЫ И ИСПРОБОВАНЫ в 20м веке. Все уже давно придумано ЧТО и КАК ДЕЛАТЬ.
Тем более, сейчас ЖЕЛЕЗО такое, о котором можно было раньше только мечтать. Проблема в мире существует обратная: ЖЕЛЕЗО стоит НЕДОГРУЖЕННОЕ, простаивает.
Посмотрите на своем компьютере в TaskManager Windows загрузку Процессора. Скорее всего она будет меньше 10% — И ТАК ВО ВСЕМ МИРЕ, на больших и малых серверах. Аналогия очень символична.
Компьютерное Железо сейчас в основном используется для ОБОГРЕВА Окружающей среды.
4. Вернемся к нашим насущным «проблемах» в кавычках, которых на самом деле нет. У нас на Фондовом рынке, где торгует полторы сотни действительно активных клиентов с быстрыми алгоритмами плюс я, проблем с scalability быть не должно. Мы не Найс. Объемы нашей информации вполне обозримы.
Нет Знаний и Умений — вот Диагноз. Поэтому все делается в впопыхах и кувырком, на авось. Естественно, каждый новый upgrade приводит Разработчиков, Эксплуатантов и Клиентов к новым неразрешимым проблемам и новым задачам по поиску их решения.
Это из серии «Никогда такого не было и вот опять».
А Клиентам, как мне, приходится программы писать, чтобы показать и доказать Провайдерам Услуг, что Вот здесь и здесь у Вас работает неправильно, некашерно. Стандартный ответ такого Повайдера Услуг хорошо знаком: «У нас все работает, проверьте своего Интернет провайдера». Круг замкнулся. Прогресс с таким отношением крайне затруднен.
Кстати, здесь можно порекомендовать простецкие книги почитать по Теории Массового Обслуживания. Вот специально нашел по-проще, для Пищевиков e-lib.kemtipp.ru/uploads/08/vm081.pdf. Другие книжки на эту тему скорее всего будут непонятны.
5. Это пост написан не просто так. В последнее время я увидел ЗАМЕТНОЕ СУЩЕСТВЕННОЕ ухудшение предоставления услуг для торговли.
Иными словами: Есть ИЗМЕНЕНИЯ, к сожалению, в худшую сторону.
PS. На Ваши рассуждения про сложность распараллеливания задач, процессов, экземпляров, модулей, про 32 — битность я не могу ответить корректно, поэтому лучше промолчу.
Еще раз Спасибо за отклик. Было интересно почитать.
Масштабирование не всегда можно реализовать простым увеличением количества/производительности серверов. Если программная часть уперлась в потолок, железо не поможет.
«Нет Знаний и Умений — вот Диагноз»
В корне не согласен. Всё что касается ИТ в России на достаточно высоком уровне, в том числе и сервисы Московской биржи. Если смотреть мировые биржи, то чуть ли не каждый третий HFT-специалист родом из СНГ. Да, американские биржи несоизмеримо больше нашей, но на них очень успешно работают наши же программисты.
Вы когда-нибудь слышали про бывших сотрудников БКС, которые организовали HFT-компанию в Китае и заработали там около 1 млрд долларов? Зато про успешного таксиста Герчика знают все российские трейдеры )))
П.С. все мои рассуждения не касаются вчерашних сбоев в Финаме (я даже не их клиент). Скорее общих систематических косяков в работе QUIK у всех брокеров. Кстати сервера БКС за последние 2-3 года тоже стали работать заметно хуже.
Я как раз говорил не только про Железo. А про программирование и про незнание основ проектирования информационных систем для массового обслуживания Клиентов, где необходимость масштабирования — это самое главное требование в Requirements Specification. Самое главное. А у нас про это вспоминают, только когда число Клиентов возрастает. Только когда косяки вылезают начинают на это обращать внимание, но поезда уходят. Отсюда и кривой soft. Вы приводите примеры (Quik), а не я.
Также Вы сами себе противоречите. По Вашему Quik у нас плохой, а Программисты хорошие.
Примеры, которые Вы приводите — единичные случаи. Сейчас везде засилье китайцев.
А пока так:PS
Я в софтверной отрасли проработал лет 20, наверное, а может и больше. Поэтому знаю ситуацию изнутри как это происходит. Ничего не меняется.
да в самый раз когда большая волатльность через несколько минут сам включается и нормально работает Я в ОТКРЫТИИ никогда раньше такого не было Я УЖЕ не знаю что делать думала что это что-то с моим компом Может попробовать перейти на другой сервер на 2-ой сейчас я на 1 версия у меня стоит 7,27.2.1
Клиентам Финам сам Бог велел работать через протокол Transaq. У них даже есть отдельный свой сервер для хфт-шников.
Почему не используете отличное родное решение брокерское? Если не секрет. К тому же в отличие от CGate оно бесплатное.