Блог им. ra81

Финам превращается в кухню?

По просьбе алготрейдера, а так же товарища по несчастью, Александра выкладываю все нижеследующее. Так же параллельно все изложенопо этой ссылке на форуме TSLab
 Уже несколько месяцев борюсь с багами Финама и Транзака. Все было им написано, расписано, данные были переданы. Да, они немного сделали и ликвидировали потерю тиков, почти. Ранее была потеря в тысячи штук, сейчас редко доходит до 100. Все остальные проблемы пока не решены. Дублирование, левые номера сделок и так далее. При всем при этом разработчики этого добра похоже сами и не пробуют тестировать свой софт. Авось прокатит и никто не заметит баги, если они есть.  Но не вышло. Так как алгоритмы используемые мной активно используют тиковые данные, стал замечать что сигналы расходятся на двух машинах. Эти компы стоят в соседних комнатах. Было весьма странно. Начали копать данный вопрос. Подключил RA81 и он помог мне разрыть проблему и показать как мой брокер меня разводит. Поскольку требовать исправлений устал, решил выносить сор из избы. Возможно так проблему заметят и решат быстрее.

 Для анализа тиковых проблем использовался софт по конвертации бин файлов ТСЛаб в текстовики. Дальше самописная программа сравнивала текстовые файлы и получался результат. Сравнивались данные между двумя компами, и потом они же сравнивались в файлом биржи. Биржевые данные брались с фтп сервера биржи.Были, так же, проверены брокеры АЛОР и ПЛАЗА. Там все чисто и совпадает полностью с биржей (время для алора и плазы не проверялось на совпадение с биржевым).Проверяемый инструмент RIZ4.

Список обнаруженных проблем:

  1. Расхождения в данных между двумя машинами
  2. Потеря тиков
  3. Дублирование тиков
  4. Кривое время и номер сделки
  5. В номера сделок RIZ попадают сделки от Лукойла.
  6. Время отлично от биржевого.

Если нет желания ломать глаза над испорченными картинками (которые смартлаб превращает в нечитаемые) и кривым форматированием, можно все это прочитать в другом месте с хорошим качеством

Расхождения в данных между двумя машинами

Если два компа стоят в одной комнате то результаты полученные от транзака могут быть совершенно разными. Вот пример за 11.11.2014 с двух машин в одной комнате. Как видим разница в числе строк достаточно велика (смотреть последнюю строчку).Финам превращается в кухню?
При этом ниже будет показано что на одной машине много дублей (повторения данных), а на другой их нет. При этом число потерянных(есть в биржевых данных но транзак их не прислал) тиков тоже различается на обоих машинах.

Потеря тиков

Суть проблемы в том что часть тиков теряется и не доходит до клиента. Проверялось на нескольких машинах. Сравнивалось все с текстовиком полученным с фтп биржи РТС. Число потерь для Ri доходило до нескольких тысяч. В среднем от 100 до 1000 тиков. После некоторых фиксов со стороны финама стало лучше, но не устранили до конца.

Потеря тиков было проверена по логам транзак коннектора и подтсверждается то, что тики реально не приходили и ТСЛаб их не мог потерять.
Бывает что потеря только одной сделкиФинам превращается в кухню?

Еще отличия от биржевой информации имеются.Финам превращается в кухню?
Сравнение тиков производится по трем параметрам: номер сделки, цена и объем. Если все 3 совпали, тогда сделки считаются идентичными. Время не используется, так как с миллисекундами у транзака были проблемы, как увидим ниже.
Лишних продублированных тиков целых 628.
Были потеряны:Id:970581134; Price:103450; Volume:1; Date:2014-11-11 10:00:00.000Id:970828687; Price:103150; Volume:1; Date:2014-11-11 12:06:37.007Id:970936123; Price:102920; Volume:1; Date:2014-11-11 13:08:33.137Id:970938231; Price:102970; Volume:1; Date:2014-11-11 13:09:02.060
За этот же день за 11 ноября 2014 года с другой машины стоящей в той же комнате результат следующий:Финам превращается в кухню?
Потеряны тики:Id:970581134; Price:103450; Volume:1; Date:2014-11-11 10:00:00.000Id:970713564; Price:103720; Volume:1; Date:2014-11-11 11:02:29.857Id:970736109; Price:103840; Volume:1; Date:2014-11-11 11:11:21.443Id:970829358; Price:103180; Volume:4; Date:2014-11-11 12:07:01.583Id:970852703; Price:102990; Volume:1; Date:2014-11-11 12:15:59.397Id:971104243; Price:103170; Volume:1; Date:2014-11-11 14:51:26.823Id:971155754; Price:102330; Volume:1; Date:2014-11-11 15:24:38.530Id:971165279; Price:101980; Volume:10; Date:2014-11-11 15:26:55.640Id:971265256; Price:102480; Volume:2; Date:2014-11-11 16:11:33.717Id:971481847; Price:102430; Volume:3; Date:2014-11-11 17:51:26.330

Дублирование тиков

Часть сделок повторяется в файле тиков. Проверка производилась по номерам, цене и объему сделок и было обнаружено что некоторые номера повторяются. Число дублей было меньше чем число потерь, но всегда идет вместе с потерями.Финам превращается в кухню?
Как видим ниже слева, появилась пачка тиков которые в прошлом уже были и их время и номера говорят о том что они явно не вписываются в текущем месте. Это как раз и есть дубль тики.Финам превращается в кухню?Слава богу ТСЛаб отрабатывает дубли нормально и в выдаче пользователю их убирает. Сохраняет все как шлет финам, но потом лишнее ликвидирует. Поэтому данный трабл не сказывается на торговле.

Кривое время и номер сделки

Проблема имеет смешанный характер. Если сравнить два источника с разных компов, то видим что попадаются места где часть параметров тика не совпадает с параметрами другой машины. Пример на картинкеФинам превращается в кухню?Видно что порядоковый номер тика совпадает, НО время тика справа неожиданно большое и не вписывается. При этом миллисекунды совпадают а вот секунды нет. При этом так же отличается номер сделки. Все остальные параметры совпадают. Значит проблема в кривых данных по времени и номеру сделки.
Так же попадаются варианты где кривой ТОЛЬКО номер сделки, а время при этом нормальное.Финам превращается в кухню?

В номера сделок RIZ попадают сделки от Лукойла.

У нас есть проблемный тик. Он тупо не вписался в порядок. Имеет номер и время выбивающееся из общей массы.
Финам превращается в кухню?
Проверяем через тупой скрипт тслаба результат для проблемного тика
Финам превращается в кухню?
Как видим время и номер совпадают. То есть в бинарнике тслаба ТОЧНО записано такое же время какое записано в текстовике, который получили из бинарника. Конвертер бинарных файлов не тупит и работает верно.
Если вытащим из тслаба предыдущий тик и последующий, дабы проверить правильный ли порядок тиков нам дает ТСЛаб, а то может быть он их тоже неверно нам выдает?
Финам превращается в кухню?
Ниже из лога транзака видим что тик  970713563 есть (сей тик расположен в бинарном файле аккурат перед 638), и время его совпадает. То есть ТСЛаб честно попытался отсортировать то барахло что нам прислал транзак и выдает пользователю уже в отсортированном виде! Порядок выдачи ВЕРНЫЙ.
Посмотрим теперь в логи от транзаковского коннектора Финама. Как известно коннектор полностью отвечает за передачу данных, и даже Ведет свой лог файл. ТСлаб тут не имеет отношения.Видим сначала 563 тик.
Финам превращается в кухню?
Далее видим даже по времени получения инфы что пришел 638 тик. Между 563 и 638 НЕ было никаких данных. Время тоже видим совпадает с временем из бинарного файла на картинке выше.
Финам превращается в кухню?
Таким образом ТСЛаб честно записал все то, что пришло от Транзака в том же совершенно порядке. Все сохранил в бинарник.
Далее смотри файл с фтп биржи со сделками за этот день и что видим???Финам превращается в кухню?
638 сделка вообще не по RIZ4 а по LKZ4 прошла. То есть совсем по другому инструменту. При этом так же видим что предыдущая от 638 по RIZ4 была 632 сделка, а последующей была 659. То есть ТСЛаб нам сделки, выше на картинке, выводил правильно! В правильном порядке, в том в котором сделки совершались на бирже. Только вот 638 сделка была по другому инструменту и ВРЕМЯ у нее другое для Лукойла судя по файлу биржи. Но ТСлаб об этом знать не мог.
При этом наблюдаем что на другой машине как раз сделка пришла правильная и номер ее попадает в общий порядокФинам превращается в кухню?
Так что еще раз видим отличие получаемых данных на одной машине и на другой. Что очень здорово.

Время сделки отлично от биржевого.

Посмотрим на сделки возле выделенной. Одну сверху и одну снизу. Это взято из файла тслаба. То есть это то что нам прислал Транзак. В том же порядке.Финам превращается в кухню?
Теперь эти же сделки но уже в файле от биржи. ВРЕМЯ НЕ СОВПАДАЕТ! Так же смотрим другие сделки ниже по тексту. Тоже самое. Время отличается.Финам превращается в кухню?
Финам не может транслировать время сделки без искажения? Что еще он искажает?
Для доп проверки взял случайную сделку. Сравниваю информацию из бинарников ТСлаба и файл биржиФинам превращается в кухню?
Как видим время отличается. Лезу в лог Транзака чтобы проверить какое пришло время сделки
Финам превращается в кухню?
То есть финам прислал именно то время которое в бинарниках ТСлаба, НО оно отлично от времени биржи.
★14
Фига се выкрутасы
avatar

Cheshirscy

раскрыть комментарий
Русанов Андрей, ну вот снова :). уже сто раз написано, звонено. Почему вы считаете что остальные люди глупее?
avatar

ra81

Русанов Андрей, автор пояснил, что общение с поддержкой результата не принесло. Написал в самом начале. Вы вообще читали топик?
avatar

Rodin Good

+4 Интересно было почитать… как клиенту Финама ))))
avatar

Borrris

Borrris, я тож клиент финама и замечал странные вещи после клиринга, не входил в сделку на открытии свечи часовой (а я замечал через час — два), писал в тслаб ничего толком не сказали, но у меня тф М60 поэтому не сильно обижен хотя 2 раза сделки были пропущены за 5 месяцев
матрица какая то
avatar

Жиробас

Он же написал, что это после поддержки. Поддержка не смогла помочь решить проблему.
А я хотел туда бабки кинуть, спс, предупредили)
avatar

ololosha

Стоило бы номер сервера указать, на котором это творится.
Лёха, просто Лёха, А у транзака только один основной сервер. Если вы его пользуете то значит знаете :)
avatar

ra81

«Епатьколотить» — у кого я пытаюсь отобрать деньги ....-)
avatar

RTS_TRADER

Я тоже свалил оттуда когда стопы на 12 тиков больше стало выбивать.
avatar

Randy

Parabellum, так то проскальзывания есть у всех.
avatar

Absourd

Absourd, не на 120 пунктов же по RI, тем более не во время импульса или удара по рынку, после них перешел в Сбер, как бабка отшиптала.
avatar

Randy

Parabellum, утренний геп это тоже проскальзывание, так вот он не то что на 120п, на 5к может Вас укатить. Когда вы выставляете стоп приказ не факт, что когда он сработает и выставиться Ваша заявка, что будет встречная заявка по этой же цене, естественно он будет искать встречную заявку по более невыгодной для Вас цене (это есть в договоре биржи), а брокер тут не при чем, когда на биржи нету контрагента. такие ситуации как раз на резких больших движениях.
avatar

Absourd

спасибо, что поделился!
avatar

Женя Бардо

Интересное кино. Есть тиковые данные из Квиков 3х брокеров, Финам — один из них. Надо посмотреть.
avatar

Aleksey Smirnoff

Aleksey Smirnoff, возможно там все чисто и проблема касается только транзаковского сервера. сказать не могу.
avatar

ra81

По моему кухни по другому характеризуются. это просто узконапраленная проблема видимо, а штат разрабов никудышный.
avatar

Absourd

Переходите в Финаме на КВИК. Финам не даром не любит предоставлять КВИК новичкам. Транзаг приятная платформа. но на неликвидах работала с запаздыванием, это сама прочувствовала в 2006 году.
совсем оборзели уже
avatar

Medved.US

Открытие и АйТи-Инвест еще бы проверить…
avatar

Матвеич

xm8, Не знаю за Открытие но Айти-Инвест любят в п*пу баловатся, парой сидишь в позе и сервак как вырубит на минут 40, вот это пипец.
avatar

Randy

Одна их контора Ху Трейдс зарегистрированная на Кипре чего стоит, с предоставлением торгов на МБ.
avatar

Randy

в квике бывает ставишь заявку немного выше или ниже цены в стакане и сделка происходит именно по цене заявки.а не по цене в стакане, которая была более благоприятна-такого не должно случаться, видно действительно финам кухней занялся
avatar

Сумрак

sumrak, так не надо гадать, если есть факт нарушения, все доказы есть, разбирайтесь, доводите дело до конца. Что толку тут сидеть о***тельные истории рассказывать=). Пару постов с полными расследованиями их махинаций будут очень продуктивны для них самих и их клиентов.
avatar

Absourd

sumrak,

да, тоже столкнулась.
Клиентская поддержка объяснила это с детской непосредственностью в голосе, что при выставлении заявки она срабатывает сразу, потому что берется рыночная цена покупки (продажи). Я не нашлась что ответить от такой наглости
avatar

san_diego

Тиковые данные, которые ФИНАМ выкладывает на сайте — тоже неправильные.
avatar

Marco

может они там UDP используют, и где-то что-то ломается из-за того что вы сидите за одним и тем же роутером?
в любом случае здесь это выкладывать бесполезно — обращайтесь в поддержку и меняйте брокера..
avatar

ПBМ

Павел Bosco М, если там UDP, то терялось бы просто и все. Откуда тогда различия в одной и той же сделки между двумя машинами? Тем более что там не UDP.

Пост лишь средство обратить ВНИМАНИЕ БОЛЬШИХ дядь на проблемы МАЛЕНЬКИХ алготрейдеров. Не более того. Стандартные методы не помогли. Возможно так.
avatar

ra81

Автору спасибо за анализ.
avatar

Bull

а в чем смысл так бодаться и держаться за финам.

Какая такая мегафишка есть у финама, что бы быть с ними.

После их выкидонов с изменением комиссии задним числом и втихаря в 2009 году с ними ни один приличный человек не должен иметь дел.

А тут такие косяки, а от них — ноль на массу.
avatar

gib

gib, Наибольший трабл у Александра. Другие брокера только в другом городе. Сами понимаете что туда ездить в случае чего проблематично и долго.
avatar

ra81

ra81, нет, не понимаю.

В случае чего? Какие варианты? Для чего ездить? Я этой географической привязки вообще не понимаю.

У меня брокер — американский, в США сидят. И что теперь? Повеситься и не торговать через них?

Блин, вроде бы в 21 веке живем, а критерии отбора — 18 век:
«Мне до уездного города 25 верст на бричке трястись.
Открою ка я лучше в деревне под боком».
avatar

gib

gib, если прижало то есть смысл. Иначе нет. в случае чего вам придется бежать с документами чтобы что то сделать, а если ехать 5 часов на машине летом, а зимой все 7 то что? Полетите на ковре самолете?
Конечно вопрос требует решения, тут вы правы.
avatar

ra81

ra81, интересно сколько суммарно вы вдвоем потратили времени на эти исследования? на пререкания с финамом и все остальное?

Думаю не на одну поездку .:-)

Ищите брокера, с которым все можно решить удаленно. Думаю в России такие есть.
avatar

gib

gib, на самом деле это все весьма быстро делается. Провести анализ за 1 день и закинуть в гуглдоку заняло часа 3-4 не больше. Тем более что софт уже готов был и нужно только было только логи изучать.

Не все вопросы решаются удаленно. К сожалению. Поэтому вот пока есть проблемы с этим. Если будет везде цифровая подпись тогда думаю как то можно будет.
avatar

ra81

ra81, ну смотрите — ваше дело и ваше время.
avatar

gib

gib,

А Вам амеры все удаленно открыли? Тоже хочу бежать из финама, но пока не определилась куда

ра81, не хотите менять- оставайтесь. Или вы думаете, что статья на смарталбе прошибет руководство финама до холодного пота?)
avatar

san_diego

san_diego, ну конечно удаленно, а как с ними иначе?
avatar

gib

san_diego, Вопрос не только в том чтобы кого-то прошибло. Если люди начнут за свои бабки требовать сервис, тогда возможно что-то будет меняться. если все будут молчать, ничего делаться не будет.

Вот попытка потребовать немного сервиса :)
avatar

ra81

ra81,

зависит от вашего желания требовать.
У меня его ноль- мир полон других брокеров.
Благодаря неравнодушным однофорумчанам они находятся легко и быстро)
Чего и вам желаю)
avatar

san_diego

У финама баги, а спекулянты страдают.
Считаю что несколько неразумно ждать точной трансляции такого рода информации от этого софта. Очевидно что ошибки в реализации терминала или процедуре трансляции данных. Выходов несколько:
1. продолжать биться об эту стену
2. перейти на плазу
Если вы торгуете на тиках и вам нужны точные данные, то вариант только один и любая дополнительная прокладка будет только создавать доп. проблемы.

Ждать что большие дяди решат ваши проблемы — это перекладывание ответственности на чужие плечи. Да, софт глючный, да, лениво все переписывать под новую платформу, но нужно засучить рукава и просто сделать это.
avatar

Redline

Redline, сложно спорить, Но есть проверенные брокеры которые дают все правильно. Одна беда в другом городе и туда нужно ехать, я выше написал. У меня финам тоже сбежал в другой городе но для меня не так критично. Правда один раз уже пришлось срочно ехать за тридевять земель чтобы ключ активировать.
avatar

ra81

Redline, согласен. В РФ просто нет быстрого и точного сервиса данных. А нет его, тк квалификация трейдеров ниже плинтуса. Им без разницы на что пялиться. :)
avatar

crazyFakir

Ринат Негметов,
думаю что такого сервиса нет, потому что MOEX не позволяет бесплатно транслировать биржевые данные кроме как в торговые терминалы. У MOEX копирайт на каждый тик.
Насчет квалификации трейдеров вообще не согласен. Мои наблюдения показывают что только на CЛ очень много очень умных и очень квалифицированных системных трейдеров. Но, по понятным причинам, они большую часть времени пребывают в режиме readonly. Но они все здесь. Да, да. Прямо здесь и сейчас :)
avatar

Redline

Остается только позавидовать Вашей усидчивости!!!
«Бывает что потеря только одной сделки»
У Вас в том примере не пропуск тика в правом, а дублирование тика в левом, судя по IDtraid и по сравнению с моей БД из Квика.
В указанных местах квико-финамовские данные соответствуют квико-нефинамовским.
Походу это косяк Транзака, про кухню — это перебор, ИМХО.
avatar

Aleksey Smirnoff

Aleksey Smirnoff, да точно. Не та картинка попала.
avatar

ra81

Просто не хватает прибыли чтобы Герчику зарплату платить — вот и решили подзаработать)
avatar

SMT

Все верно. Финам реально на транзаке глючит. и это сказывается на торговле не в лучшую сторону. Пока на нем сижу, но чаша терпения вот вот переполнится
avatar

seashaman

После дневного клиринга в таблице сделок откуда-то взялась минусовая сумма, небольшая, но тем не менее.
Техподдержка финама отказывается комментировать, отсылая меня к «корректному просмотру портфеля».
А вы тут с тиками!
Финам кидалово.
avatar

san_diego

san_diego, Кстати, у Александра как раз сейчас дневная выручка куда то делась тоже :))). Как раз после клиринга :))). Ответ финама похоже :)
avatar

ra81

ra81,

нет слов(
avatar

san_diego

кухня ещё та, когда начинаешь зарабатывать и выводить расширяют спрэд, причем так невзначай.
avatar

Константин

Константин, ну это видимо форекс.
avatar

ra81

Руки прочь от святого Финама! Их же Герчик протежирует!
avatar

Denis Shteinberg

автор, а счет у вас какой? в финаме. rrm или mma?
avatar

GreenBear

GreenBear, обычный счет на фортс
avatar

ra81

ra81, тогда это очень грустный пост.
кухня на кухне и кухней погоняет…
avatar

GreenBear

GreenBear, ну да. немного грустно. маркет дату искажают ребята.
avatar

ra81

Спасибо за ftp)
avatar

Чарльз Маккей

Можно уже написать, что после скандала ситуация исправилась. Косяки другого рода бывают, но не таким потоком как в то время когда пост писался. Аминь.
Так что скандалы помогают дать пинка иногда тем кто не хочет ничего делать.
avatar

ra81


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
UPDONW