Data Labeling. Разметка данных для моделей машинного обучения.

Приветствую комерады! :)

Продолжая тему околорыночничества, выпустил я новый ролик. В котором рассмотрел как размечать данные для моделей машинного обучения и как это поможет увечиться количество профитных сделок.
Тема интересна тем, что разметка данных может является частью автоматического пайплайна, для нахождения и тестировния стратегий.

В целом эта первая часть обещенного примера использования Tensorflow Serving. Вторую часть зарелизю на днях. Уж больно много времени занимает создание видео )

Ссылка на репозиторий с кодом: github.com/CloseToAlgoTrading/CodeFromVideo

P.s. Админы, а можно мне как то доступ в раздел алготрайдинг заиметь?

алготрейтинг торговля данные machine learning

CloseToAlgotrading

CloseToAlgoTrading

не определен

113

814

с 11 февраля 2016

23 Комментария

VladMih
26 августа 2019, 09:55
Мля, сколько надо ума иметь, чтобы такой материал давать видеороликом, да еще на английском, да еще на таком английском...

«Уж больно много времени занимает создание видео» — а оно надо?!
Показывать тексты и… коды(!) в видео…
0
- CloseToAlgoTrading
  26 августа 2019, 10:41
  VladMih, Интересная мысль, про язык. Есть интересное наблюдение, возможно вы это тоже замечетли, что указание на ужасный английский обычно поступает только от тех у кого первый язык является одинаковым. Иностранцы на этом не сильно акцентируют внимание, а носители языка так вообще игнорируют пытаясь сосредоточится на содержании. Но это наверное больше нейро-лингвистическая тема, а не трейдерская. :)
  
  Выложу коды на гитхаб в следующий раз!
  0
  - Пафос Респектыч
    26 августа 2019, 11:13
    Denis, у тебя и с русским-то не очень, забей пока на английский )
    +1
  - ivanov petya
    26 августа 2019, 16:27
    Denis, без кода вообще не айс))
    0
  - VladMih
    26 августа 2019, 21:07
    Denis, нервнопаралитическая.
    Хороший тон — предупредить, что ролик на нерусском.
    Поблагодарить за конструктивную критику — тоже.
    0
  - CloseToAlgoTrading
    26 августа 2019, 21:31
    Андрей Андреичъ, ivanov petya , ссылку на код добавил… надюсь рабочая )
    0
ch5oh
26 августа 2019, 10:19
Берите пример с Eugene Logunov как надо топики оформлять.
Люди, которые способны понять смысл Вашего ролика видосы в принципе не смотрят. Потому что передача информации через видеопоток является ужасным способом сказать что-то умное.
+3
- CloseToAlgoTrading
  26 августа 2019, 10:31
  ch5oh, Да я в целом с вами согласен, более того, сам предпочитаю читать, нежили смотреть видео, так как можно остановиться и подумать.
  
  Однако, как я уже писал ранее, и возможно сразу отвечу VladMih, создание видео помогает понять как надо делать правильные и доступные презентации различного материала, а так же потренировать тот самый английский. При этом хотелось бы, и что то полезное рассказывать :).
  
  У каждого ж свои цели :) и главное я же ничего не продаю и не рекламирую.
  +3
  - ch5oh
    26 августа 2019, 10:36
    Denis, тренировать английский надо в школе ангийского под присмотром грамотного преподавателя. Их (школ) сейчас много. Можно даже по скайпу с native speaker созваниваться и трепаться про общемировые ценности.
    
    А уровень презентации… Не смотрел. Но если Вам самому понравилось что получилось — поздравляю.
    0
    - CloseToAlgoTrading
      26 августа 2019, 10:48
      ch5oh, Не смотрел, но осуждаю. В любом случае над качеством материала будем работать.
      +1
      - Андрей К
        26 августа 2019, 11:08
        Denis, у нас тут ролики по умолчанию в бан идут сразу и не смотрятся. Поэтому
        Не смотрел, но осуждаю.
        +4
      - ch5oh
        26 августа 2019, 11:47
        Denis, не-не. Не осуждаю ни разу.
        
        Просто информирую Вас, что если Вы заинтересованы в том, чтобы с Вашим материалом познакомилось максимальное количество читателей (в результате чего Вы сможете получить максимальную обратную связь), то формат голого видео — это выстрел мимо мишени.
        
        Если бы Вы сопроводили видео текстовой расшифровкой хотя бы основных тезисов, возможно, на материал бы обратило внимание больше людей с опытом.
        +4
        CloseToAlgoTrading
        26 августа 2019, 11:55
        ch5oh, о! спасибо за конструктивный ответ.
        Думаю, в следующий раз так и сделаю.
        +1
Пафос Респектыч
26 августа 2019, 11:10
Золотое правило машинлернинга — «garbage in, garbage out».
И не только машинлернинга.
Но ютюб конечно всё стерпит ))
+1
Михаил
26 августа 2019, 12:14
Я так понимаю, это пересказ избранных глав из Marcos López de Prado
+1
- CloseToAlgoTrading
  26 августа 2019, 12:23
  Михаил, отчасти. В частности название metalabeling я взял из его книги. Идея не нова, но в книге он хорошо все структурировал и обозвал. В видео не совсем так как он там описывает, но сути дела не меняет.
  Я просто размечаю данные, уже готовых сигналов, что бы получить вероятность получения прибыли.
  
  Вообще видео должно было быть про тенсорфлоу сервинг, но сразу начинать с готовой модели, мне показалось не очень хорошо. Так и родилась идея в кратце описать подготовительный этап.
  
  зы. а книга у него правда хорошая получилась, много полезных мыслей.
  +1
  - Михаил
    26 августа 2019, 12:26
    Denis, а почему TF. По моему 90% последних ресечей имеют реализацию на PyTorch, да и сам PyTorch гораздо быстрее развивается - multihead attention уже внутри библиотеки, а когда он будет в TF добавлен не известно.
    0
    - CloseToAlgoTrading
      26 августа 2019, 12:33
      Михаил, Да наверное просто потому, что я не сильно смотрел в сторону PyTorch, поэтому не знаю насколько он хорош. Плюс тенсорфлоу, как мне кажется более часто встречается в области моей основной работы, а это оочень далеко от торговли :)).
      
      Однако, когда гугл выпустил тенсорфлоу 2. Я прямо порадовался за них. У них там теперь керас встроен, и все как у людей стало. Плюс мне очень нравится их пайплайн для продакшена моделей. Не знаю есть ли в пайторче что то подобное.
      Тенсорфлоу и его применение везде и всяк… это такое мое хобби :)
      +1
Cristopher Robin
26 августа 2019, 14:36
Можно в двух словах, что такое «разметка данных»? Я только про разметку дорожного полотна знаю. Вы, видно, выражаетесь в терминах той науки, которую хотите преподать. И что такое пайплайн? Ваш материал вырван из какого то контекста, не понятно какого. Необходимо его существенно расширить, иначе это треш.
0
- CloseToAlgoTrading
  26 августа 2019, 15:12
  Cristopher Robin, я попробую, хотя мой русский, как тут выше заметили, тоже не ахти )
  Итак, термин data labeling, который я перевел как разметка данных, использует в области машинного обучения, и грубо говоря обозначает сопоставление входных значений с выходными.
  Так как мы используем способ машинного обучения с учителем, суть которого в том, что мы обучаем нашу модель принудительно по принципу дейтвие-реакция. Мы подаем на вход некоторые значения, потом то что получилось на выходе сопоставляем с нашими эталонными значениями, считаем как сильно модель ошиблась (насколько сильно отличается выход системы от эталонного значения), коректируем параметры модели и породолжаем обучение.
  Так вот, входные значения обычно называют features, а выходные(эталонные) labels.
  Применительно к трейдингу, в видео я попытался показать как можно провести это самое сопоставление входных данных (features), к эталонным значениям (labels).
  Что же касается пайплайна (pipeline), то я имел ввиду некоторую автоматическую последовательность действий, которая бы приводила нас от сырых данных на входе, в эту последовательность, к готовым данным, для обучения моделей, на выходе.
  
  Стало ли от этого более понятно :)… не уверен.
  
  зы. Возможно надо подумать о целевой аудитории и действительно существенно расширить материал.
  0
  - Cristopher Robin
    26 августа 2019, 15:33
    Denis, теперь я понял, что речь идет о каком-то конкретном методе, что-то очень-очень прикладное. Настолько прикладное, что скорее всего не представляет никакой ценности.
    0
ANTI_Finsov
26 августа 2019, 22:24
Денис, лучше пели видео на русском, значительно расширешь аудиторию, да и своих надо уважать. А так таких смартлабовцев как ты здесь не хватает.Ты доносишь практический контент, а не рассуждаешь на тупую тему направления рынка.
0
- CloseToAlgoTrading
  26 августа 2019, 23:38
  ANTI_Finsov, Спасибо на добром слове :). Я всегда честно добавляю субтитры на русском.
  По поводу языка в видео, я все еще думаю, но практика показывает, что англоговорящую аудиторию нарастить проще. И опять же, не стабильно в русскоговорящих странах, вдруг ютуб закроют :)
  0