26 августа 2019, 09:00
Data Labeling. Разметка данных для моделей машинного обучения.
Приветствую комерады! :)
Продолжая тему околорыночничества, выпустил я новый ролик. В котором рассмотрел как размечать данные для моделей машинного обучения и как это поможет увечиться количество профитных сделок.
Тема интересна тем, что разметка данных может является частью автоматического пайплайна, для нахождения и тестировния стратегий.
В целом эта первая часть обещенного примера использования Tensorflow Serving. Вторую часть зарелизю на днях. Уж больно много времени занимает создание видео )
Ссылка на репозиторий с кодом: github.com/CloseToAlgoTrading/CodeFromVideo
P.s. Админы, а можно мне как то доступ в раздел алготрайдинг заиметь?
Продолжая тему околорыночничества, выпустил я новый ролик. В котором рассмотрел как размечать данные для моделей машинного обучения и как это поможет увечиться количество профитных сделок.
Тема интересна тем, что разметка данных может является частью автоматического пайплайна, для нахождения и тестировния стратегий.
В целом эта первая часть обещенного примера использования Tensorflow Serving. Вторую часть зарелизю на днях. Уж больно много времени занимает создание видео )
Ссылка на репозиторий с кодом: github.com/CloseToAlgoTrading/CodeFromVideo
P.s. Админы, а можно мне как то доступ в раздел алготрайдинг заиметь?
genubat, У вас будет непроходящая изжога — от всего и много — ЖИРНО, вот она и приходит — до икоты плохой!
— Хотя — лично я не против!
Экспорт металла удушен, экспорт газа придушен, экспорт нефти и спг придушен. Рубль летит в пропасть, разгоняя инфляцию, плюс еще и наши правители сами на импортные товары новарачивают через таможню це...
jin, ну соси хуй пидор че
0:23
Дмитрий Зы, да, договор дома. Звонишь по номеру и нужно назвать номер счета, который есть в приложении, которое не работает. Заходишь в личный кабинет и он тоже не работает) я повторюсь: я не идиот...
Nordstream, да уж… до сих пор аукается всё что он смог… мне больше кадры нравятся где он извиняется… надо их в Ецентре крутить с самого большого экрана 24 часа в сутки…
Мтс дневка на январь 25 г Авто-репост. Читать в блоге >>>
23:36
=)
Авто-репост. Читать в блоге >>>
23:12
Газ полетел в ад
Бил Денбро, ага, индекс прибавил 3% пока все спали)
𝒜ꙅ𝓅𝓊, Ну банальщину постить как-то не хотелось…
«Уж больно много времени занимает создание видео» — а оно надо?!
Показывать тексты и… коды(!) в видео…
Выложу коды на гитхаб в следующий раз!
Хороший тон — предупредить, что ролик на нерусском.
Поблагодарить за конструктивную критику — тоже.
Берите пример с Eugene Logunov как надо топики оформлять.
Люди, которые способны понять смысл Вашего ролика видосы в принципе не смотрят. Потому что передача информации через видеопоток является ужасным способом сказать что-то умное.
Однако, как я уже писал ранее, и возможно сразу отвечу VladMih, создание видео помогает понять как надо делать правильные и доступные презентации различного материала, а так же потренировать тот самый английский. При этом хотелось бы, и что то полезное рассказывать :).
У каждого ж свои цели :) и главное я же ничего не продаю и не рекламирую.
Denis, тренировать английский надо в школе ангийского под присмотром грамотного преподавателя. Их (школ) сейчас много. Можно даже по скайпу с native speaker созваниваться и трепаться про общемировые ценности.
А уровень презентации… Не смотрел. Но если Вам самому понравилось что получилось — поздравляю.
Denis, не-не. Не осуждаю ни разу.
Просто информирую Вас, что если Вы заинтересованы в том, чтобы с Вашим материалом познакомилось максимальное количество читателей (в результате чего Вы сможете получить максимальную обратную связь), то формат голого видео — это выстрел мимо мишени.
Если бы Вы сопроводили видео текстовой расшифровкой хотя бы основных тезисов, возможно, на материал бы обратило внимание больше людей с опытом.
Думаю, в следующий раз так и сделаю.
И не только машинлернинга.
Но ютюб конечно всё стерпит ))
Я просто размечаю данные, уже готовых сигналов, что бы получить вероятность получения прибыли.
Вообще видео должно было быть про тенсорфлоу сервинг, но сразу начинать с готовой модели, мне показалось не очень хорошо. Так и родилась идея в кратце описать подготовительный этап.
зы. а книга у него правда хорошая получилась, много полезных мыслей.
Однако, когда гугл выпустил тенсорфлоу 2. Я прямо порадовался за них. У них там теперь керас встроен, и все как у людей стало. Плюс мне очень нравится их пайплайн для продакшена моделей. Не знаю есть ли в пайторче что то подобное.
Тенсорфлоу и его применение везде и всяк… это такое мое хобби :)
Итак, термин data labeling, который я перевел как разметка данных, использует в области машинного обучения, и грубо говоря обозначает сопоставление входных значений с выходными.
Так как мы используем способ машинного обучения с учителем, суть которого в том, что мы обучаем нашу модель принудительно по принципу дейтвие-реакция. Мы подаем на вход некоторые значения, потом то что получилось на выходе сопоставляем с нашими эталонными значениями, считаем как сильно модель ошиблась (насколько сильно отличается выход системы от эталонного значения), коректируем параметры модели и породолжаем обучение.
Так вот, входные значения обычно называют features, а выходные(эталонные) labels.
Применительно к трейдингу, в видео я попытался показать как можно провести это самое сопоставление входных данных (features), к эталонным значениям (labels).
Что же касается пайплайна (pipeline), то я имел ввиду некоторую автоматическую последовательность действий, которая бы приводила нас от сырых данных на входе, в эту последовательность, к готовым данным, для обучения моделей, на выходе.
Стало ли от этого более понятно :)… не уверен.
зы. Возможно надо подумать о целевой аудитории и действительно существенно расширить материал.
По поводу языка в видео, я все еще думаю, но практика показывает, что англоговорящую аудиторию нарастить проще. И опять же, не стабильно в русскоговорящих странах, вдруг ютуб закроют :)