Блог им. 3Qu

Как работает Machine Learning.

    • 01 января 2021, 22:30
    • |
    • 3Qu
  • Еще
Различных методов Machine Learning очень много, но все они работают примерно одинаково. Это и нейросети, и леса-деревья, и Байесовские классификаторы, и многое другое. Найти и прочитать как ходят-как сдают, как обучают и проверяют правильность обучения — не проблема.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.

Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое  Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
★2
26 комментариев
Сразу видно новичков:) машинленинг и диипленинг разные вещи, а вы в кашу замещали всё:)
avatar
Ivan Gurov, ну, и хорошо.)
avatar
Ivan Gurov, ну назвать их разными вещами, мог тоже человек далёкий от этой темы.)
avatar
Gravizapa, тогда проверка на вшивость в чем различие? 😉
avatar
Ivan Gurov, Одно часть второго. Твоя рука и ты разные вещи?
avatar
Gravizapa, две двойки вам: за поведение и за неправильный ответ, это абсолютно разные подходы не имеющие с друг другом ничего общего
avatar
Ivan Gurov,  хаха нуну. Минусики научился ставить, а в голове пустота.

Deep learning (also known as deep structured learning) is part of a broader family of machine learning methods based on artificial neural networks with representation learning
avatar
Ivan Gurov, постеснялся бы так позориться, столько апломба и такая глупость
Ivan Gurov,  красивые слова, за которыми в реальности стоят лишь самообучающиеся алгоритмы поиска  нелинейной функции регрессии, возможно многомерной. И автор прав — в задачах, где нелинейная функция регрессии не может быть найдена по прошлым испытаниям, применять, что одно, что другое — бессмысленно. 
avatar
Представил трех солдат. Представил, что они могут показать... 
Machine Learning — сила!!!
avatar
bocha, без понятия, так же как и про ворону ничего не знаю.
Обученная модель покажет, что это не работает, и только.)
avatar
bocha, могут показать тройной зигзаг… или двойной.
avatar
Диплернинг тоже вроде неоднороден, несколько метод, по идее при скармливании достаточных данных должен быть не хуже человека, с чистых мд дак точно
Началось с ML, а потом перетекло «мы формулирует гипопезу». И где же тут сила ML?
avatar

И да и нет. Да, гораздо большего эффекта можно добиться играясь с признаковым пространством, чем с выбором моделей и архитектур.

 

Нет, уровень детализации как в примере со свечным паттерном — это оверкилл. Если я правильно понял, что имеется в виду, для такой задачи ML не нужен! Вот если посмотреть как вообще формируются свечные конструкции, какие исходные признаки участвуют (ну там — цена 1-й свечи больше цены предыдущей, range 2-й свечи меньше, чем range 3-й и т.д., что-то такое), нарубить график на окна и описать каждое в соответствии с признаковым описанием, тогда можно чего-то интересного получить.

avatar
Replikant_mih, пространства признаков => фичи => бустинг. Тоже машинное обучение, но поближе к нашим проблемам.
avatar
SergeyJu, Не совсем понял, что имеется в виду), но да — «трейдерские» фичи + бустинг — это работает.
avatar
Replikant_mih, не о свечном анализе речь. Все тоже самое можно делать на индикаторных стратегиях, либо на любых других.
avatar
3Qu, Ну я понимаю. Ты привел пример конкретный пример свечного паттерна и как, почему и зачем к нему нужен ML, а на этом же примере показал как по моему мнению здесь нужен ML.
avatar
Replikant_mih, в сложных случаях, да, может иметь смысл.
В случае с солдатами, скорее всего, МЛ само с ними может справиться и расставить их по значимости. Если за солдатами действительно есть какая-то значимая статистика. Ведь, в нашем случае, мы показываем только солдат, и ничего более.
avatar
3Qu, осталось дать солдату определение? тело > 0.66*(H-L)? или тело > сумма теней?
avatar
ezomm, думаю, с самими солдатами МЛ сама разберётся, если за ними действительно есть что-то реальное.
avatar
3Qu, МЛ придется понять что такое прогресс и регресс.К примеру просто увидеть тело свечи и сравнить с ее размахом уже побуждает новичка к действию.Типа чем больше тело тем тренд сильнее !?.. Но ведь марибоза это явно перекупленность тк тени отсутствуют.
avatar
3Qu, индикатор по свечам будет работать если понимаешь свечной.
avatar
Replikant_mih, верно.
avatar

теги блога 3Qu

....все тэги



UPDONW