01 января 2021, 22:30
Как работает Machine Learning.
Различных методов Machine Learning очень много, но все они работают примерно одинаково. Это и нейросети, и леса-деревья, и Байесовские классификаторы, и многое другое. Найти и прочитать как ходят-как сдают, как обучают и проверяют правильность обучения — не проблема.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Vlad77, так и думают некоторые особо одаренные при власти, причём искренне недоумевают как пенсионерам на жизнь не хватает если макарошки всего по 50 рубликов можно купить…
Неизвестный инвестор приобрёл 7% акций компании Ренессанс Страхование Неизвестный инвестор приобрёл 7% акций компании Ренессанс. Кто приобрел долю в капитале компания не раскрывает.
Доля до покуп...
19:39
D-Aleksandr, Может и стоит скинуть. Я тоже с плечём. Но не волнуюсь. Дивиденты в июне где то. Какая цена будет, когда их обьявят?) Бумагу явно кто то покупает неплохо, судя по графику. Меня устроит...
🔴
Артур Грос, cbr.ru/press/pr/?file=638675308819327846OBR.htm
Аукционы Минфина — план перевыполнен с помощью новых флоатеров, на аукционе РЕПО заняли 850 млрд рублей
Минфин провёл аукцион ОФЗ, предложив инвесторам два выпуска. При его проведении индекс RGBI н...
19:24
any_to_real, на Севере такие площадки назывались «поле чудес».
По случаю торжественной сдачи м/р в эксплуатацию с Москвы приезжала делегация. Чтобы «не ударить в грязь лицом», на вахтовом поселке...
Эльвира тупо угорает над ВВП
«Полюс» может провести сплит акций На 23 декабря назначено заседание совета директоров, среди вопросов на повестке — о рекомендации внеочередному общему собранию акционеров принять решение о дроблении...
Синие Пингвины объявляют крестовый поход на 222,58
Deep learning (also known as deep structured learning) is part of a broader family of machine learning methods based on artificial neural networks with representation learning.
Machine Learning — сила!!!
Обученная модель покажет, что это не работает, и только.)
И да и нет. Да, гораздо большего эффекта можно добиться играясь с признаковым пространством, чем с выбором моделей и архитектур.
Нет, уровень детализации как в примере со свечным паттерном — это оверкилл. Если я правильно понял, что имеется в виду, для такой задачи ML не нужен! Вот если посмотреть как вообще формируются свечные конструкции, какие исходные признаки участвуют (ну там — цена 1-й свечи больше цены предыдущей, range 2-й свечи меньше, чем range 3-й и т.д., что-то такое), нарубить график на окна и описать каждое в соответствии с признаковым описанием, тогда можно чего-то интересного получить.
В случае с солдатами, скорее всего, МЛ само с ними может справиться и расставить их по значимости. Если за солдатами действительно есть какая-то значимая статистика. Ведь, в нашем случае, мы показываем только солдат, и ничего более.