01 января 2021, 22:30
Как работает Machine Learning.
Различных методов Machine Learning очень много, но все они работают примерно одинаково. Это и нейросети, и леса-деревья, и Байесовские классификаторы, и многое другое. Найти и прочитать как ходят-как сдают, как обучают и проверяют правильность обучения — не проблема.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
Читайте на SMART-LAB:
Какие активы дают доходность выше индекса 📈
Активные инвесторы ищут на рынке не просто усреднённый процент, а премию — сверхприбыль. Это доходность, которая уверенно обгоняет рост всего рынка. Если средний показатель по акциям +15%,...
08.05.2026
Что говорят аналитики о причинах роста цен на никель
Стоимость никеля на Лондонской бирже металлов достигла максимума почти за два года, поднявшись в начале мая к 19,000 $/тонну , что более чем на 20% выше средней цены 2025 года, подсчитало...
08.05.2026
Очаровали экспертов по кибербезопасности в Малайзии
Друзья, на этой неделе мы провели в Куала-Лумпуре еще один Positive Hack Talks — это ивент для специалистов нашей индустрии, который проходит в разных странах. До этого мы уже были в Индии,...
08.05.2026
Betman-Golveg,
Странно, она тут под другим номером скорее всего. Есть у меня парочка, возможно они даже.
Ну по порядку.
1 купон в 26% это от оставшейся суммы после дюрации. Посмотрите прош...
vaders,
Витя, бери, кто не даёт.
d'queen, чьей?
5:45
Andy80U, Плечи дорогие и такой фигней заниматься не буду. Покупал когда была 21%, продал с огромной прибылью на сохранении, покупал на откате и покупаю даже сейчас, но уже просто в коллекцию. Все и...
Добрый день. Всем здоровья и простого счастья!
Pizengolc, куплю наличной валюты немного
Vislavid, функционировать — не значит иметь свободный кэш для облигационеров.
Свободного кэша у эмитента не хватает даже для базовых обязательств. АСК-Экспорт получает мировое товаром на 140млн р...
petra66, Откройте недельный газпром. Похожая, шикарная с виду картинка накопления. А на последней фазе, он возьми, и уйди под 90. Потом окажется, что и не накопление это было вовсе. Усилие нарисова...
Всех акционеров Ставрополя поздравляю с Днем Победы!
Deep learning (also known as deep structured learning) is part of a broader family of machine learning methods based on artificial neural networks with representation learning.
Machine Learning — сила!!!
Обученная модель покажет, что это не работает, и только.)
И да и нет. Да, гораздо большего эффекта можно добиться играясь с признаковым пространством, чем с выбором моделей и архитектур.
Нет, уровень детализации как в примере со свечным паттерном — это оверкилл. Если я правильно понял, что имеется в виду, для такой задачи ML не нужен! Вот если посмотреть как вообще формируются свечные конструкции, какие исходные признаки участвуют (ну там — цена 1-й свечи больше цены предыдущей, range 2-й свечи меньше, чем range 3-й и т.д., что-то такое), нарубить график на окна и описать каждое в соответствии с признаковым описанием, тогда можно чего-то интересного получить.
В случае с солдатами, скорее всего, МЛ само с ними может справиться и расставить их по значимости. Если за солдатами действительно есть какая-то значимая статистика. Ведь, в нашем случае, мы показываем только солдат, и ничего более.