01 января 2021, 22:30
Как работает Machine Learning.
Различных методов Machine Learning очень много, но все они работают примерно одинаково. Это и нейросети, и леса-деревья, и Байесовские классификаторы, и многое другое. Найти и прочитать как ходят-как сдают, как обучают и проверяют правильность обучения — не проблема.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Читайте на SMART-LAB:
Газ без магии: ключевые мысли Давида Абельмана с эфира
Давид Абельман, эксперт нефтегазового рынка, поделился своим взглядом на ценообразование природного газа. Его фокус – американский природный газ, европейский газ-бенчмарк и нефть Brent. Абельман...
17.01.2026
Обновление кредитных рейтингов в ВДО и розничных облигациях (АО «Нэппи Клаб» понижен до ruC)
🔴АО «Нэппи Клаб» Эксперт РА понизило рейтинг кредитоспособности до уровня ruC, прогноз по рейтингу развивающийся. По рейтингу установлен статус «под наблюдением», что означает высокую...
17.01.2026
Кремниевый юг России: история переезда и развития OsEngine. Видео
В этом выпуске рассказываем, почему наша компания уже более пяти лет находится в Краснодарском крае, а не в столице или за рубежом. Обсудим, как и зачем мы переехали из Новосибирска в Васюринскую,...
17.01.2026
Стратегия 2026 по рынку акций от Mozgovik Research: трудный год, но, возможно, последний год низких цен
Сегодня у меня первый день официального отпуска. За окном темная звездная ночь, яркая белая луна, +24С и шум волн Андаманского моря. Неудачный перелет и джетлаг приводят к бессоннице, поэтому я...
17.01.2026
Не пора сливать? Не хочется просадки, а то попал уже с Гарант Инвестом, просадки более 60%.
Вадик, верно. Это как прецедент, который могла бы повторить Монополия. Посмотрим, недолго осталось ждать.
9:26
evg_gen +100(100), 13 января 2026, 22:36… Я начинаю Вам завидовать: видимо, у Вас безумно много времени и денег одновременно, что Вы тратите первое так бездарно.
И про 10 тыс. рублей. У меня с...
Дмитрий Ю., в июле…
Интересно:
Говард Хьюз: между небом и заточением.
www.kommersant.ru/doc/8342675?from=glavnoe_3#id3006891
FreeBird, даже 100% делал.
#Политика
Трамп в Truth Social:
Начиная с 1 февраля 2026 года, с таких стран, как Дания, Норвегия, Швеция, Франция, Германия, Великобритания, Нидерланды и Финляндия будет взиматься 10%-ый тариф...
Курок Плотный, Верю. Эти ребятки и белую Европу уничтожают через педерастию и заселение басурманами. Конкуренция за владение миром- ничего личного.
Такер Карлсон: «Очевидно, что существует очень ...
dsm2, А брокер требует $100k на брокерском счёте или док-ты, подтверждающие, что у вас есть $100k? Вроде второе.
Deep learning (also known as deep structured learning) is part of a broader family of machine learning methods based on artificial neural networks with representation learning.
Machine Learning — сила!!!
Обученная модель покажет, что это не работает, и только.)
И да и нет. Да, гораздо большего эффекта можно добиться играясь с признаковым пространством, чем с выбором моделей и архитектур.
Нет, уровень детализации как в примере со свечным паттерном — это оверкилл. Если я правильно понял, что имеется в виду, для такой задачи ML не нужен! Вот если посмотреть как вообще формируются свечные конструкции, какие исходные признаки участвуют (ну там — цена 1-й свечи больше цены предыдущей, range 2-й свечи меньше, чем range 3-й и т.д., что-то такое), нарубить график на окна и описать каждое в соответствии с признаковым описанием, тогда можно чего-то интересного получить.
В случае с солдатами, скорее всего, МЛ само с ними может справиться и расставить их по значимости. Если за солдатами действительно есть какая-то значимая статистика. Ведь, в нашем случае, мы показываем только солдат, и ничего более.