01 января 2021, 22:30
Как работает Machine Learning.
Различных методов Machine Learning очень много, но все они работают примерно одинаково. Это и нейросети, и леса-деревья, и Байесовские классификаторы, и многое другое. Найти и прочитать как ходят-как сдают, как обучают и проверяют правильность обучения — не проблема.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Но пользователи часто забывают одно правило: мусор на входе — мусор на выходе. Для обучения недостаточно сделать обучающую последовательность с правильными ответами — результатом будут хорошие результаты на обучающей последовательности, и никакие на реальных данных.
Таким образом, мы должны четко себе представлять, чему именно мы учим, и это вовсе не правильные ответы, а правильные ответы на правильные вопросы. Если не хотите получать дурацкие ответы — не задавайте дурацкие вопросы.
Т.е., для обучения МЛ нам нужно сформулировать адекватные вопросы и ответы на них. Только в этом случае метод МЛ реально обучится и будет реально работать не только на обучающейся последовательности.
Вопрос ещё в том, что обычно мы не знаем и правильных вопросов.
Но это дело поправимое Мы формируем какую либо гипотезу, например — три солдата показывают нам то-то и то-то. Мы как-то ищем этих трёх солдат на истории, там же находим ответы на них, обучаем на этом метод МЛ, проверяем на независимом отрезке истории, и выясняем — действительно ли эти 3 солдаты так важны для нашей торговли, или ну их на фиг.
Понятно, что и при обучении и на реале нам надо задавать МЛ только значимые вопросы, а именно, показывать МЛ не все данные подряд, а только наших трёх солдат.
Ну, а если солдаты воевать не желают, проверяем значимость вороны на шесте.) И так, пока действительно не найдем что-то стоящее.
Читайте на SMART-LAB:
💡 ГК «Мать и дитя»: тренд на долгосрочный рост
🔹 Группа компаний «Мать и дитя» — качественная идея в несырьевом секторе российского рынка. По мнению начальника управления торговых операций ВТБ Мои Инвестиции Сергея Селютина , инвестиционная...
03.04.2026
Итоги 2020–2025: Эдуард Христианов о том, как РосДорБанк выполнил стратегию и удвоил амбиции
Интервью с Первым заместителем Председателя Правления РосДорБанка Эдуардом Христиановым Старший Вице-президент РосДорБанка Ирина Пыхтина: Эдуард, за последние шесть лет банк прошел...
02.04.2026
Ипотека без опасности
Секьюритизация ипотечных кредитов – один из ключевых бизнесов ДОМ.PФ
За последнее десятилетие объём выпусков ипотечных облигаций при нашем участии превысил 3,6 трлн рублей.
Как это...
02.04.2026
Алексей Неважно, сливайте в понедельник все что есть! Я буду ждать вас на полочке! 😉
Долг ФСК Россети за год увеличился на 61,80% до 829,68 млрд. руб.за 26 вырастет ещё больше
genubat, потребительское кредитование я бы вообще запретил по аналогии как недавно сделали где-то с сигаретами. Условно, запрет на выдачу в рост денег под потребительские покупки всем, кто родился ...
Dobryak, по-моему, это хорошая идея.
Из принципа гасить не буду
FreeBird, вот скрипт попробуй может подойдет ru.files.fm/u/teaqjvuss8 Если надо процентное изменение на истории в статус лайн добавь в код
=== Отображение отклонения в статусной строке ===
...
Сокол, зря вы так. барбадос еще ни разу чешуйню не писал.
Вика Савельева, да именно так все и есть)и если раньше казалось что акция с 80 руб всетаки вырваться за 100 и пойдёт выше сейчас большие сомнения.хотя могут конечно выжать всех собрать акцию в свои...
MTProto помогает мужественным иранцам Паша и Коля Дуровы — красавцы. Придумали способ обеспечения устойчивости работы Telegram во время вероломного нападения Израиля и США на Иран.
Дело было в Те...
22:35
OBOROT, а много у Вас акций?
Deep learning (also known as deep structured learning) is part of a broader family of machine learning methods based on artificial neural networks with representation learning.
Machine Learning — сила!!!
Обученная модель покажет, что это не работает, и только.)
И да и нет. Да, гораздо большего эффекта можно добиться играясь с признаковым пространством, чем с выбором моделей и архитектур.
Нет, уровень детализации как в примере со свечным паттерном — это оверкилл. Если я правильно понял, что имеется в виду, для такой задачи ML не нужен! Вот если посмотреть как вообще формируются свечные конструкции, какие исходные признаки участвуют (ну там — цена 1-й свечи больше цены предыдущей, range 2-й свечи меньше, чем range 3-й и т.д., что-то такое), нарубить график на окна и описать каждое в соответствии с признаковым описанием, тогда можно чего-то интересного получить.
В случае с солдатами, скорее всего, МЛ само с ними может справиться и расставить их по значимости. Если за солдатами действительно есть какая-то значимая статистика. Ведь, в нашем случае, мы показываем только солдат, и ничего более.