Список проголосовавших за комментарий "<p>SergeyJu, Сильно конкретнее к сожалению нельзя). С одной стороны — это «ноу-хау», с другой — то, о чем я говорю — это абстракция высокого уровня, мне сначала нужно полностью объяснить мою парадигму и подход и абстракции предыдущих уровней, чтоб описываемая метрика стала понятна — а это долго).</p><p>Дурацкий флоу — сама концепция генерации прогонов с разными параметрами и выбор значений из одного прогона, когда на соседние прогоны мы смотрим только на предмет больше/меньше — т.е. для ранжирования. Подгонка зашита в сам подход). Т.е. что мы делаем: мы зашили подгонку в саму суть подхода, а дальше пытаемся её контролировать затягиванием гаек по типу «убрать нахрен все параметры».<br/> <br/> </p><p><br/> > подбор параметров может уклониться от проклятия ложной тревоги на шуме</p><p> </p><p>Ну, если я в пределах описанного в посте подхода остаюсь, или где-то рядом (т.е. сильно саму парадигму не меняю), нужно смотреть на прогоны шире чем просто лучше-хуже, потому что лучше-хуже имеет несколько групп факторов — случайные и закономерные. Если просто смотреть лучше-хуже, случайные-то поволатильней будут — ты на них и зафитишься (фиттинг на белый шум :) ). Надо фититься на закономерные факторы. Можно просто задаться вопросом/вопросами: если тут есть закономерность в этом факторе и в этом, то как должны/могут выглядеть результаты разных прогонов при таких-то изменениях значения параметра, параметров. Это вектор, по направлению этого вектора можно придумать конкретные флоу, метрики и т.д.)</p><p>Ну а если я вернусь в свою парадигму, то максимум, что я могу сказать: а не надо вообще параметры подбирать).</p>"