Мы устали мониторить 50 крипто-каналов одновременно и собрали нейросеть, которая делает это за нас

Вы верно указываете на главную проблему таких систем: связь между новостью и объёмами ещё не означает, что по ней можно что-то предсказать. Новость может объяснять уже произошедшее движение, а рост числа публикаций — быть следствием этого движения. Если не разделить эти ситуации, получится убедительный рассказ о прошлом.

Не раскрывая внутреннюю реализацию HCN AI Analyst, обозначу принципиальное ограничение: само сопоставление «новость → объёмы» нельзя считать доказательством прогнозной силы. И я не хочу подменять такое доказательство общими словами про ИИ. Для него нужны отдельные проверки.

1. Точка отсчёта — момент, когда информация реально стала доступна системе.

Время события, время публикации и время получения новости — разные вещи. В проверке нужно учитывать задержку получения, обработки и формирования сигнала. Если публикация вышла в 12:00, а система смогла обработать её в 12:03, оценивать прогноз с 12:00 уже некорректно.

Это касается и исправленных публикаций, и исторических метрик, которые впоследствии пересчитывались. Проверять нужно на той версии данных, которую система действительно могла видеть в тот момент.

2. Нужно заранее определить, что именно предсказывается.

Будущий объём, волатильность и направление цены — разные задачи. Даже если новость помогает предсказать всплеск торговой активности, из этого не следует, что она помогает заработать на росте или падении BTC/ETH.

Поэтому до проверки должны быть зафиксированы целевая величина, горизонт и критерий успеха. Иначе легко перебрать несколько вариантов и задним числом выбрать тот, где обнаружилась красивая зависимость.

3. Новость должна добавлять информацию к тому, что уже видно на рынке.

Главное сравнение здесь — с моделью, которая уже знает недавнее движение цены, объём и волатильность. Затем проверяется, улучшают ли результат новостные признаки.

Если без новости качество почти такое же, то новостной слой, вероятно, лишь описывает рыночную реакцию. Полезно отдельно смотреть случаи, когда движение началось до публикации, и случаи, когда сигнал появился раньше него. Ваше наблюдение про хайп как раз относится к этому различию.

4. Проверка должна воспроизводить движение времени.

Обучение — на прошлом, выбор настроек — на следующем участке, итоговая оценка — на более поздних данных, которые не использовались при разработке. Затем граница сдвигается, и процесс повторяется.

При этом нельзя допускать, чтобы одна и та же история через перепечатки попадала и в обучение, и в проверку. Нужно учитывать и пересекающиеся временные окна: если целевая величина использует будущий период, он не должен пересекать границу так, чтобы информация о нём проникала в обучение.

Один удачный период недостаточен. Важно, сохраняется ли эффект на разных рыночных режимах и не обеспечивают ли весь результат несколько крупных событий.

5. Проверять нужно и способы получить ложный успех.

Например: сохраняется ли качество, если убрать текст новости и оставить только рыночные признаки? Что происходит при сдвиге времени публикаций? Насколько результат ухудшается при реалистичной задержке? Не исчезает ли эффект после удаления нескольких самых заметных эпизодов?

Такие проверки не заменяют основную оценку, но помогают увидеть, откуда взялся результат. Если заявлен торговый эффект, дополнительно нужны комиссии, проскальзывание и исполнимость. Статистическая связь сама по себе ещё не является торговым преимуществом.

С замечанием про нейросети тоже согласен: две независимые реализации могут подтвердить одну и ту же ошибку постановки. Разный код не обеспечивает независимость проверки, если обе версии используют одинаково некорректные временные метки, целевые переменные или правила подготовки данных.

У языковых моделей есть и дополнительная тонкость: современная модель при разборе старых новостей может знать из обучения, чем закончились описанные события. Поэтому исторический тест с её участием требует особой осторожности. Инструкция «не используй будущее» сама по себе эту проблему не устраняет.

Наиболее убедительное продолжение исторической проверки — заранее зафиксировать систему и записывать её прогнозы на новых данных до наступления результата. Без последующего редактирования сигналов и с заранее выбранными критериями оценки.

Поэтому честная граница для HCN AI Analyst такая: способность структурировать новости и объяснять рыночный контекст нужно оценивать отдельно от способности предсказывать будущие изменения. Первое может быть полезно само по себе. Второе требует самостоятельных доказательств. Пока их нет, называть убедительное объяснение прошлого прогнозом было бы неправильно.