Почему нейросети СПОСОБНЫ находить стационарные корреляции и за ними будущее

Почему нейросети СПОСОБНЫ находить стационарные корреляции (и даже больше):

1. Что такое корреляция? В самом базовом смысле, корреляция — это статистическая взаимосвязь между переменными. Нейросеть по своей сути — это универсальный аппроксиматор, который обучается находить сложные, нелинейные зависимости между входными данными и целевой переменной. Это и есть поиск корреляций, в том числе и стационарных (то есть устойчивых во времени, при условии стационарности данных).

2. Прямые примеры:
* Распознавание изображений: Корреляция между пикселями, образующими контур кошки, и меткой «кошка» — это стационарная корреляция. Она не меняется случайным образом от дня ко дню. Нейросети находят эти паттерны блестяще.
* Прогнозирование временных рядов: Для прогноза стоимости акции на завтра модель ищет корреляции между прошлыми ценами, объемами торгов и другими индикаторами. Если эти зависимости стабильны (стационарны), модель успешно их улавливает.
* Машинный перевод: Корреляция между структурой предложения на одном языке и структурой на другом — это сложный, но в целом стабильный паттерн, который нейросети научились отлично выявлять.

Нейросети не просто способны находить стационарные корреляции — они являются одним из самых мощных инструментов для этого.

Проблема не в способности нейросети *находить* корреляции, а в том, какие именно корреляции она находит и как их интерпретирует.

1. Проблема «хрупких» или «неустойчивых» корреляций: Нейросеть, особенно очень глубокая и мощная, стремится минимизировать ошибку на обучающих данных любой ценой. Она будет использовать любую, даже самую незначительную и случайную корреляцию в данных, если это поможет улучшить результат. Например, если во всех обучающих фотографиях кошек на стене висели часы, сеть может начать использовать часы как признак «кошачести». Это не стационарная корреляция в реальном мире, и на новых данных (фото кошек без часов) модель даст сбой.
2. Iлавный камень преткновения:
Корреляция — это просто наблюдение: «когда A, то и B».
Причинно-следственная связь — это утверждение: «A является причиной B».

Нейросети по умолчанию не различают эти понятия. Они видят только корреляции. Например, модель может обнаружить сильную корреляцию между продажей мороженого и количеством утоплений. Но она не поймет, что настоящая причина — жаркая погода (общая причина для A и B). Нейросеть не строит причинно-следственные модели, если это явно не заложено в ее архитектуру (например, с помощью причинных графов).

3. Проблема обобщения. Способность модели хорошо работать на новых, неизвестных данных — это и есть проверка на то, уловила ли она по-настоящему стабильные, стационарные закономерности, а не просто выучила шум. Если ваши данные нестационарны (закономерности со временем меняются), то и модель, обученная на них, будет находить нестационарные корреляции.

Нейросети — мощный инструмент для поиска сложных корреляций, включая стационарные. А насколько ваша нейросеть способна находить  стационарные корреляции и зарабатывать покажет форвард-тест.