Копипаст | Как Big Data меняют современные финансы

Несколько лет назад Big Data буквально ворвались в современный технологический словарь
и начали менять методы и подходы, которыми раньше пользовались организации как в сфере
промышленного производства, так и в секторе услуг.

 Современники, наблюдающие за революцией в сфере информационных технологий, по-разному относятся к Big Data.

Одни рассматривают дискуссии и рост интереса к большим данных как очередной ажиотаж на пустом месте или нечто похожее на бурную суету вокруг доткомов в конце 1990-х годов.

Другие видят в больших данных потенциальные возможности, с помощью которых можно многого добиться в будущем. Что же касается бизнеса, вовлеченного в конкуренцию на основе новых технологий, то он видит в Big Data скорее что-то вроде привода, который поможет решить специфические проблемы.

Речь идет прежде всего о бизнес-аналитике, позволяющей принимать адекватные решения и всегда оставаться в числе лидеров рынка.

Большие данные проникли в самые различные отрасли современной экономики: финансовые услуги, маркетинг, фармацевтику и здравоохранение, технологические секторы, интернет-экономику и другие области.

Любопытно, что, согласно ряду исследований 2014 года, примерно 89% компаний уверены, что без использования новых подходов в бизнес-аналитике и новой стратегии, учитывающей фактор Big Data, повышется риск потери своей доли на рынке и снижение конкурентоспособсности.



Инвестиции компаний в технологии Big Data. 

Слева диаграмма показывает текущий уровень инвестиций.
Справа прогнозы будущих инвестиций.

Источник:Forbes

Если посмотреть на ситуацию во всех отраслях, то можно заметить, что сектор финансовых услуг был в числе первопроходцев в области применения технологий Big Data.

В этом плане конкуренцию ему могут составить только ИТ-компании.
Ключевым направлением в финансовом секторе, где были задействованы большие данные,
стала разработка и принятие инвестиционных решений.

Внедрение бизнес-аналитики на основе больших данных должно было привести к большей
и детализированной информированности и росту доходности от инвестиций.

Однако были и остаются негативные стороны использования новых технологий финансистами.

Речь идет о так называемой алгоритмической (высокочастотной) торговле на фондовых рынках.

Для получения высоких прибылей спекулянты применяют компьютерные модели, обрабатывашие огромный массив данных.

Но так было всегда в истории, что новые технологии применялись не только в благих целях.

В любом случае, проникновение больших данных меняет ситуацию в финансовом секторе и наряду
с несомненными позитивными результатами несет в себе значительный вызов для участников рынка финансовых услуг. 

<strong>//Большие данные с точки зрения финансистов
</strong>
Взгляд на Big Data, как показывает практика, может совпадать в некоем общем понимании этого термина, 
но значительно отличаться, если речь идет о практике использования в различных отраслях. 
В этом смысле, чтобы раскрыть особенности применения Big Data в финансовом секторе, 
хорошо бы для начала уяснить то, как сами финансисты понимают Big Data и как видят связанные с этим перспективы. 
Компания Capco проводила исследование, которое показало, что финансисты рассматривают 
Big Data в первую очередь как актив.

Под этим понимамется разумный и прагаматичный подход при формировании 
и реализации стратегии в области управления данными. 
Но под этой простой, на первый взгляд, формулировкой скрывается нечто большее. 

Исследования показали, что среди финансовых организаций нет единого подхода к большим данным.
Напротив, можно выделить, условно говоря, четыре широких подхода: 

Четыре подхода в финансовом секторе к Big Data.
Источник:www.capco.com

Исходя из полученных данных опроса, можно обрисовать основные области применения больших данных:

1. Поскольку большие данные широко применяются в аналитике, то они будут способствовать принятию более качественных решений.
2. Хотя большие данные применимы далеко не везде, однако в подходящих ситуациях они способны повлиять на развитие новой бизнес-стратегии в области управления данными или могут помочь усовершенствовать существующую стратегию.
3. Новые технологии Big Data способны снизить расходы на поддержание цепочек поступления и обработки данных.
4. Снижение издержек за счет использования новых технологий больших данных будет способствовать повышению конкурентных преимуществ финансовых организаций.

На самом деле, вышеперечисленное можно в полной мере отнести почти к любой организации.
А некоторые утверждения носят спорный характер.

Например, первое о перспективе более качественных решений.
Применение технологий больших данных не гарантирует этого.
Некоторые примеры уже приводились в одной из наших статей. 
При этом речь может идти не только о решениях менеджмента вообще, но и об инвестиционных решениях в частности.
И пример алгоритмического трейдинга здесь будет не лишним. 

<strong>Алгоритмический трейдинг: светлые и темные стороны</strong>

То же самое касается страховых и пенсионных компаний.

Информация не только определяет инвестиционные решения, но и может стать решающей при оценке риска.

Алгоритмический трединг vs Традиционный трейдинг


 

Бесспорно, современные финансовые рынки становятся всё более сложными, поэтому рост
спроса на людей с образованием в области математики и информационных технологий вполне объясним.

Развитие компьютерных сетей и электронной торговли ещё в 1980-х годах постепенно смывало грань между
традиционным трейдером и программистом, работавшим в бэк-офисе.

Сложные математические модели стали использоваться для увеличения прибылей и снижения риска.

С 80-х годов прошлого века на финансовые рынки стали приходить математики, компьютерщики
и физики, которых прозвали «квантами» (quantitative analysts), то есть количественными аналитиками, хотя чистой
аналитикой занимались далеко не все.

Именно они принялись внедрять алгоритмический трейдинг на фондовых рынках.

Развитие же компьютерных технологий и Интернета лишь облегчило им задачу.
Как же выглядит условная система алгоритмического трейдинга?

Концептуальная модель алгоритмического трейдинга

Источник: www.turingfinance.com

Эта схема нуждается в некоторых пояснениях, которые помогают понять, как технологии Big Data и методологии
Data Science меняют подходы к финансовым операциям.
Система алгоритмического трейдинга по сравнению с традиционным тредингом считается более умной, интеллектуальной.

Что под этим понимается? Прежде всего характеристики самой системы, которые отмечены в верхней части рисунка:
система является самонастраивающейся (фактически, самообучаемой) и обладающей чем-то вроде самосознания.

Важнейшую роль в системе играют два компонента: данные и модель. 

Данные

Как видно из схемы, системы алгоритмического трейдинга оперируют различными типами данных: структурированными и неструктурированными.

Причем это может происходить как по отдельности, так вместе (вспомним некоторые технологии Big Data, позволяющие это делать
без особых усилий).

Данные  считаются структурированными, если они организованы согласно с заранее предопределенной схемой.
В качестве примеров можно привести таблицы, CSV-файлы, JSON-файлы, XML, базы и структуры данных.

Если брать рыночные данные, то к структурированному типу можно отнести внутридневные цены, цены на конец дня, а также объёмы торговли. Все они, как правило, доступны в структурированном формате. Экономические данные и данные о финансовых
показателях компаний также относятся к этому типу.

Существуют различные источники структурированных финансовых данных. Для западных трейдеров, к примеру, ими считаются Quandl и Morningstar.


Простая схема потока обработки рыночных данных:

Источник: An Introduction to Real-Time Stock Market Data Processing

Что же касается неструктурированных данных, то, говоря простым языком, это те данные, которые, напротив, не имеют предустановленного структурированного вида.

К таким данным можно отнести новости, информацию из социальных сетей, видео- и звуковые файлы. Все это хорошо известно.
Но также хорошо известно, что по сравнению со структурированными данными описываемый тип информации сложно обрабатывать.
Он часто требует особых методик сбора и анализа данных, чтобы получить из всего этого полезную информацию.
Как бы это не звучало для некоторых странно, но в современных торговых стратегиях часто используются данные, полученные из таких популярных социальных сетей, как Twitter и Facebook.

И этот процесс привёл к появлению мощных аналитических инструментов для работы с неструктурированными данными.
Многие из таких инструментов созданы с применением искусственного интеллекта, в частности нейронных сетей.

Модель

В системе алгоритмического трейдинга модель является имитацией внешнего мира.

Финансовые модели, как правило, должны показывать системе алгоритмического трейдинга, как устроены и функционируют рынки.
Не только в системе алгоритического трейдинга, но и во многих других областях знания, основной задачей создаваемых моделей
должно быть их применение для познания окружающего мира, а в данном случае для понимания финансового рынка.

Однако любая модель является искусственной конструкцией, поэтому участники торгов должны помнить слова Джорджа Бокса: «Все модели в основном неправильны, но некоторые из них могут быть полезны».
Об этом некоторые кванты забыли, как показывает пример финансового кризиса 2008 года, предвозвестником которого стал крах на фондовых рынках.

Можно создавать модели с использованием различного числа методов и теорий, но в целом все они должны выполнять главную задачу: превращать сложную систему в объясняемый и квантифицируемый набор правил, которые способны объяснить поведение данной системы в самых различных сценариях.

В некоторых подходах применяются математические и иные модели, символические и нечетко-логические системы, деревья решений, нейронные сети и многое другое. Все это и многое другое является уделом количественных аналитиков. 

В компаниях ценили и продолжают ценить их знание математики и программирования. Но от «квантов» требуется в первую очередь работа аналитического плана:
— верификация компьютерных и математических моделей, проведение исследований и создание новых стратегий.

Впрочем, разработки стратегий от них ждут в меньшей степени, а в большей исследования факторов риска и разработок эффективных моделей риск-менеджмента.

Поэтому помимо хорошей математической и компьютерной подготовки аналитики должны хорошо знать финансовый рынок и его отдельные сегменты.
Тем не менее, хорошее знание математики и программирования наряду с аналитическими способностями не всегда спасает от принятия ошибочных решений.

Неслучайно даже в относительно позитивном по отношению к квантам документальном фильме их сравнивают с алхимиками.

Скотт Паттерсон показал, что между одними квантами и другими квантами может быть существенная разница. И в некоторых ситуациях большие знания и способности могут привести к большим проблемам, как это иллюстрирует фрагмент недавно вышедшего на экраны фильма по роману Майкла Льюиса «Большая игра на понижение».

Фрагмент фильма «Большая игра на понижение».

Сцена, в которой один из крупных трейдеров показывает масштабы ипотечного кризиса, усугубленного изощренной стратегией разных игроков финансового рынка.

Источник[1]: