big data

SAP Forum 2018. Пленарное заседание. Часть 2. Ведущий Иван Ургант. Про блокчейн, бигдату и облака. 

https://youtu.be/EVMFxa8aGhY

(Цифры в начале абзаца — это время обсуждение описанной темы).

( Читать дальше )

Глава 4. Белые воротнички под угрозой

Система Quill способна практически мгновенно формировать бизнес-отчеты с заданной периодичностью — и все это без вмешательства человека http://narrativescience.com

Пример технологии Quill (Система написания нарративных текстов) демонстрирует, насколько уязвимыми для автоматизации оказываются задачи, которые когда-то считались исключительной прерогативой высококвалифицированных профессионалов с высшим образованием. Опрос экспертов: «Какой будет доля новостных материалов, написанных с помощью программных алгоритмов, в ближайшие 5 лет. Ответ: более 90 %»

Деятельность компании Target, Inc. является примером куда более спорного подхода к использованию огромных массивов чрезвычайно подробных данных. Компания с  очень большой долей вероятности предсказывать наличие беременности на раннем сроке у покупательниц на основе анализа продаж по двадцати пяти различным видам косметической и медицинской продукции. Проводимый компанией анализ был настолько точным, что даже позволял с высокой степенью точности определять срок беременности у конкретной женщины. Получив эти данные, сотрудники Target начинали забрасывать женщин предложениями о покупке товаров для беременных, да еще и на столь раннем сроке, что во многих случаях ближайшее окружение женщины даже не знало о ее положении.

( Читать дальше )

Надо принять как данность: России важнее железные дороги и трубопроводы в ущерб автомобильным перевозкам. Поскольку именно первые два вида транспорта работают на экспорт России — крупнотоннажное сырьё.
у РЖД есть дочернее общество ОАО «НИИАС», на их сайте написано, что Институт ведет разработку комплексного подхода к управлению всеми циклами производственного процесса на ж/д транспорте на основе создания единой технологически интегрированной системы управления перевозочным процессом.

Интеллектуальные системы управления — ИСУЖТ — крутая тема. Кратко описать можно так: все поезда видно на экране, информация о них может быть доступна в реальном времени из любого места и решать проблемы можно так же — дистанционно и оперативно.

Меня тут интересует сам факт наличия информации, значит она накапливается, она может быть доступна для анализа… Кто этим сейчас занимается? Занимается ли вообще?! Тут видно возможность отслеживать некий аналог «деловой активности» в масштабах всей страны.

( Читать дальше )

Сегодня уже тиснул блог о 9 мая, как жахнуло радиацией по Вашингтону: smart-lab.ru/blog/398366.php
А тему астро кластеринга могу приоткрыть сейчас.

Перед любым аналитиком, в том числе, профессиональным астрологом, стоит непростая задача — как выбрать из огромного массива, как бы ничем не примечательных BIG DATA, ту самую главную информацию, которая движет событиями, отражаясь в том числе на рынках.

Недалекие люди искренне считают, что астрологам достаточно на небо взглянуть, и вот тебе здрасте. Это мифы. Все не так.

Короче, чтобы не углубляться в дебри (а я могу, легко)), опишу такой пример.

Недавно почитал про новые технологии в системах распознавания образов, и убедился, что есть системы, которые оперируют десятками тысяч (!) параметров, чтобы легко отыскать, скажем по фотографии преступника в огромной толпе, в любой точке мира, за считанные секунды. Очень пользуется популярностью у спец служб, особенно в местах массового скопления народа. Однако, такие системы требуют колоссальных технических ресурсов, и хотя обнаруженные лица на удивление четко совпадают с робото-портретом или фото, тем не менее… поиск затруднен загромождением BIG DATA.

( Читать дальше )

Сбербанк запустил интересный проект «Открытые данные» www.sberbank.com/ru/opendata. Там предоставлены данные по всем клиентам России, которые обслуживаются в сбере. Наконец-то можно посмотреть настоящую среднюю зарплату в регионах и в Мск.

Причем зарплата и пенсия по регионам сильно не отличается.




( Читать дальше )

http://theins.ru/politika/38490

Есть о чем подумать трейдеру и человеку.

Несколько цитат:

В 2012 году Козинский доказал, что анализа 68 лайков в Facebook достаточно, чтобы определить цвет кожи испытуемого (с 95% вероятностью), его гомосексуальность (88% вероятности) и приверженность Демократической или Республиканской партии США (85% вероятности).

Использовались и так называемые «темные посты» Facebook: платные объявления посреди ленты новостей, которые могли попадаться только определенным группам лиц. Например, афроамериканцам показывали посты с видео, на котором Клинтон сравнивала чернокожих мужчин с хищниками.

Facebook превратился в совершенное оружие и лучшего помощника на выборах, как написал в Twitter один из сподвижников Трампа. К слову, в Германии антиэлитарная «Альтернатива для Германии» имеет в Facebook больше подписчиков, чем ведущие партии ХДС и СДПГ вместе взятые.

Количество данных в мире нарастает с ужасающей скоростью. Совсем недавно технологическим чудом считалось удвоение мощности процессоров каждые 18 месяцев. Сегодня — это экспоненциальный рост данных. Уже в 2011 году данных было создано столько, что если их записать на DVD и положить друг на друга, то выстроенная «этажерка» будет равна длине пути от Земли до Луны и обратно. По некоторым оценкам к концу 2019 года это «стейк» достигнет пол-пути от Земли до Марса. 

Мы полагаем, что внедрение анализа данных в производство и коммерцию будет происходить на протяжении десятилетий и заключает в себе большой потенциал по изменению экономики, а также возможностей инвесторов. «Революция данных» – это не первый технологический прорыв, который обещает существенно изменить наш мир. Но он, однако, может оказаться самым быстротечным. Если заглянуть глубоко в экономическую историю, первые важные технологические сдвиги были после сельскохозяйственной революции, которая принесла с собой более эффективные методы ведения с/х и улучшила стандарты жизни человечества. Следующей была Индустриальная Революция в конце 18 и начале 19 столетий, тогда экономическая производительность удвоилась в течении 150-200 лет. Производительность взлетела в небо (skyrocketed) после Компьютерной революции, со скоростью 3 раза в второй половине тысячелетия, начиная с 1960.

( Читать дальше )

Друзья!

Для тех кто был на конференции, и тех кто не был — видео с Moscow ALGO — 2014.
Спасибо всем! Было круто! :)




Круглый стол «Внутренние и внешние риски в алгоритмической торговле.»


 
Круглый стол «Big data и machine learning — »современное" оружие в руках алготрейдера."



( Читать дальше )

Опубликовано в рамках конкурса (плюсаните плз.=)))


Не легко быть исследователем в наши дни. В новостях и блогах нет недостатка в статьях доказывающих уход исследований рынка в прошлое или о том, как супермассивы данных превратят исследования в устаревший вид деятельности. Согласно этим экспертным мнениям, в то время как в прошлом мы страдали от недостатка данных  - и, таким образом, была необходимость в  исследовании рынка, чтобы заполнить пробелы в знаниях, сегодня нам посчастливилось иметь обилие информации. В результате, с правильными методами обработки гор данных и толикой таланта для их просеивания,  на все наши вопросы будут даны ответы, и исследования рынка могут, наконец, поклониться и уйти со сцены.
Ерунда.
Для начала, позвольте мне сделать необходимую ремарку. Я ни в коем случае не выступаю против супермассивов данных. На самом деле, я очень взволнован крупными и богатыми наборами данных, которые, мы надеемся, приведут к новым знаниям и интересным идеям. Моя точка зрения состоит в том, что супермассивы данных не являются панацеей. Они могут рассказать нам, что произошло в прошлом, и, возможно, вывести будущие события, но они имеют ограниченные возможности объяснить, ПОЧЕМУ что-то произошло. Без понимания ПОЧЕМУ, супермассивы данных не обладают значительной практической ценностью.

Чтобы проиллюстрировать это, давайте сосредоточимся на двух компаниях обладающих крупнейшими массивами данных в мире.


( Читать дальше )

Если кому будет интересно:

Факультет бизнес-информатики НИУ ВШЭ
приглашает
на лекцию «Обработка неструктурированной информации: технологии, решения, 
приложение для бизнеса и государства»

Докладчик: Макаренко Дмитрий Игоревич, к.э.н., директор по научно-техническому развитию НТЦ «ПОИСК-ИТ», с.н.с. Института проблем управления РАН
Время проведения: 5 марта 2013г., начало в 18:00. 
Место проведения:  ул. Кирпичная, 33, ауд. 534. 
 
В докладе речь пойдет о применении технологий обработки неструктурированной (текстовой и аудиовизуальной) информации для решения практических задач в интересах бизнеса и государства. 
Будет

• дан краткий обзор наиболее часто применяемых в данной области технологий;
• приведен пример архитектуры системы для комплексной информационно-аналитической обработки неструктурированной информации;
• обозначены основные направления и задачи, решаемые подобными системами в интересах бизнеса и государства, в частности, для бизнеса – управление клиентским опытом, конкурентная разведка; для государства – мониторинг СМИ и социальных медиа, детекция протестных настроений.
• приведены примеры реального применения таких систем;
• продемонстрирована «живая» система.

Для внешних слушателей необходимо зарегистрироваться по адресу: avdeeva@hse.ru (Авдеева Зинаида Константиновна)

Москва.