Big Data

1-ая часть https://smart-lab.ru/blog/470604.php 

Нассим Талеб пишет: «Я не говорю, что нет никакой информации в больших данных, – там масса информации. Проблема – основная – заключается в том, что иголку приходится искать в непрерывно растущих стогах сена».

Я надеюсь предоставить достаточно примеров того, как большие данные дают возможность по-новому взглянуть на человеческую психологию и поведение.

«Постой, Сэт, – могли бы вы сказать сейчас. – Ты обещаешь революцию. Но до сих пор ты использовал весь этот набор данных только для того, чтобы показать мне в основном два момента: в Америке много расистов и люди, особенно мужчины, сильно преувеличивают, говоря о том, как часто они занимаются сексом».

Подождите, пока не доберетесь до четвертой главы, где я предоставлю вам отчетливые и неопровержимые доказательства, полученные на базе поиска в Google, подтверждающие, что у мужчин существует серьезная озабоченность и неуверенность по поводу – чего бы вы думали? –

( Читать дальше )

Все лгут. Поисковики, Big Data и Интернет знают о вас всё. Конспект. Введение. Сет Стивенс-Давидовиц. 
Кто больше врет про секс? Мужчины ил женщины?

Как карта расизма США обьясняет победу Трампа.

Google предсказал победу Трампа?


Вступление. Некогда философы мечтали о «микроскопе для мозга».

 

Я работал экспериментальным психологом.

Человеческие мысли – сложносоставное явление. В отличие от Вуди Аллена, который сводит «Войну и мир» к паре предложений, мы не просто думаем: «Это история о нескольких русских».  Эта книга – о совершенно новом способе изучения сознания.

Большие данные, полученные в результате интернет-поиска и других онлайн-исследований  дают удивительную возможность по-новому взглянуть на психику человека. Уединившись со своей клавиатурой, люди делают довольно странные признания.

( Читать дальше )

SAP Forum 2018. Пленарное заседание. Часть 2. Ведущий Иван Ургант. Про блокчейн, бигдату и облака. 

https://youtu.be/EVMFxa8aGhY

(Цифры в начале абзаца — это время обсуждение описанной темы).

( Читать дальше )

Глава 4. Белые воротнички под угрозой

Система Quill способна практически мгновенно формировать бизнес-отчеты с заданной периодичностью — и все это без вмешательства человека http://narrativescience.com

Пример технологии Quill (Система написания нарративных текстов) демонстрирует, насколько уязвимыми для автоматизации оказываются задачи, которые когда-то считались исключительной прерогативой высококвалифицированных профессионалов с высшим образованием. Опрос экспертов: «Какой будет доля новостных материалов, написанных с помощью программных алгоритмов, в ближайшие 5 лет. Ответ: более 90 %»

Деятельность компании Target, Inc. является примером куда более спорного подхода к использованию огромных массивов чрезвычайно подробных данных. Компания с  очень большой долей вероятности предсказывать наличие беременности на раннем сроке у покупательниц на основе анализа продаж по двадцати пяти различным видам косметической и медицинской продукции. Проводимый компанией анализ был настолько точным, что даже позволял с высокой степенью точности определять срок беременности у конкретной женщины. Получив эти данные, сотрудники Target начинали забрасывать женщин предложениями о покупке товаров для беременных, да еще и на столь раннем сроке, что во многих случаях ближайшее окружение женщины даже не знало о ее положении.

( Читать дальше )

Надо принять как данность: России важнее железные дороги и трубопроводы в ущерб автомобильным перевозкам. Поскольку именно первые два вида транспорта работают на экспорт России — крупнотоннажное сырьё.
у РЖД есть дочернее общество ОАО «НИИАС», на их сайте написано, что Институт ведет разработку комплексного подхода к управлению всеми циклами производственного процесса на ж/д транспорте на основе создания единой технологически интегрированной системы управления перевозочным процессом.

Интеллектуальные системы управления — ИСУЖТ — крутая тема. Кратко описать можно так: все поезда видно на экране, информация о них может быть доступна в реальном времени из любого места и решать проблемы можно так же — дистанционно и оперативно.

Меня тут интересует сам факт наличия информации, значит она накапливается, она может быть доступна для анализа… Кто этим сейчас занимается? Занимается ли вообще?! Тут видно возможность отслеживать некий аналог «деловой активности» в масштабах всей страны.

( Читать дальше )

Сегодня уже тиснул блог о 9 мая, как жахнуло радиацией по Вашингтону: smart-lab.ru/blog/398366.php
А тему астро кластеринга могу приоткрыть сейчас.

Перед любым аналитиком, в том числе, профессиональным астрологом, стоит непростая задача — как выбрать из огромного массива, как бы ничем не примечательных BIG DATA, ту самую главную информацию, которая движет событиями, отражаясь в том числе на рынках.

Недалекие люди искренне считают, что астрологам достаточно на небо взглянуть, и вот тебе здрасте. Это мифы. Все не так.

Короче, чтобы не углубляться в дебри (а я могу, легко)), опишу такой пример.

Недавно почитал про новые технологии в системах распознавания образов, и убедился, что есть системы, которые оперируют десятками тысяч (!) параметров, чтобы легко отыскать, скажем по фотографии преступника в огромной толпе, в любой точке мира, за считанные секунды. Очень пользуется популярностью у спец служб, особенно в местах массового скопления народа. Однако, такие системы требуют колоссальных технических ресурсов, и хотя обнаруженные лица на удивление четко совпадают с робото-портретом или фото, тем не менее… поиск затруднен загромождением BIG DATA.

( Читать дальше )

Сбербанк запустил интересный проект «Открытые данные» www.sberbank.com/ru/opendata. Там предоставлены данные по всем клиентам России, которые обслуживаются в сбере. Наконец-то можно посмотреть настоящую среднюю зарплату в регионах и в Мск.

Причем зарплата и пенсия по регионам сильно не отличается.




( Читать дальше )

http://theins.ru/politika/38490

Есть о чем подумать трейдеру и человеку.

Несколько цитат:

В 2012 году Козинский доказал, что анализа 68 лайков в Facebook достаточно, чтобы определить цвет кожи испытуемого (с 95% вероятностью), его гомосексуальность (88% вероятности) и приверженность Демократической или Республиканской партии США (85% вероятности).

Использовались и так называемые «темные посты» Facebook: платные объявления посреди ленты новостей, которые могли попадаться только определенным группам лиц. Например, афроамериканцам показывали посты с видео, на котором Клинтон сравнивала чернокожих мужчин с хищниками.

Facebook превратился в совершенное оружие и лучшего помощника на выборах, как написал в Twitter один из сподвижников Трампа. К слову, в Германии антиэлитарная «Альтернатива для Германии» имеет в Facebook больше подписчиков, чем ведущие партии ХДС и СДПГ вместе взятые.

Количество данных в мире нарастает с ужасающей скоростью. Совсем недавно технологическим чудом считалось удвоение мощности процессоров каждые 18 месяцев. Сегодня — это экспоненциальный рост данных. Уже в 2011 году данных было создано столько, что если их записать на DVD и положить друг на друга, то выстроенная «этажерка» будет равна длине пути от Земли до Луны и обратно. По некоторым оценкам к концу 2019 года это «стейк» достигнет пол-пути от Земли до Марса. 

Мы полагаем, что внедрение анализа данных в производство и коммерцию будет происходить на протяжении десятилетий и заключает в себе большой потенциал по изменению экономики, а также возможностей инвесторов. «Революция данных» – это не первый технологический прорыв, который обещает существенно изменить наш мир. Но он, однако, может оказаться самым быстротечным. Если заглянуть глубоко в экономическую историю, первые важные технологические сдвиги были после сельскохозяйственной революции, которая принесла с собой более эффективные методы ведения с/х и улучшила стандарты жизни человечества. Следующей была Индустриальная Революция в конце 18 и начале 19 столетий, тогда экономическая производительность удвоилась в течении 150-200 лет. Производительность взлетела в небо (skyrocketed) после Компьютерной революции, со скоростью 3 раза в второй половине тысячелетия, начиная с 1960.

( Читать дальше )