Big Data

"… Мы должны полностью понимать, как и что думает клиент, его родственники, его ближайшее окружение и коллеги, в тот или иной конкретный промежуток времени и в том или ином конкретном пространстве, для того чтобы у нас была возможность ещё более продуктивно, с огромным опережением и безошибочно работать и формировать все наши действия, в зависимости от всего пула тех потенциальных угроз, которые могут для нас и наших организаций возникнуть… Все наши действия в области технологий искусственного интеллекта, должны быть направлены на предоставление нам информационного преимущества перед клиентом и именно поэтому, нам нужны самые передовые технологии и все способы обработки, анализа информации и поведенческих алгоритмов, для воздействия на огромное количество населения по всем тем объемам данных, которые мы от них и по ним получаем… Мы должны иметь в своём распоряжении все доступные и даже недоступные инструменты, для того чтобы влиять и формировать в клиентской среде (существующей и потенциальной), среди населения (как конкретного региона, так и на более неограниченных пространствах), необходимой нам линии потребительского клиентского поведения... Нам необходимо на 100% адаптировать именно для себя технологии искусственного интеллекта и технологии обработки больших данных так, чтобы они действительно работали именно на нас и мы смогли их полностью использовать на благо именно наших организаций..."

2,4 трлн руб. составит общая стоимость проекта «Цифровая экономика» за 5 лет в РФ.
• 244 млрд руб. до конца 2024 года потребуется на развитие беспроводных технологий в России.
------------------------
«Индустрия 4.0» — Четвертая промышленная революция.
Включает:

Искусственный интеллект
• фильтрует контент, пишет тексты, музыку, распознает речь и лица, чат-боты для связи с клиентами...
• 35,5 млн рабочих мест в России можно заменить машинами, то есть каждого 2го сотрудника.
• В $139 млн оценивается российский рынок ИИ в 2019 году при объеме мирового рынка $36 млрд.

Роботы:
• 74% продаж промышленной робототехники приходится на Китай, Японию, Ю.Корею, США и Германию.
• 5 роботов на 10 тыс. рабочих — таков уровень роботизации России в 2018г. Средний показатель по миру — 99 роботов на 10 тыс. рабочих.

Беспилотники
• Уже в 2021 году автономное вождение 3-го уровня станет реальностью.

Интернет вещей (IoT) и 3D-печать,
• Порядка $3,7 млрд — общий объем рынка IoT в 2018 году в России. Это примерно 0,5% от общемирового.

( Читать дальше )

Каждый день мы что-то пишем, разыскиваем,  выкладываем в интернете!
 И каждый день за нами кто-то следит по ту сторону экрана. 
 Не успев родиться, уже за нами следит всевидящее око  интернета.
 Интернет предлагает нам детскую кроватку, пеленки и распашенки,
точно попадая на глаза будущей мамочки. 
 Случайно попав в объектив камеры, по нашей фотографии лица  могут легко
 нас отследить в реальной жизни.
 Например, по тому, где и как мы пользуемся метро и сколько времени вы там
находитесь, умные системы слежения по распознаванию образов  могут 
за два дня слежения сказать о том, где вы работаете, где вы живете, каков ваш
достаток, даже назвать профессию и многое другое, вплоть до вашей
ориентации в сексе.
Открывая себе на телефоне приложение  facebook,  
   мы соглашаемся о том, что это приложение будет иметь данные:
о контактах;
о файлах на USB накопителях;
неограниченный доступ к интернету;
скачивать файлы;

( Читать дальше )

В одном из предыдущих постов писал про Google Colab — бесплатный доступ к интерактивной среде Jupyter Notebook на языке Python с кучей библиотек для анализа данных (и самой популярной — Pandas: обучалки-введение).
   Низкий порог входа в мир серьёзного анализа данных -тем и привлекателен этот зоопарк. Несколько строк кода и уже можно анализировать-смотреть данные (акции, облигации, фьючи, макро).

   Если вы пробовали писать скрипты в Excel, кастомные индикаторы в Мультичартсах или Метастоках, то освоить язык Python в интерактивной среде Jupyter Notebook (Google Colab — даёт бесплатный доступ) — посильное занятие.
   Для американского рынка есть библиотека (-ки), которые позволяют подкачать биржевые и экономические данные — я писал об этом. Кстати к 

( Читать дальше )

1-ая часть https://smart-lab.ru/blog/470604.php 

Нассим Талеб пишет: «Я не говорю, что нет никакой информации в больших данных, – там масса информации. Проблема – основная – заключается в том, что иголку приходится искать в непрерывно растущих стогах сена».

Я надеюсь предоставить достаточно примеров того, как большие данные дают возможность по-новому взглянуть на человеческую психологию и поведение.

«Постой, Сэт, – могли бы вы сказать сейчас. – Ты обещаешь революцию. Но до сих пор ты использовал весь этот набор данных только для того, чтобы показать мне в основном два момента: в Америке много расистов и люди, особенно мужчины, сильно преувеличивают, говоря о том, как часто они занимаются сексом».

Подождите, пока не доберетесь до четвертой главы, где я предоставлю вам отчетливые и неопровержимые доказательства, полученные на базе поиска в Google, подтверждающие, что у мужчин существует серьезная озабоченность и неуверенность по поводу – чего бы вы думали? –

( Читать дальше )

Все лгут. Поисковики, Big Data и Интернет знают о вас всё. Конспект. Введение. Сет Стивенс-Давидовиц. 
Кто больше врет про секс? Мужчины ил женщины?

Как карта расизма США обьясняет победу Трампа.

Google предсказал победу Трампа?


Вступление. Некогда философы мечтали о «микроскопе для мозга».

 

Я работал экспериментальным психологом.

Человеческие мысли – сложносоставное явление. В отличие от Вуди Аллена, который сводит «Войну и мир» к паре предложений, мы не просто думаем: «Это история о нескольких русских».  Эта книга – о совершенно новом способе изучения сознания.

Большие данные, полученные в результате интернет-поиска и других онлайн-исследований  дают удивительную возможность по-новому взглянуть на психику человека. Уединившись со своей клавиатурой, люди делают довольно странные признания.

( Читать дальше )

SAP Forum 2018. Пленарное заседание. Часть 2. Ведущий Иван Ургант. Про блокчейн, бигдату и облака. 

https://youtu.be/EVMFxa8aGhY

(Цифры в начале абзаца — это время обсуждение описанной темы).

( Читать дальше )

Глава 4. Белые воротнички под угрозой

Система Quill способна практически мгновенно формировать бизнес-отчеты с заданной периодичностью — и все это без вмешательства человека http://narrativescience.com

Пример технологии Quill (Система написания нарративных текстов) демонстрирует, насколько уязвимыми для автоматизации оказываются задачи, которые когда-то считались исключительной прерогативой высококвалифицированных профессионалов с высшим образованием. Опрос экспертов: «Какой будет доля новостных материалов, написанных с помощью программных алгоритмов, в ближайшие 5 лет. Ответ: более 90 %»

Деятельность компании Target, Inc. является примером куда более спорного подхода к использованию огромных массивов чрезвычайно подробных данных. Компания с  очень большой долей вероятности предсказывать наличие беременности на раннем сроке у покупательниц на основе анализа продаж по двадцати пяти различным видам косметической и медицинской продукции. Проводимый компанией анализ был настолько точным, что даже позволял с высокой степенью точности определять срок беременности у конкретной женщины. Получив эти данные, сотрудники Target начинали забрасывать женщин предложениями о покупке товаров для беременных, да еще и на столь раннем сроке, что во многих случаях ближайшее окружение женщины даже не знало о ее положении.

( Читать дальше )