Блог им. MarinaEconomist

R, Matlab, Julia, Python, Eviews, Stata, SAS, SQL - что выбрать?

Дорогие друзья!

может быть среди смартлабовцев найдутся те, кто пользуется и разбирается в этом вопросе.

Какие из перечисленных средств (а может и что-то другое) посоветуете для анализа данных и прогнозирования?

Чем они друг от друга отличаются, какой для чего лучше использовать, какой проще в использовании? 

R, Matlab, Julia, Python, Eviews, Stata, SAS, SQL

Спасибо!

★1
60 комментариев
1С забыли!!!
avatar
BadLogic, 1C не про это
avatar
BadLogic, про такое я даже не знала ))
avatar
Извините, но Вы собрали все в кучу. Выбор инструмента зависит от бэкграунда дата-сайентиста (анализа больших данных) и специфики его задач.
avatar
Евгений Д., в общем, да. Поэтому вопросы от «блондинки» :) Моя задача сейчас понять, какой язык для чего используется. И наверно, какой из них самый простой, чтобы я могла, например, посмотреть корреляцию данных за 20-30 лет и визуализировать результат.
avatar
Marina Economist, 
И наверно, какой из них самый простой, чтобы я могла, например, посмотреть корреляцию данных за 20-30 лет и визуализировать результат.
Это задача для Python. Это сложный полнофункциональный язык. Однако, для Python характерен практически нулевой порог входа, можно начинать решать реальные задачи практически ничего не зная, без какого либо долгого предварительного изучения.
Кстати, зачем вам 20-30 лет? Рынки меняются значительно быстрее, и оч старые данные — это уже ни о чем.
avatar

3Qu, спасибо!

Да, про рынок согласна, что меняется гораздо быстрее. Даже больше скажу, мне близка позиция, что на ретроспективной информации прогноз не построить. 

20-30 лет. Ну все равно же хочется протестить гипотезы :)

avatar
Marina Economist, ну, если надумаете связать свою жизнь с Питон. Могу дать книгу(в электронном виде) и рассказать как установить и нАчать. Лучше в личке.
avatar
3Qu, спасибо! написала
avatar
Marina Economist, рекомендую школу анализа данных от Яндекса (если время позволяет). Просто для любой задачи нужно подробное техническое задание (что мы хотим делать, какие ресурсы есть на это все и т.д.), может вам Excel продвинутого уровня достаточно будет.
10 наиболее полезных библиотек Python для data scientist'ов и инженеров указано в ссылке: https://datastart.ru/blog/read/top-10-bibliotek-python-dlya-data-science 

 

avatar
Евгений Д., спасибо большое!
avatar
Marina Economist, и как было сказано в анализе данных (чисто статистическая обработка данных) без понимания «природы» данных бессмысленно. Если мы анализируем торговые котировки нужно учитывать кучу факторов и их взаимосвязей, начиная от ликвидности, заканчивая фундаментальными факторами и психологии толпы, также есть проблема «выбросов» (редких и очень сильных движений котировок).
avatar

посмотреть корреляцию данных за 20-30 лет и визуализировать результат.

Самый простой — ТрейдингВью. Строит синтетику и отображает результат.

 

avatar
Nikolay D, спасибо!
avatar
Отвечу про то, что сам использую в ежедневной работе:

SQL — это язык для запросов в базы данных, откуда в большинстве случаев данные для анализа и достаются. Какие-то сложные штуки в нем посчитать нельзя, но простые и умеренно сложные агрегации (суммы, количество), расчеты средних (медианы, перцентили, доверительные интервалы) посчитать можно. Если речь не про трейдинг, а про обычную работу аналитиком, то это must have, учится с нуля до приемлемого уровня за неделю (максимум, за 2-3).

Python — практически безграничный по своим возможностям язык. Можно сделать и крутую сложную визуализацию, и прогнозирование, и алгоритимические вычисления с циклами и прочими прелестями, и матстат, и спарсить данные с сайтов, и нейросети/деревья решений построить, и распознование текста/изображений. На любой чих есть готовая библиотека, которая позволяет делать сложные вещи в несколько строк кода. Учится с нуля до приемлемого уровня за 2-3 месяца. Потом в основном работаешь с документацией по новым для тебя библиотекам.

R — с точки зрения анализа данных побратим Python. Визуализация, матстат, работа с датафреймами, прогнозирование. Синтаксис похож на питоновский, используется в основном дата саентистами (хотя они как правило и на R, и на Python умеют). Есть узконаправленные нишевые библиотеки, аналогов которых нет на питоне. Я рекомендую начинать с Python, так как а) его возможности значительно шире б) про него больше материалов в) ошибки и прочие проблемы на питоне гуглятся за секунды. Если у тебя возникла ошибка на питоне, почти наверняка уже есть тред с ее решением на stackoverflow. По R найти инфу сложнее
avatar
Дмитрий, огромное спасибо за подробный комментарий!!!
avatar
Дядя Ваня СпекулянтЪ, спасибо
avatar
Матлаб дорогой. не вижу смысла его изучать, R и Python его нормально покрывают. надо только модули доустанавливать. R и Python примерно сопоставимы по семантике языка и функциональности — какой больше нравится тот и выбирать
avatar
trader_notes, спасибо большое за комментарий! А R и Python — бесплатные, или просто дешевле матлаба?
avatar
trader_notes, R не нужен. Совсем.
avatar

Python — мощный язык — не только для статистики, визуализации, машин-ленинга и прочего сопутствующего, но на нем легко и приятно запиливать разные скрипты и утилиты, кои часто нужны для разных задач — ну там спарсить что-то или переформатировать и т.д. Кроме того, по факту это самый распространенный инструмент из перечисленных и по факту отраслевой стандарт — это значит море библиотек, море ответов в инете на любые вопросы и т.д.

 

Ну а SQL (как минимум он) — из другой серии — это просто про получение данных.

avatar

Replikant_mih, получение данных самое важное.

 

avatar
BadLogic, Ну как посмотреть, ну и уж точно SQL не покрывает все типы источников как минимум, есть ещё NoSQL и вообще не БД и т.д.)
avatar
Replikant_mih, спасибо большое за комментарий!
avatar
Lua (если Quik), С++, Python. Ну, и SQL, только это не язык программирования.
avatar
3Qu, спасибо!
avatar
Eugene Logunov, спасибо большое!
avatar
Зачем это все.Голова заболит точно.Размер свечек известно так и что еще надо? 1 день это 0.75%, а 1 час 0.18%.Это все что надо в торговле.Считай свечки и умножай на %%.Жарить в стакан надо по 2й свечке солдату, а прибыль брать от 3й во 2м шаге роста.Главное тайм правильно выбрать и… считать %%.



avatar
ezomm, ой, а можно поподробнее, пожалуйста, мне любопытно
avatar
Marina Economist, это главный грааль торговли -танец цены 3-2  те 3 шага вперед и 2 назад.Надо танцевать с рынком… куда он? туда и мы.Вильямс его назвал фракталом и был прав.Объем в плечах определяет движение цены.Это черточки под графиком.Просто рисуйте карандашом в график где перевес объема? справа или слева от вершины фрактала? и куда идет цена потом?
avatar
ezomm, спасибо!
avatar
 А как зарабатывают разработчики R, Python и Julia, если они бесплатные?
avatar
Marina Economist, 
5 баллов за тонкий троллинг )))
avatar
Marina Economist, сейчас почти все есть бесплатно, и абсолютно законно.
avatar
3Qu, да, я уже слышала, что тот же R бесплатный. Только не задумывалась над вопросом, почему :)
avatar
Marina Economist, какая вам разница. Потому же, что и все остальное.
С R лучше не связываться, он уже не актуален. Питон его удавил.))
avatar
Marina Economist, 
задумайтесь, пожалуйста, это очень важный вопрос 
avatar
Marina Economist, 
хочу чтоб эта прекрасная и содержательная ветка не остывала.
Специально для вас:
In 1995, Martin Mächler made an important contribution by convincing Ross and Robert to use the GNU General Public License to make R free software. This was critical because it allowed for the source code for the entire R system to be accessible to anyone who wanted to tinker with it
avatar
Alexey, cute! Интересная инфа. Спасибо
avatar
Marina Economist, я Вам скажу больше: и C# и VB.NET и даже Java бесплатны, а уж как бесплатны TypeScript с Ангуляром, так я вообще промолчу  :)  Ну а если хорошо покопаться, то можно найти бесплатный даже Kendo!
avatar
Python, очевидно же
avatar

Alexey, пока не очевидно )

До этого вопроса на форуме я к R склонялась, но сейчас сейчас задумалась о Python. Его действительно больше рекомендуют

avatar
Marina Economist, 
вообще ваш вопрос на троллинг похож )). Потому что вы смешали то, что смешивать нельзя (например python и sql). И вопрос то получился почти как — что лучше С++ или Java )).
Раз вы такие вопросы задаете, то вам однозначно python нужен и ничего более.
avatar

Alexey, нет никакого подвоха в моем вопросе :)

avatar
Marina Economist, 
да 100% есть ))  Иначе как можно в один ряд матлаб и sql поставить.

avatar
Alexey, ну, все… сейчас уберу sql из заголовка )))
avatar
Marina Economist, 
еще уберите R, Matlab, Julia, Eviews, Stata, SAS, SQL и тогда норм будет, по делу!
avatar
Marina Economist, SQL вам очень понадобится, если вы это все не бросите на начальной стадии.
avatar
3Qu, я шучу, конечно. Линейка этих инструментов взята из очень авторитетных источников, где они все в одном котле перечислены.
avatar
Marina Economist, 
дайте плз ссылку на источник. Хочется посмотреть, где, кто и зачем все это в один котел кладет
avatar
3Qu, спасибо за совет!
avatar
3Qu, 
да 100% не понадобится. Данный топик — троллинг или вброс гов*а на вентилятор. Будь тут побольше ИТшников, то можно было бы попкорн доставать
avatar
корелляция есть в экселе.
но лучше забей. не для бабы это.
для бабы лучше выйти за банкира.
или за силовика, в россии это даже ценнее.
успехов.
avatar
Kapeks, есть у меня знакомая — программист-геофизик. Сейчас в Канаде живет и работает по специальности.
avatar

Языки программирования схожи в одном: везде старая добрая логика.
В основном разница в синтаксисе и области применений.
Мой первый язык был Паскаль. С питоном у меня проблема только с синтаксисом: знаю как решить, не знаю как написать.
На мой взгляд можно начать с любого языка, который ближе к потребностям.
Каждый следующий станет изучать гораздо проще. А так или иначе придется

avatar

Винни Пух, спасибо за комментарий! Всего не изучишь, и не надо ))

Да, под потребности и задачи — это правильно

avatar

теги блога Marina Economist

....все тэги



UPDONW