Marina Sakovich
Marina Sakovich личный блог
30 октября 2020, 19:18

R, Matlab, Julia, Python, Eviews, Stata, SAS, SQL - что выбрать?

Дорогие друзья!

может быть среди смартлабовцев найдутся те, кто пользуется и разбирается в этом вопросе.

Какие из перечисленных средств (а может и что-то другое) посоветуете для анализа данных и прогнозирования?

Чем они друг от друга отличаются, какой для чего лучше использовать, какой проще в использовании? 

R, Matlab, Julia, Python, Eviews, Stata, SAS, SQL

Спасибо!

60 Комментариев
  • 1С забыли!!!
  • Извините, но Вы собрали все в кучу. Выбор инструмента зависит от бэкграунда дата-сайентиста (анализа больших данных) и специфики его задач.
      • 3Qu
        30 октября 2020, 21:20
        Marina Economist, 
        И наверно, какой из них самый простой, чтобы я могла, например, посмотреть корреляцию данных за 20-30 лет и визуализировать результат.
        Это задача для Python. Это сложный полнофункциональный язык. Однако, для Python характерен практически нулевой порог входа, можно начинать решать реальные задачи практически ничего не зная, без какого либо долгого предварительного изучения.
        Кстати, зачем вам 20-30 лет? Рынки меняются значительно быстрее, и оч старые данные — это уже ни о чем.
          • 3Qu
            30 октября 2020, 21:33
            Marina Economist, ну, если надумаете связать свою жизнь с Питон. Могу дать книгу(в электронном виде) и рассказать как установить и нАчать. Лучше в личке.
          • Marina Economist, рекомендую школу анализа данных от Яндекса (если время позволяет). Просто для любой задачи нужно подробное техническое задание (что мы хотим делать, какие ресурсы есть на это все и т.д.), может вам Excel продвинутого уровня достаточно будет.
            10 наиболее полезных библиотек Python для data scientist'ов и инженеров указано в ссылке: https://datastart.ru/blog/read/top-10-bibliotek-python-dlya-data-science 

             

          • Marina Economist, и как было сказано в анализе данных (чисто статистическая обработка данных) без понимания «природы» данных бессмысленно. Если мы анализируем торговые котировки нужно учитывать кучу факторов и их взаимосвязей, начиная от ликвидности, заканчивая фундаментальными факторами и психологии толпы, также есть проблема «выбросов» (редких и очень сильных движений котировок).
      • Nikolay D
        03 ноября 2020, 11:33

        посмотреть корреляцию данных за 20-30 лет и визуализировать результат.

        Самый простой — ТрейдингВью. Строит синтетику и отображает результат.

         

  • Дмитрий
    30 октября 2020, 19:37
    Отвечу про то, что сам использую в ежедневной работе:

    SQL — это язык для запросов в базы данных, откуда в большинстве случаев данные для анализа и достаются. Какие-то сложные штуки в нем посчитать нельзя, но простые и умеренно сложные агрегации (суммы, количество), расчеты средних (медианы, перцентили, доверительные интервалы) посчитать можно. Если речь не про трейдинг, а про обычную работу аналитиком, то это must have, учится с нуля до приемлемого уровня за неделю (максимум, за 2-3).

    Python — практически безграничный по своим возможностям язык. Можно сделать и крутую сложную визуализацию, и прогнозирование, и алгоритимические вычисления с циклами и прочими прелестями, и матстат, и спарсить данные с сайтов, и нейросети/деревья решений построить, и распознование текста/изображений. На любой чих есть готовая библиотека, которая позволяет делать сложные вещи в несколько строк кода. Учится с нуля до приемлемого уровня за 2-3 месяца. Потом в основном работаешь с документацией по новым для тебя библиотекам.

    R — с точки зрения анализа данных побратим Python. Визуализация, матстат, работа с датафреймами, прогнозирование. Синтаксис похож на питоновский, используется в основном дата саентистами (хотя они как правило и на R, и на Python умеют). Есть узконаправленные нишевые библиотеки, аналогов которых нет на питоне. Я рекомендую начинать с Python, так как а) его возможности значительно шире б) про него больше материалов в) ошибки и прочие проблемы на питоне гуглятся за секунды. Если у тебя возникла ошибка на питоне, почти наверняка уже есть тред с ее решением на stackoverflow. По R найти инфу сложнее
  • TSLab
  • trader_notes
    30 октября 2020, 19:43
    Матлаб дорогой. не вижу смысла его изучать, R и Python его нормально покрывают. надо только модули доустанавливать. R и Python примерно сопоставимы по семантике языка и функциональности — какой больше нравится тот и выбирать
    • 3Qu
      30 октября 2020, 21:45
      trader_notes, R не нужен. Совсем.
  • Replikant_mih
    30 октября 2020, 19:44

    Python — мощный язык — не только для статистики, визуализации, машин-ленинга и прочего сопутствующего, но на нем легко и приятно запиливать разные скрипты и утилиты, кои часто нужны для разных задач — ну там спарсить что-то или переформатировать и т.д. Кроме того, по факту это самый распространенный инструмент из перечисленных и по факту отраслевой стандарт — это значит море библиотек, море ответов в инете на любые вопросы и т.д.

     

    Ну а SQL (как минимум он) — из другой серии — это просто про получение данных.

    • Replikant_mih, получение данных самое важное.

       

      • Replikant_mih
        30 октября 2020, 20:02
        BadLogic, Ну как посмотреть, ну и уж точно SQL не покрывает все типы источников как минимум, есть ещё NoSQL и вообще не БД и т.д.)
  • 3Qu
    30 октября 2020, 19:56
    Lua (если Quik), С++, Python. Ну, и SQL, только это не язык программирования.
  • ezomm
    30 октября 2020, 21:12
    Зачем это все.Голова заболит точно.Размер свечек известно так и что еще надо? 1 день это 0.75%, а 1 час 0.18%.Это все что надо в торговле.Считай свечки и умножай на %%.Жарить в стакан надо по 2й свечке солдату, а прибыль брать от 3й во 2м шаге роста.Главное тайм правильно выбрать и… считать %%.



      • ezomm
        30 октября 2020, 22:15
        Marina Economist, это главный грааль торговли -танец цены 3-2  те 3 шага вперед и 2 назад.Надо танцевать с рынком… куда он? туда и мы.Вильямс его назвал фракталом и был прав.Объем в плечах определяет движение цены.Это черточки под графиком.Просто рисуйте карандашом в график где перевес объема? справа или слева от вершины фрактала? и куда идет цена потом?
    • Alexey
      30 октября 2020, 21:28
      Marina Economist, 
      5 баллов за тонкий троллинг )))
    • 3Qu
      30 октября 2020, 21:46
      Marina Economist, сейчас почти все есть бесплатно, и абсолютно законно.
        • 3Qu
          30 октября 2020, 21:51
          Marina Economist, какая вам разница. Потому же, что и все остальное.
          С R лучше не связываться, он уже не актуален. Питон его удавил.))
        • Alexey
          30 октября 2020, 22:31
          Marina Economist, 
          задумайтесь, пожалуйста, это очень важный вопрос 
        • Alexey
          30 октября 2020, 22:46
          Marina Economist, 
          хочу чтоб эта прекрасная и содержательная ветка не остывала.
          Специально для вас:
          In 1995, Martin Mächler made an important contribution by convincing Ross and Robert to use the GNU General Public License to make R free software. This was critical because it allowed for the source code for the entire R system to be accessible to anyone who wanted to tinker with it
        • purpe
          03 ноября 2020, 20:45
          Marina Economist, я Вам скажу больше: и C# и VB.NET и даже Java бесплатны, а уж как бесплатны TypeScript с Ангуляром, так я вообще промолчу  :)  Ну а если хорошо покопаться, то можно найти бесплатный даже Kendo!
  • Alexey
    30 октября 2020, 21:15
    Python, очевидно же
      • Alexey
        30 октября 2020, 21:26
        Marina Economist, 
        вообще ваш вопрос на троллинг похож )). Потому что вы смешали то, что смешивать нельзя (например python и sql). И вопрос то получился почти как — что лучше С++ или Java )).
        Раз вы такие вопросы задаете, то вам однозначно python нужен и ничего более.
          • Alexey
            30 октября 2020, 21:39
            Marina Economist, 
            да 100% есть ))  Иначе как можно в один ряд матлаб и sql поставить.

              • Alexey
                30 октября 2020, 21:46
                Marina Economist, 
                еще уберите R, Matlab, Julia, Eviews, Stata, SAS, SQL и тогда норм будет, по делу!
              • 3Qu
                30 октября 2020, 21:49
                Marina Economist, SQL вам очень понадобится, если вы это все не бросите на начальной стадии.
                  • Alexey
                    30 октября 2020, 22:19
                    Marina Economist, 
                    дайте плз ссылку на источник. Хочется посмотреть, где, кто и зачем все это в один котел кладет
                • Alexey
                  30 октября 2020, 22:21
                  3Qu, 
                  да 100% не понадобится. Данный топик — троллинг или вброс гов*а на вентилятор. Будь тут побольше ИТшников, то можно было бы попкорн доставать
  • Kapeks
    30 октября 2020, 22:19
    корелляция есть в экселе.
    но лучше забей. не для бабы это.
    для бабы лучше выйти за банкира.
    или за силовика, в россии это даже ценнее.
    успехов.
    • 3Qu
      30 октября 2020, 22:30
      Kapeks, есть у меня знакомая — программист-геофизик. Сейчас в Канаде живет и работает по специальности.
  • Винни Пух
    30 октября 2020, 23:36

    Языки программирования схожи в одном: везде старая добрая логика.
    В основном разница в синтаксисе и области применений.
    Мой первый язык был Паскаль. С питоном у меня проблема только с синтаксисом: знаю как решить, не знаю как написать.
    На мой взгляд можно начать с любого языка, который ближе к потребностям.
    Каждый следующий станет изучать гораздо проще. А так или иначе придется

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн