Центробанк публикует много полезной статистики. Сегодня были опубликованы данные по внешнему долгу России (долг перед нерезидентами, в том числе по ОФЗ). Последние доступные данные — март 2020. 
http://cbr.ru/statistics/macro_itm/svs/#a_71429



( Читать дальше )

Продолжаем качать Питоном и изучать статистику ООН по сельскому хозяйству. На это раз — поголовье домашних животных.
http://www.fao.org/faostat/en/#data/QA
Скрипт скачивает данные, анализирует, отсылает в гугл для перевода и записывает результаты в файл rank.txt. Он появится сам в папке, где вы положите скрипт.
---
В файл записывается это:

Russian Federation has the 6 place in the world in the number of Beehives
Российская Федерация занимает 6 место в мире по количеству ульев
Russian Federation has the 6 place in the world in the number of Ducks
Российская Федерация занимает 6 место в мире по количеству уток
Russian Federation has the 7 place in the world in the number of Geese and guinea fowls
Российская Федерация занимает 7 место в мире по количеству гусей и цесарок
Russian Federation has the 7 place in the world in the number of Pigs
Российская Федерация занимает 7 место в мире по количеству свиней
Russian Federation has the 7 place in the world in the number of Rabbits and hares
Российская Федерация занимает 7 место в мире по количеству кроликов и зайцев
Russian Federation has the 9 place in the world in the number of Chickens
Российская Федерация занимает 9 место в мире по количеству цыплят
Russian Federation has the 9 place in the world in the number of Horses
Российская Федерация занимает 9 место в мире по количеству лошадей
Russian Federation has the 10 place in the world in the number of Turkeys
Российская Федерация занимает 10 место в мире по количеству индеек
Russian Federation has the 16 place in the world in the number of Sheep
Российская Федерация занимает 16 место в мире по количеству овец
Russian Federation has the 18 place in the world in the number of Cattle
Российская Федерация занимает 18 место в мире по количеству крупного рогатого скота

( Читать дальше )

Это продолжение поста
Качаем Питоном данные ООН по продовольствию
Кодить так кодить!
Текст составлен автоматически на основе данных ООН.
2018 год:

Россия занимает:
1 место в мире по производству смородины.
1 место в мире по производству малины.
1 место в мире по производству ячменя.
1 место в мире по производству вишни (англ. Sour Cherry)
1 место в мире по производству сахарной свеклы.
1 место в мире по производству овса.
2 место в мире по производству крыжовника.
2 место в мире по производству люпина.
2 место в мире по производству семян подсолнечника.
2 место в мире по производству гречихи.
3 место в мире по производству семян горчицы.
3 место в мире по производству ржи.
3 место в мире по производству льняного семени.
3 место в мире по производству конопли.
3 место в мире по производству пшеницы.
4 место в мире по производству картофеля.
4 место в мире по производству льноволокна.
4 место в мире по производству тыкв.
4 место в мире по производству капусты.
4 место в мире по производству гороха.
4 место в мире по производству огурцов и корнишонов.
4 место в мире по производству моркови и репы.
7 место в мире по производству тритикале.
7 место в мире по производству арбузов.
8 место в мире по производству яблок.
8 место в мире по производству клубники.
8 место в мире по производству чечевицы.
8 место в мире по производству семян сафлора.
9 место в мире по производству лука.
9 место в мире по производству чеснока.
9 место в мире по производству сои.
10 место в мире по производству рапса.
--
Список обновлён. По моей невнимательности в первоначальном варианте в статистике было два Китая: «Китай с Тайванем» и «Китай без Тайваня». Я строил список не руками, а скриптом, поэтому не заметил этого.
Теперь всё правильно, и Россия по большинству позиций вскарабкалась на 1 строчку выше.

В составе ООН есть продовольственная организация. Она называется FAO. Там публикуется много интересной статистики по мировому сельскому хозяйству. Можно посмотреть урожаи и посевные площади в разных странах мира.
Вот ссылка
http://www.fao.org/faostat/en/#data/QC
Там в разделе Bulk Downloads лежит файл
http://fenixservices.fao.org/faostat/static/bulkdownloads/Production_Crops_E_All_Data.zip

Мы его будем качать и распознавать с помощью языка Питон. 
Найдём страну, которая является мировым лидером по валовому сбору той или иной культуры.
Скрипт полностью автоматический. Он сам качает архив с данными с сайта ООН, сам его обрабатывает, отправляет в Гугл для перевода с английского на русский и сам пишет результаты в файл.
---------
1. Качаем и устанавливаем Питон: https://www.python.org/downloads/
2. В чёрном окошке cmd.exe устанавливаем библиотеку pandas для быстрой работы с данными:

pip install pandas

( Читать дальше )

Росстат каждую неделю публикует цены на основные товары из потребительской корзины. Сейчас в ней 112 наименований.
https://www.fedstat.ru/indicator/37426
Данные собираются по всей России. Цены можно посмотреть для каждого региона, вплоть до малых городов. НО! по городам почему-то качается только текущий 2020 год, как бы хитро вы ни выставляли птички в фильтрах. А вот для субъектов Федерации типа г. Москва, Ростовская область все данные отдаются корректно. 


Страница грузится долго, сайт глючный, при работе с ним требуется ангельское терпение.
---
Публикую скрипт, который на основе скачанных данных строит красивые графики. Работа будет полуавтоматическая: данные в формате эксель вы качаете руками, а потом скрипт подхватывает скачанный файл и рисует графики.


( Читать дальше )

Коллеги, помогите написать красиво кусочек кода. Обработка ситуации, когда ты заказал котировки с Финама, они не пришли, и ты пробуешь ещё раз. Сейчас я кривенько (чтобы описать задачу) написал так:

try: 
        txt=urlopen(url, timeout=20).readlines()
except timeout:
        print ("Exception!\nWait...")
        sleep (20)
        try:
                txt=urlopen(url, timeout=20).readlines()
        except timeout:
                print ("Exception!\nWait...")
                sleep (20)
                try:
                        txt=urlopen(url, timeout=20).readlines()
                except timeout:
                        print ("Котировки с Финама не пришли")

Как это написать красиво внутри цикла?
10 попыток. Если 10-я неудачная, выводим сообщение

print ("Котировки с Финама не пришли")

Всемирный банк выкладывает в открытый доступ тонны экономической статистики. Её можно скачивать, используя язык программирования Питон. Для этого Всемирный банк разработал питоновскую библиотеку wbank. Опишу как ею пользоваться. Писать буду так, чтобы получилось даже у человека, который из этого поста впервые узнал про Питон и Всемирный банк.
Полная документация (в этом посте она не понадобится)
---
Если вы не хотите программировать, то и не надо. Все данные можно получить и без питона и построить красивый график:
Вот, к примеру, ВВП России и Италии:

Ссылка на этот показатель. Там можно выбирать любые страны. 
Но мы пойдём другим путём! Сложным! Этот путь позволяет строить графики любого вида и анализировать данные так гибко, как только вы захотите.
На выходе у нас получится такой график: ВВП по паритету крупнейших 10 стран мира. Скрипт сам понимает, какие страны крупнейшие:

( Читать дальше )

Я тут программирую потихоньку. Осваиваю библиотеку matplotlib. Она позволяет на языке Питон рисовать красивые графики. Ловите график Российского ВВП. 

В 1 квартале 2019 ВВП вырос на 0,5%, если сравнивать с 1 кварталом 2018 года. Тут же все кому не лень начали плакать «Ааааа!!! Мы на пороге рецессии!!! Путин, что ты делаешь!!!». И ни один крикливый клоун не удосужился включить мозг и повспоминать недавние события.
Помните, в конце прошлого года ВВП резко пересчитали с прогнозных 1,8% до 2,3% и все удивлялись и возмущались, какой бесстыжий Росстат, нагло рисует цифры? А всё потому, что к 1-му кварталу 2018 года досчитали объём работ по сфере «Строительство» — строительство завода Ямал СПГ. Раньше его не учитывали, а теперь учли, потому что объект был сдан Это дало высокую базу сравнения. В сравнении с этой базой результат 1 квартала 2019 года получился скромным: +0,5%. Если бы не Ямал СПГ, рост ВВП в 1 квартале 2019 был бы намного выше.

( Читать дальше )

Продолжаю учить язык программирования Питон.
Начал разбираться с фреймворком backtrader.
https://www.backtrader.com/
Он позволяет качать котировки с YahooFinance и анализировать их. Можно гонять разные стратегии, считать сколько заработал или потерял. По себе знаю, что самое трудное — сделать первые шаги. Потом всё идёт гораздо легче. Так вот, описываю первые шаги, чтобы получить вот такую картинку. Это код из базового примера с их заглавной страницы, я сам ничего не писал. 

Это стратегия по пересечению скользяшек. На графике видно, что все сделки убыточные (вверху красные кружочки). При удачных сделках они были бы синие. Но дело не в убыточности отдельной стратегии, а в том, чтобы освоить фреймворк.
1. Качаем питон и устанавливаем https://www.python.org/
2. Запускаем чёрное окошко — cmd.exe
3. В командной строке пишем:

pip install backtrader

это установит фреймворк, а потом

( Читать дальше )

Пост будет полезен только тем, кто кодит на Питоне.
Осваиваю базу данных quandl.com
Оттуда можно качать котировки, а можно и экономическую статистику. Например, там есть нонфарм-пэйроллы с 1921 года.
Как и положено питону, там всё очень просто.
Не знаю почему, пэйроллы с 1947 года по значениям сильно отличаются от предыдущих:

Будем брать те, которые идут с 1947 года.
Инструкция шаг за шагом.
1. Качаем питон, если он у вас до сих пор не установлен: https://www.python.org/
2. Открываем командную строку cmd.exe (чёрное окошко).
3. Пишем в нём pip install quandl


( Читать дальше )