Котировки

Коллеги, вот решил прикрутить формулу GOOGLEFINANCE  для получения котировок российских компаний в свой журнал сделок. Все бы хорошо, но пятизначные тикеры не работают, например TATN возвращает значение котировки, а TATNP — нет.
Может кто-то знает альтернативные решения или формулы, чтобы обойти эту проблему.  
Буду рад любому совету по теме.

Итак, код обучения и прогнозирования нейросетью рыночных котировок на 5 минут.

import sqlite3 as sql
from scipy.stats import logistic
import math
import numpy as np
import numpy.random as rnd
import matplotlib.pyplot as plt
from sklearn.neural_network import MLPRegressor

sdata =[]
sql1= "select ticker, date, open, high, low, close, vol \
    from Hist_1m where ticker_id=1 order by Date;"
con=sql.connect('C:/Users/ubase/Documents/StockDB/StockDB21.sqlite')
cur=con.cursor()
cur.execute(sql1)
sdata=cur.fetchall()
con.commit()
con.close()

Ldata = len(sdata)
N = 8000 # Количество сделок
ld = 5 #Продолжительность сделки
NNinterval = 20 # Количество входов NN

# Генерация случайных чисел
rng = rnd.default_rng()
rm=rng.integers(0, Ldata, N )

class Candle:
    tr = 0
    dt = 1
    o = 2
    h = 3
    l = 4
    c = 5
    v = 6
    
cl = Candle
DataC =[sdata[i][cl.c] for i in range(0,Ldata)]

# sigmoid линейность до 0.5
def sigmoidnorm(x, alfa = 0.9, xmin = -1.3, xmax = 1.3):
    return (xmax - xmin)*((1 / (1 + math.exp(-x*2.0*alfa))) - 1.0) + xmax

x = [0.002 * i - 3 for i in range(0,3000)]
y = [sigmoidnorm(x[i]) for i in range(len(x))]


plt.plot(x,y)
plt.grid()
plt.show()

# формируем сделки.
def DealsGenL(rm,ld):
   #Lm = len(rm)
   ix = []
   x = []
   pr = []
   
   for i in range(0,N):
        if rm[i] + ld < Ldata and rm[i] - NNinterval - 1 > 0:
            delta = (sdata[rm[i]+ld][cl.c] - sdata[rm[i]][cl.c])/sdata[rm[i]+ld][cl.c]*100
            x0 = [sigmoidnorm((sdata[rm[i] - j][cl.c] - sdata[rm[i]][cl.c])/sdata[rm[i]][cl.c]*100) \
                 for j in range(0, NNinterval)]
            ix.append(rm[i])
            x.append(x0)
            pr.append(delta)
   return ix, x, pr


Ix, X, Pr = DealsGenL(rm,ld)



Ib = 0
Ie = 100

plt.plot(X)
plt.legend()
plt.grid()
plt.show()


plt.plot(Pr, label = 'Prof')
plt.legend()
plt.grid()
plt.show()


regr = MLPRegressor(hidden_layer_sizes = [30,20,15,10,5], \
                    max_iter=500, activation = 'tanh')

regr.fit(X, Pr)
Out = regr.predict(X)

plt.plot(Pr, Out, '.')
plt.grid()
plt.show()

И вот результат прогнозирования:

( Читать дальше )

Собственно сама суть обращения тут smart-lab.ru/blog/712379.php. Однако страница существует только в блоге личном и не доступна при переходе, поэтому дублирую перед ответом из ЦБ. Ответ как и предполагалось будет содержать 99% воды и 100% ответ, что всё хорошо  и ничего не нарушено, однако все же некий положительный нюанс прозвучал и был отмечен в самом конце этого текста.  
Добрый день. В связи с тем, что получить ответ от представителей Биржи Спб не представляется возможным, более того, вопрос касается положений регламента относящихся к деятельности биржи, а именно нарушающих порядок проведения сделок, ставящих в неравное положение разных участников рынка, данный вопрос и проверку по данному факту адресую надзирающему органу в лице ЦБ РФ. К данному обращению прикреплен файл содержащий информацию из регламента биржи Спб, а именно условий проведения сделок на бирже. Исходя из смысла текста данного раздела, следует что Заявки от некоторых участников рынка трактуются как Котировки, причем Котировки только от Маркет Мейкеров, все прочие участники выставляют Заявки, что позволяет Маркет Мейкерам Котировки не исполнять по их желанию, несмотря на то, что прошла встречная Заявка на покупку или продажу в ту публичную оферту, которой является по факту Заявка (цена) находящаяся в стакане, которую иезуитски переиначили в Котировку. Вместе с тем, обычные участники рынка обязаны в бесспорном порядке исполнить свои обязательства по Заявке немедленно. Таким образом данная ситуация полностью противоречит условиям проведения реальных торгов, создает условия для неравноправного участия в них, возможностью манипулировать ценой, не исполнять обязательства, в отличии от биржи ММВБ, где подобного рода ситуация невозможна, согласно регламента. Таким образом данные положения регламента биржи Спб позволяют не исполнять свои обязательства Маркет Мейкерам, что даже невозможно в казино, когда выигрывает ставка, казино не вправе отказаться от исполнения своих обязательств, а биржа Спб в лице Маркет Мейкеров может. Создавая фальшивые данные, Котировки которые нигде не регистрируются и могут быть не исполнены, в стаканах эмитентов, которые по факту являются пустыми, создающими иллюзию ликвидности инструмента, по сути является умышленным введением в заблуждение участников торгов относительно инструментов торгующихся на бирже Спб. Прошу провести правовой анализ данного положения на соответствие законодательству РФ, признаков ненадлежащей организации торгов, возможности манипулирования ценой, неравноправного исполнения обязательств по совершенным сделкам участниками торгов, подмены понятий сделок и заявок установленных законодательством РФ. Дать мне мотивированный ответ по всем пунктам, со ссылкой на законодательные первоисточники, которым не противоречат все вышеуказанные действия положения в регламенте ПАО СПБ Биржа.

( Читать дальше )

Для тестов мне нужно скачивать много исторических котировок с бинанса. Сделал для себя небольшую обертку на питоне. На выходе получается красивый датафрейм с удобочитаемой датой и столбцами open, high, low, close, volume и csv файл в придачу. Датафрейм или файл можно подавать на вход тестировщика.

Сегодня, например, без особых проблем скачал 1,9 млн строчек минутных котировок.

Исходники залил на гитхаб. Ссылку можно взять у меня в телеграме: bit.ly/zenoftrading

Искал откуда можно скачать исторические котировки. Да так, чтобы все было в одном месте: и рынок РФ, и рынок США, и фьючерсы, и крипта. Да ещё и бесплатно.

Все эти котировки есть в tradingview, но скачать оттуда можно только в платном аккаунте.





Кстати, при регистрации дают пробный период на 30 дней на любом тарифе. Во время пробного периода можно купить платный аккаунт со скидкой до 60%.



( Читать дальше )

Сегодня идет интереснейшее соревнование за первенство в коммерческом освоении космоса.

Кроме того, это соревнование  технологий и инженерных решений.

( Читать дальше )

Итак, сразу к делу (подробности в конце). Я написал програмку для парсинга данных MOEX с помощью их API, вот, собственно она:

Скачать ее можно по адресу: drive.google.com/drive/folders/1SnxKojpiXD2or6begSZTkzDyDoCBla_d?usp=sharing. Т.к. компиляция производилась при помощи pyinstaller, то, скорее всего винда пожалуется на exe-шник (решение проблемы нетрудно гуглится), поэтому, и потому что люди могут сидеть не из под винды, в папке с exe-шником лежит питонячий проект. Замечание: Если хотите скачать только exe-шник, то не забудьте скачать db.json и поместить его в ту же директорию, иначе программа не запустится!

Программа качает котировки в csv файл (считайте аналог Финама) с разделителем ";".

Некоторые замечания по разработке: Изначально планировалось что все разделы (Торговая система, Рынок и т.д.) будут парсится с API, такая идея даже была осуществлена, но показала свою неэффективность, поэтому в настоящей версии парсится только период времени для которого возможно скачивание, а остальные данные берутся из db.json, которую вы можте сами дополнить (если понадабится).
При возникновении проблем связанных с интернетом (его отсутствие, отказ сервера и т.д.) в окошках «Начало периода» и «Конец периода» будут стоять даты 01.01.0001.
По любым вопросам можете писать в коментарии или ЛС. Всем добра!
Если хотите поддержать автора: Сбер — 4817 7602 2175 5865 (Емельянов Иван Д.)

Привет, смартлабовцы! Есть нетривиальный вопрос! У меня несколько семейных портфелей в управлении. Хочу понять, где их лучше вести, чтобы отслеживать графики, доли и пр. Желательно, чтобы можно было видеть структуру каждого по долям и пр., и структуру всех вместе взятых, потому что в общем этот один наш большой портфель. Посоветуйте онлайн сервис за вменяемые деньги, где лучше вести эти портфели. Давайте ещё раз требования просуммирую:

• инструменты Мосбиржи
• онлайн подсос котировок
• структура каждого портфеля
• структура суммарного портфеля
• отслеживание поступления двидидендов
• … ещё что-то интересное.

Хотелось бы получить эти функции за вменяемые деньги =) 
Всем заранее спасибо!