sMart-lab.ru

Читалка smartlab
Приложение Android для удобного чтения ленты смартлаба
СмартЧат - приложение форума
СмартЧат - Android приложение для удобного обсуждения рыночных тем с форума акций смартлаба. Обсуждайте инвестиции в российские акции в нашем чате!

ссылки

Котировки акций
Лучшие статьи за всю историю

социальные сети

rss

Профиль компании

Финансовые компании

Блог компании sMart-lab.ru | Вопрос: каки есть современные интерфейсы для работы с большими БД

Приветствую, господа программисты! Мы на смартлабе хотим замутить базочку по компаниям с кучей фундаментальных показателей.
Я так подсчитал, что по каждой компании ежеквартально надо будет вносить ручками примерно по 30 показателей. Соответственно вопрос: а какие есть современные интерфейсы для ведения баз данных? Или это все делается по старинке через тупо веб-форму? Ну например как та, через которую мы события в календарь добавляем:
Вопрос: каки есть современные интерфейсы для работы с большими БД
Подскажите пожалуйта, какие есть варианты?
Можно ли например гугловские интерфейсы как-то использовать? например их таблички:)
Пример я вам уже показывал — посмотреть можно здесь.

Спасибо за неоценимую помощь, товарищи!
★5
28 комментариев
+1
когда-то давно работал прогером и часто приходилось вность в бд данные, писал хранимку в сиквеле и в обычном «блокноте» просто кавычками разделял данные, чтобы прога находила, что вносить. ничего быстрее этого не придумал ни я никто другой за десять лет, что там работал. = блокнот и хранимка.
avatar
Фибофан
0
Фибофан, что такое хранимка в скивеле?
avatar
Тимофей Мартынов
Проверенный аккаунт
+1
Тимофей Мартынов, сиквел это СУБД, у всех субд есть возможности по функциям и почти у всех есть возможность тригером (это как бы сама БАЗА ДАННЫХ смотрит не изменились ли данные или не появились ли новые = постоянно, каждую секунду) запускать хранимые процедуры (это скрипт, который выполняет любые функции по изменению базы данных). То есть человеческим языком — я писал в обычном notepad.exe файлик, сохранял его и все, данные через секунду заносились в базу данных.
avatar
Фибофан
0
Тимофей Мартынов, Парсировать текстовый фаил может кто угодно. Для некоторых компаний полагаю можно сделать парсер чтобы цеплял данные прямо из интернета, у некоторых эти данные в отчетах лежат как сканы. Там хрен.

И вообще веб краулинг отдельная непростая тема. А парсер это относительно просто.
avatar
Ladimir Semenov
Популярный автор
+1
Тимофей Мартынов, ПРосто в файл CSV данные записываешь. А потом php скрипт все это грузит
avatar
Евгений Черных
0
MoneyJinn, нет, я думаю, что как раз авто-перенос не надежен
avatar
Тимофей Мартынов
Проверенный аккаунт
+1
Тимофей Мартынов, Если формат данных в источнике определённый, то парсингом формата будет определяться корректность данных, не менее надёжно, чем ручной ввод.
avatar
Lomov Tom
0
Lomov Tom, а главное меньше человеческих усилий и времени человека.
avatar
Фибофан
+1
Lomov Tom, не верю я в это, каждая компания как хочет так и раскрывает данные, куча ошибок «распознавания» формата будет
avatar
vlad1024
+1
Lomov Tom, осталось только понять где ты источник по всем компаниям надыбаешь
avatar
Тимофей Мартынов
Проверенный аккаунт
0
Тимофей Мартынов, В реестрах? Там описание компаний производится  некоторым сильно ограниченным набором слов и языковых оборотов, в принципе, возможно написать  мини NLP, заточенный под парсинг текстов из реестра компаний.
avatar
Lomov Tom
0
веб форма, я думаю без вариантов. можно конечно различные варианты, импорта экспорта сделать, например, заполнять в экселе, экспортировать в csv(текстовый формат хранения таблиц), csv заливать в базу, можно тоже через какой ни буть веб интерфейс.
avatar
vlad1024
0
vlad1024, а есть какие-то симпатичные варианты веб-форм? 
avatar
Тимофей Мартынов
Проверенный аккаунт
+1
Тимофей Мартынов, вряд ли проще вам самим сверстать.
avatar
vlad1024
0
vlad1024, почитал коменты ниже… это вобще жесть какая-то ) хадуп, спарк, nosql, firebase… кто больше? )
avatar
vlad1024
0
Ну как вариант заполнять в excel, а в бд грузить из excel файла скриптом
avatar
l-way
+1
Тимофей такие вопросы лучше на профильных ресурсах задавать. 
Спроси на https://toster.ru
Спроси на http://ru.stackoverflow.com/
Все ж зависит от типа данных и как они буду поступать в базу(хранилище).
Тут же тебя спросят как архитектура устроена у твоего смартлаба. Короче много всего. Хотя может это я так думаю.
Если ты еще будешь делать аналитику, по этим данным строить графики, может тебе что из опен сорса понадобиться spark hadoop
avatar
Александр
0
Александр, что такое спарк хадуп?
avatar
Тимофей Мартынов
Проверенный аккаунт
+1
Вот конструктор динамических форм, основаный на json-schema http://jeremydorn.com/json-editor/ результат можно сразу сохранять в субд без танцев с бубном.
avatar
Cristopher Robin
0
Лучше всего nosql, к примеру mongodb. Там нет необходимости заранее схему определять, к примеру db.smartlab.insert ( { ticker: «GAZP», parameters: { «pe»: 7 } ) (pe нет необходимости заранее продумывать). К mongodb нормальный драйвер к php, hadoop это вроде тоже самое только с ним не работал.
avatar
nwtour
0
nwtour, pe: точно вносить не надо, надо считать. На любой требуемый момент. Кол-во акций, earnings, ebitda, operating profit, revenue, capital expenses это все надо.

ev/ebitda, p/e не надо)
avatar
Ladimir Semenov
Популярный автор
0
Firebase
avatar
Alex
0
Лучше qlikview трудно найти.
avatar
Григорий
Smart-lab премиум
0
а какая бд за основу взята?
avatar
Андрей К
+1
Поддержку Григория QlikView и Tableau — вот тут подробно и по-русски m.habrahabr.ru/company/wargaming/blog/256567/
avatar
msolovyev
+1
Все накинулись на слово Бд ;), а нужен фронт. В принципе уже все написали, про веб и Эксель. Что ещё не написали, вроде, так это ETL — класс программ, в т.ч опенсорс, по запихиванию в бд готовых данных в разных форматах.
Из задачи я так и не понял, можно ли взять готовые данные, или их надо вводить через форму.
avatar
П М
0

Для начала надо уточнить задачу:

— ввод данных автоматический или нет
— данние есть в нормальном для импорта виде (.xml, .csv. flat file etc.)
— нужна трансформация данных или нет
— в какую базу грузить

avatar
Dmitry

полезные записи за 24 часа

★24 14 Лучшие книги, прочитанные мною в этом году
★7 54 ИИС старого типа: друзья, растолкуйте плз?
★7 13 Как перед заседанием ЦБ России узнать о том, будет решение мягким или жёстким
★6 35 Pocтoвщики xoтят пoднять цeны втopички
★6 137 Не надо приписывать того чего не было. Рост индекса на 9% произошел за день не потому что инвесторы сделали в моменте свой правильный выбор, а потому что крупняк закрыл в моменте свои шорты. Всё
★5 41 Экономика России. Почему мы стоим на месте?
★6 1 Щедрость от ЦБ. Предновогодний туземун. Крипта, недвижка, инфляция, дивиденды, облигации. Воскресный инвестдайджест
★4 1 Интер РАО (IRAO). Отчет 3Q 2024. Дивиденды. Перспективы.
★4 1 Какие выбрать облигации для пассивного портфеля?
★4 20 Минутка ностальгии. Ещё недавно цены на автомобили были такими.
+154 29 Субботнее ниочём
+138 26 Аномалия
+127 35 Pocтoвщики xoтят пoднять цeны втopички
+127 137 Не надо приписывать того чего не было. Рост индекса на 9% произошел за день не потому что инвесторы сделали в моменте свой правильный выбор, а потому что крупняк закрыл в моменте свои шорты. Всё
+107 41 Экономика России. Почему мы стоим на месте?
+81 39 ничего не понимаю, впрочем, как и всегда...
+78 16 Ставка 21%. Роман Андреев о ставке, причинах, влиянии на рынок и главное - как реагировать.
+77 69 Семь детей у православного программиста
+69 16 5 фактов о Сараево! Немного путешествий под Новый год
+52 47 Новости заячьего портфеля 21.12.24...

самые обсуждаемые сегодня

8к Хазин про it и Биткойн. Правильные пацаны смогут довольно быстро лишить разного рода излишне бойких людей их капиталов через обрушение этого самого биткоина.
6к Мысли по рынку
4к Итоги под конец года - доходность 38% с начала года.
4к Почему раньше рынок акций/сырья/валютный был другой?
5к Можно ли "подняться" с околонулевой позиции?
4к Хазин про роль Ельцина. Ухитрился основные проекты по разрушению России приостановить.
3к Еще хочу поделиться мнением про Т инвестиции
3к Шорт
3к Будет ли считаться разводняком, если банки, на деньги депозитчиков....
2к Долларовая облигация газпрома ГАЗКЗ-26Д, насколько сейчас рискованно её покупать? по сравнению с тем что держать бумажные доллары

Календарь: акции | экономика | облигации

22/12 PHOR: закрытие реестра по дивидендам 126 руб
22/12 GAZT: закрытие реестра по дивидендам 4,29894 руб
22/12 GAZC: закрытие реестра по дивидендам 14,97228 руб
22/12 GAZS: закрытие реестра по дивидендам 14,32642 руб
Добавить событие
Перейти в календарь

торговые сигналы

22:37 0 Газпром нед январь -февраль 25 г
22:34 0 Pro-тренды, голубые фишки
19:21 0 МТС дн начало янв 25 г
18:42 0 Позиции на 23.12
16:02 3 Газпром прорисовывает зеркальный уровень
15:58 2 Новотэк пробил нисходящий канал
23:20 3 Напоминаю: 21 дeкaбpя - пoтeнциaльнaя тoчкa paзвopoтa гaзa
21:44 2 Нетто-продажи ETF на 6,2 млрд. руб и нетто-покупки IMOEX на 44 млрд. руб на 20 декабря
21:34 0 Слил 7 т за час
20:46 0 РУБЛЬ ДОЛЛАР / Фьючерс на индекс РТС / Сбербанк / Золото / Серебро
Блог сигналов
Лента сигналов

корпоративные блоги

+436172 Иволга Капитал
+325956 Mozgovik
+117887 Os_Engine
+98374 Tickmill
+63837 Т-Инвестиции
+62682 БКС Мир инвестиций
+33294 Финам Брокер
+29729 Норникель
+29281 LiveInvestingGroup
+25900 Just2Trade
Все компании

теги блога Тимофей Мартынов

....все тэги



UPDONW
Новый дизайн