rss

Профиль компании

Финансовые компании

Блог компании sMart-lab.ru | Вопрос: каки есть современные интерфейсы для работы с большими БД

Приветствую, господа программисты! Мы на смартлабе хотим замутить базочку по компаниям с кучей фундаментальных показателей.
Я так подсчитал, что по каждой компании ежеквартально надо будет вносить ручками примерно по 30 показателей. Соответственно вопрос: а какие есть современные интерфейсы для ведения баз данных? Или это все делается по старинке через тупо веб-форму? Ну например как та, через которую мы события в календарь добавляем:
Вопрос: каки есть современные интерфейсы для работы с большими БД
Подскажите пожалуйта, какие есть варианты?
Можно ли например гугловские интерфейсы как-то использовать? например их таблички:)
Пример я вам уже показывал — посмотреть можно здесь.

Спасибо за неоценимую помощь, товарищи!
★5
28 комментариев
когда-то давно работал прогером и часто приходилось вность в бд данные, писал хранимку в сиквеле и в обычном «блокноте» просто кавычками разделял данные, чтобы прога находила, что вносить. ничего быстрее этого не придумал ни я никто другой за десять лет, что там работал. = блокнот и хранимка.
avatar
Фибофан, что такое хранимка в скивеле?
Тимофей Мартынов, сиквел это СУБД, у всех субд есть возможности по функциям и почти у всех есть возможность тригером (это как бы сама БАЗА ДАННЫХ смотрит не изменились ли данные или не появились ли новые = постоянно, каждую секунду) запускать хранимые процедуры (это скрипт, который выполняет любые функции по изменению базы данных). То есть человеческим языком — я писал в обычном notepad.exe файлик, сохранял его и все, данные через секунду заносились в базу данных.
avatar
Тимофей Мартынов, Парсировать текстовый фаил может кто угодно. Для некоторых компаний полагаю можно сделать парсер чтобы цеплял данные прямо из интернета, у некоторых эти данные в отчетах лежат как сканы. Там хрен.

И вообще веб краулинг отдельная непростая тема. А парсер это относительно просто.
avatar
Тимофей Мартынов, ПРосто в файл CSV данные записываешь. А потом php скрипт все это грузит
MoneyJinn, нет, я думаю, что как раз авто-перенос не надежен
Тимофей Мартынов, Если формат данных в источнике определённый, то парсингом формата будет определяться корректность данных, не менее надёжно, чем ручной ввод.
avatar
Lomov Tom, а главное меньше человеческих усилий и времени человека.
avatar
Lomov Tom, не верю я в это, каждая компания как хочет так и раскрывает данные, куча ошибок «распознавания» формата будет
avatar
Lomov Tom, осталось только понять где ты источник по всем компаниям надыбаешь
Тимофей Мартынов, В реестрах? Там описание компаний производится  некоторым сильно ограниченным набором слов и языковых оборотов, в принципе, возможно написать  мини NLP, заточенный под парсинг текстов из реестра компаний.
avatar
веб форма, я думаю без вариантов. можно конечно различные варианты, импорта экспорта сделать, например, заполнять в экселе, экспортировать в csv(текстовый формат хранения таблиц), csv заливать в базу, можно тоже через какой ни буть веб интерфейс.
avatar
vlad1024, а есть какие-то симпатичные варианты веб-форм? 
Тимофей Мартынов, вряд ли проще вам самим сверстать.
avatar
vlad1024, почитал коменты ниже… это вобще жесть какая-то ) хадуп, спарк, nosql, firebase… кто больше? )
avatar
Ну как вариант заполнять в excel, а в бд грузить из excel файла скриптом
avatar
Тимофей такие вопросы лучше на профильных ресурсах задавать. 
Спроси на https://toster.ru
Спроси на http://ru.stackoverflow.com/
Все ж зависит от типа данных и как они буду поступать в базу(хранилище).
Тут же тебя спросят как архитектура устроена у твоего смартлаба. Короче много всего. Хотя может это я так думаю.
Если ты еще будешь делать аналитику, по этим данным строить графики, может тебе что из опен сорса понадобиться spark hadoop
avatar
Александр, что такое спарк хадуп?
Вот конструктор динамических форм, основаный на json-schema http://jeremydorn.com/json-editor/ результат можно сразу сохранять в субд без танцев с бубном.
avatar
Лучше всего nosql, к примеру mongodb. Там нет необходимости заранее схему определять, к примеру db.smartlab.insert ( { ticker: «GAZP», parameters: { «pe»: 7 } ) (pe нет необходимости заранее продумывать). К mongodb нормальный драйвер к php, hadoop это вроде тоже самое только с ним не работал.
avatar
nwtour, pe: точно вносить не надо, надо считать. На любой требуемый момент. Кол-во акций, earnings, ebitda, operating profit, revenue, capital expenses это все надо.

ev/ebitda, p/e не надо)
avatar
Firebase
avatar
Лучше qlikview трудно найти.
avatar
а какая бд за основу взята?
avatar
Поддержку Григория QlikView и Tableau — вот тут подробно и по-русски m.habrahabr.ru/company/wargaming/blog/256567/
avatar
Все накинулись на слово Бд ;), а нужен фронт. В принципе уже все написали, про веб и Эксель. Что ещё не написали, вроде, так это ETL — класс программ, в т.ч опенсорс, по запихиванию в бд готовых данных в разных форматах.
Из задачи я так и не понял, можно ли взять готовые данные, или их надо вводить через форму.
avatar

Для начала надо уточнить задачу:

— ввод данных автоматический или нет
— данние есть в нормальном для импорта виде (.xml, .csv. flat file etc.)
— нужна трансформация данных или нет
— в какую базу грузить

avatar

теги блога Тимофей Мартынов

....все тэги



UPDONW
Новый дизайн