Блог им. Division_by_zero

Грааль есть -его не может не быть

Грааль есть -его не может не быть

Ходил я тут на собеседование в один банк, на позицию, связанную с data science. Собеседовался с их главным Data Scientist.

Мужик раньше работал в академической среде.  Судя по его вопросам, на которые я часто не знал ответа (а иногда — не совсем даже понимал термины, которые он использовал) — мужик знает статистику и машинное обучение досконально.
Из одних его вопросов я понял, как мало знаю и в каких направлениях предстоит копать. Хорошо, что на некоторые хотя бы вопросы я смог достойно ответить.

Оказалось, что он брат-славянин. Не из России, но близко.
У него было почему-то очень высокое мнение о знаниях россиянами фундаментальной математики. Короче, разоткровенничались на этой почве.
Пообщались хорошо, душевно. Я с ним поделился своими попытками построить торговую систему на основе ML. Он сказал, что у него лично есть прибыльная торговая система, торгующая драгметаллами и валютами, которая делает ему столько денег, что в банке он продолжает работать чисто для души и интереса.

Система написана на SVM (Support Vector Machine), и, что меня удивило, алгоритм пишет на Oracle, с использованием тулза под названием Oracle Data Miner. Говорит, что из за того, что код выполняется на сервере и данные хранятся там же, у него получается практически бесконечное горизонтальное и вертикальное масштабирование. Говорит, что имеет машину на 64 ядра, которая в облаке гоняет для него весь этот алгоритм.

Короче, я не знаю, предложат ли мне позицию в этом банке, но сходил не зря, и понял, что есть люди, прибыльно применяющие ML на рынке.
Проблема только в том, что эти люди обладают знаниями математики, статистики и ML на уровне PhD, и знаниями программирования на уровне 20+ лет опыта.

А так — грааль конечно есть, его не может не быть !
Грааль есть -его не может не быть


 

★11
61 комментарий
Грааль — это типа вечного двигателя. 
Все его изобретают, и никто изобрести не может.
А не могут, т.к. это просто невозможно.
Картинки очень оживили топик. Отсеяв сразу всяких умников. 
Вестников, ты, как сталинист повелся на мертвеца)
avatar
Stoic, я не сталинист. Я — простой советский человек. Ну и, соответственно — с уважением к Иосифу Виссарионовичу. 
Stoic, а я подумал что на женщину, ну уж кто чего заметил )
avatar
Он сказал, что у него лично есть прибыльная торговая система, торгующая драгметаллами и валютами, которая делает ему столько денег, что в банке он продолжает работать чисто для души и интереса.

Пpиходит мужик к ceкcопатологу и говоpит:
— Доктоp! Я жену за ночь больше восьми pаз немогу!
— ??? А кто тебе сказал, что надо больше?
— Да вот сосед говоpит, что за ночь по пятнадцать pаз может!
— Hу и ты говоpи!
chem1, опередил) та же мысль от прочитанного)
avatar
рынок измениться и грааль также поменяется 
avatar
Дом Металла, в том то и дело что он не меняется… за столько лет все одно и тоже… даже историю за сто лет возьмите… одно и тоже…
avatar
Pobeditel, тогда почему люди сливаются? 
avatar
Дом Металла, потому что люди все также устроены… как и сто лет назад…
avatar
Pobeditel, нет потому что граль меняться так как структура рынков меняется 
avatar
Дом Металла, посмотрите графики железных дорог и прочего из начала века… сравните с современными… одно и то же.
avatar
Pobeditel, Я как тестировщик финансовых ноу-хау говорю что нет) рынки меняются) еще 30 лет назад понятие скальперство на рынках было совсем другое) 
avatar
Pobeditel,  В России точно ничего не меняется
avatar
Stoic, вчера это понял… очень жаль(
avatar
Дом Металла, дык машин лернинг же )
avatar
Виктор, это на рынке не всегда работает 
avatar
Можно пример какого-нибудь сложного математического вопроса с вашего собеседования? 
avatar
Что за вопросы то хоть, вдруг кто из нас пойдет на собеседование)
avatar
Stoic, я помню что спрашивал про то, какие виды алгоритмов деревьев решений я знаю, и про тест Смирнова- Холмогорова
avatar
Даже если описываемый персонаж действитель сделал нечто работающее, заявленные вычислительные ресурсы вызывают сомнения в адекватности подхода. Уверяю, достаточно мощностей старинного компьютерного хлама со свалки.
avatar
старый трейдер, а ребята из энвидии и не знают!
avatar
Андрей Л (division_by_zero), cовершенно верно, Макдональдс и Адидас — тоже. Если так хорошо владеете логикой, попробуйте порыться в голове, возможно  обнаружится наблюдательность, это штука, полезная даже сама по себе. Cutting edge на рынке — совсем рядом, буквально на расстоянии вытянутой руки, поэтому интеллект рулит  (не путать с IQ).
avatar
SergeyJu, покажите место, где я сказал что это язык
avatar
Андрей Л (division_by_zero), Система написана на SVM
avatar
SergeyJu, Система написана на алгоритме SVM
я думаю, что мы какбе все знаем, что SVM -  это алгоритм, и опустил некоторые слова
как в том анекдоте — про рации на транзисторах
avatar
Андрей Л (division_by_zero), ну да, неожиданные нюансы смысла. У меня метод опорных векторов как-то не пошел. Возможно, он недостаточно устойчив к помехам.
avatar
на уровне 20+ лет опыта.
20 лет назад не было сегодняшних инструментов. Это тоже самое, что опыт вождения: 5 лет от 20 лет не отличается.
avatar
vito2000, именно 
avatar
Press, до сих пор — самая лучшая БД, хотя и просрали все остальное
avatar
«эти люди обладают знаниями математики, статистики и ML на уровне PhD, и знаниями программирования на уровне 20+ лет опыта.» — так вот кто забрал с рынка все граали — нормальным честным трейдерам ничего не осталось))
avatar
Replikant_mih, 
«эти люди обладают знаниями математики, статистики и ML на уровне PhD, и знаниями программирования на уровне 20+ лет опыта.» — так вот кто забрал с рынка все граали — нормальным честным трейдерам ничего не осталось))
Только всех этих квантов в ЛЧИ не видно, а побеждают из года в год Татарин и Смешинка, которая даже среднюю на график не знает как положить.
avatar
Replikant_mih, думаю, что это не так.
avatar
SVM судя по публикациям работают с Data Mining in the Application of Finance Early-Warning и  Customer Attrition of Commercial Banks, не знаю что это вообще значит
avatar
Дом Металла, по моему личному опыту — любым, даже примитивным алгоритмом, можно достичь отличных результатов, если умело его применять .
Там помимо аглоритма дофига вещей надо правильно сделать — выбор аттрибутов, их очистка и подготовка, подбор параметров и т д и т п
искусственный интеллект — это в значительно степени исскуство правильного сочетания очень очень многих ингридиентов
avatar
Андрей Л (division_by_zero), в моих личных беседах все те кто разрабатывали алгоритмы для американских банков и хэджеров отмечали что алгоритм должен быть простым так как сложные ситуации не повторяются с такой регулярностью как простые. Это значит прибыльных сделок будет больше. И да огромную важность имеют именно правильного сочетание 
avatar
Press, 
уточните, о каких инструментах вы говорите?
например, Python и R.
avatar
Простите, что такое ML? 
avatar
Invoker, Machine Learning
avatar
ну хз, я что-то мало встречал чтобы одновременно и математик и программист.
а 20+ лет назад программирование было совсем совсем другим.
за последние лет 10 только оно офигеть как скакнуло.
avatar
ПBМ, видимо, поэтому у него все и получилось!
avatar
лень подсказывает мне, что закупаться на коррекциях сипи тоже неплохо…
avatar
Я знаю город будет,
Я знаю — саду цвесть,
Когда такие люди,
В стране советской есть!
Сам удивляюсь как Биг Дата и Мэшин Лёрнинг находят взаимосвязи для прибыльных алгоритмов, которые на глаз кажутся туфтой. Правильной дорогой идете, товарищи!
avatar
Он сказал, что у него лично есть прибыльная торговая система, торгующая драгметаллами и валютами, которая делает ему столько денег, что в банке он продолжает работать чисто для души и интереса.

Ну так и вы б ему сказали =) За «сказать» денег не берут. Я вот работал в топовых фондах, с кучей PhD-шников — и ни у кого не было такой системы, а тут вдруг такой уникум. Да еще и меценат — вместо того, чтобы тусить на гаваях, продолжает париться в банке… где?
Ну, в общем, я бы скептически относился к этой истории. Грааль есть, могу сказать как человек видевший его. Но это не оракл и свм на 64-х ядрах…
avatar
MadQuant, за что купил — за то продаю
avatar
Андрей Л (division_by_zero), что за банк? 
Евгений Гуревич, это я предпочел бы не раскрывать (хотя у нас в Канаде всего 4 банка)
avatar
MadQuant, согласен. Либо ёмкость его подхода мизерная, либо торгует какими-нибудь cfd в кухне эксплуатируя локальную кухонную неэффективность небольшую
avatar
я вообще не понял о чем речь.
Когда я ходил по банковским собеседованиям, я думал, что мне просто не везло… Но когда слышишь подобные истории от других людей и видишь постоянные отзывы банковских лицензий, то начинаешь прозревать...
В банках работают одни приезжие из деревень п*здаболы с раздвоением личности, постоянно с порога втягивающие вас в ранговые разборки с попутным измерениями длины. Еще одна история подтверждающая этот факт:
в самое первое знакомство поведать чужому человеку длину своего агрегата без каких либо логических рассуждений и правил финансовой безопасности… Мда.
avatar
MyKey, частично, соглашусь, но немного расширю это наблюдение:
Работа на Full-time на крупные корпорации — это занятие, губительно влияющее на психику и на самооценку, и приводящее к необратимым изменениям личности.
avatar
Андрей Л (division_by_zero), все зависит от человеческого фактора. Если бы в корпорациях не занимались грызней быдло-христанутые (голодные бе3квартирные успешные люди на БМВ), а работали осознанные коренные жители (закрывшие потребности нижней ступени пирамиды маслоу) — в тех же самых корпорациях был бы рай. Никто бы никого не мучил и психика ни у кого не ехала.
avatar
MyKey, я думаю, все везде одинаково
работа на дядю — по определению ведет к состоянию голодности и безквартиности (хотя обычно хватает на кредитный БМВ)
В Торонто, где я живу и где происходили описанные в посте события, 80 — 90 канадских килодолларов в месяц считается хорошей зарплатой для уровня миддл менежмент (в банках) 
Знающим девелоперам платят может быть немного побольше, но наверное в пределах  90-110. При этом дом на отшибе начинается от миллиона, а квартиры, подходящие для семьи — от 500- 700 тысяч.
avatar
Андрей Л (division_by_zero), неправильная массовая идеология ведет к неправильному состоянию системы. Люди неосознанно рожают лишних людей, не предоставляя им необходимых для жизни вещей. А потом общество воспитывает рожденных не для служения общей цели, а калеча им разум и постепенно утилизируя. Ясное дело БМВ в большинстве случаев кредитный, но в одной из раздвоенных личностей он кредитный, а в другой (которая мучает людей на работе своей псевдо-успешностью и несет всякую чушь про работу для души) — он не кредитный… Согласен, что все везде одинаково.
avatar

теги блога Гуру Хренов

....все тэги



UPDONW
Новый дизайн