Блог им. Replikant_mih

Записался на обучение по Data Science.

Обычно человек ходит по колее, но иногда система сбоит и случаются «эмм, а чё я раньше не задумывался, что можно…» и «хм, а ведь можно попробовать сделать…». В такие моменты можно выскакивать за пределы колеи и переходить в новую более интересную, выходить из зоны болотного комфорта в зону воодушевляющего дискомфорта.


Всегда ходил по колее (вернее, замкнутому циклу): математика не моё, у меня много своих преимуществ, математик не в их числе, не всем дано. И к нему прицеплялось: машинное обучение, нейронные сети, статистика и тер.вер. требуют математики – ну, значит, тоже не мое, ну значит без этого. А тут че-то осенило: а какого хрена!? Кстати, тот случай когда реклама сподвигла (назойливая реклама курсов обучения по Data Science). Сначала отмахивался, а в какой-то момент подумал: а почему бы и нет? – Да, страшно, да лень, да не уверен, что получится, да долго, да нет уверенности, что поможет и т.д. Хорошо подумал, уверенным движением руки смахнул все эти иррациональные возражения и страхи со стола и записался на курс.

Так что скоро, надеюсь, например, не буду просто пролистывать посты уважаемого А.Г., а, возможно, буду извлекать смысл.

Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

Глаза загорелись. Будет интересно.

★16
Задумываюсь сам, где будете проходить обучение?
avatar

dan◦fox

dan◦fox, выбирал между:

— Школа анализа данных от Яндекса.

— Курс от Нетологии.

— Курс от SkillFactory.

— Курс от GeekUniversity.

Если интересно, на каком остановился — спросите в личку. А то напишешь — как обычно начнется: не то ты выбрал, надо было вот это))).

avatar

Replikant_mih

Replikant_mih, было бы интересно почитать что выбрали и по каким критериям выбирали.
avatar

K.

K., критерии:

— уровень скиллов на входе — по этому критерию сразу отвалился Яндекс, потому что там уже на входе нужно очень хороший уровень показать. И ещё один отвалился.

— а дальше — ну программа, преподы, формат, цена, рассрочка по цене, общие неформализуемые впечатления.

 

Ну ладно, короче выбрал GeekUniversity от Мэйл.ру.

avatar

Replikant_mih

Replikant_mih, а меел не выкладывает по этой теме на Ютуб?
avatar

Андрей К

Андрей К, Ну щас понятно многие темы есть в открытом доступе, но тут интерактив + все в одном месте + практическое + тебя подпинывают).
avatar

Replikant_mih

Replikant_mih, поздравляю! Посмотрел программу курса, достаточно насыщенная. 
avatar

smit

smit, Спасибо! Согласен).
avatar

Replikant_mih

K., Ну и изначально выбирал хорошее — чтоб уже была серьезная фирма и курс масштабный, чтоб было все — хорошая математика, хороший дата-саенс и прочий машин-ленинг, много практики. Формат чтоб был эффективный — тут тебе и менторы и обратная связь и проекты практические на реальных кейсах и данных. Да и трудоустройство просто так на пустом месте не гарантируют.

avatar

Replikant_mih

K., Ну и хотелось чтоб было все) — в смысле все необходимое в пределах предметной области. Чтоб не было внутреннего соблазна выучив основное сказать: ну, без вот этой темы могу обойтись, и без вот этой. Да и если темы отдельно собирать — обучение, наверно, дороже выйдет.
avatar

Replikant_mih

Replikant_mih, на edx и курсера есть отличные курсы, планирую осенью пройти. Лучше, вышеописанных (ну может кроме яндексовского)
avatar

Lev

Lev, Чем лучше?)
avatar

Replikant_mih

Replikant_mih, в первую очередь -  качеством подачи материала.
Я видел в пиратских копиях все четыре упомянутых вами, только ШАД показался адекватным.

avatar

Lev

Lev, Ещё чуть-чуть можете расшифровать в чем неадекватность подачи материала?)
avatar

Replikant_mih

Replikant_mih, некоторых лекторов нельзя допускать к публичным выступлениям — неоправданные паузы в предложениях, невнятная речь, «пык-мык» в просторечии. Короче говоря, не владеют риторикой. Т.е. как специалисты они может и неплохие (и может очень даже крутые), но как ораторы — нули. Я — сам айтишник с довольно существенным опытом и запросто могу идти читать курсы по ряду прикладных дисциплин. Но увы, обделён ораторскими талантами. Поэтому не читаю никаких публичных лекций.

avatar

Lev

Lev, Аа, эстетического плана претензии. Ну посмотрим, думаю свыкнусь.
avatar

Replikant_mih

Replikant_mih, ну проблемы с качеством подачи материала — это не только эстетическая претензия.
А так, можно и на kaggle поучиться - https://www.kaggle.com/learn/overview

avatar

Lev

Lev, для меня инглиш большее препятствие чем препод с неразвитым скиллом риторики).
avatar

Replikant_mih

Replikant_mih, хорошо, что вы так уверены в себе. Только если каждый 100-й относительно опытный специалист успешно применил ML на бирже, с рынка бы все деньги повымывали настолько, насколько ликвидность позволяет.
avatar

V.V.

V.V., Только то, что ты юзаешь ML вряд ли сильно меняет вероятности успеха, или в случае успеха делает твой профит фактор в разы больше. Не надо это воспринимать как грааль, ничто не грааль)), в т.ч. и ML. Инструмент. Крутой, мощный. Но инструмент всего лишь, а то что он крутой и мощный — требует от тебя ещё больших усилий, знаний, скиллов и т.д.
avatar

Replikant_mih

V.V., По поводу уверенности в себе — может людей это и раздражает иногда), но вот тотальная неуверенность это просто что-то крайне неприятное.
avatar

Replikant_mih

Replikant_mih, 
Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

Чего словил?
Это хоть не заразное?
avatar

sergik99

sergik99, не знаю, но на всякий случай без защиты ко мне в комментарии больше не заходи)
avatar

Replikant_mih

дата сайенс — очередная западная мулька для получения грантов.
как изменение климата, квантовая телепортация, клонирование и прочий несуществующий шлак. но ты изучай конечно. это очень полезно для трудоустройства в биг кампани, чтобы там с умным видом нихрена не делать, как и все.
avatar

Kapeks

Kapeks, Чувствуется глубокая погруженность в предметную область)).
avatar

Replikant_mih

Replikant_mih, нет. не приписывай мне этот идиотизм.
avatar

Kapeks

Kapeks, сарказм).
avatar

Replikant_mih

большие данные это мирные данные

big data is peace data
Логарифм Интегралович, не сразу уловил смысл)), но уловил).
avatar

Replikant_mih

Логарифм Интегралович, тоненько сыграл)
avatar

Тимоха

Тимоха, в чем тонкость не понял. Данные инструмент их и для войны легко использовать.
avatar

Stasik

Stasik, прочитай в транскрипции как звучит «биг дата ис писдата», все просто.
avatar

Тимоха

А цель?
avatar

SergP

SergP, Научиться извлекать больше информации из данных и более умело в целом работать с данными. Применительно к трейдингу это нужно чтобы более крутые закономерности находить, или легче находить закономерности того же уровня крутизны, эффективней верифицировать закономерности. Для меня откроется целый пласт ранее недоступной информации — много кто говорит на этом языке и я не понимаю его, а буду. Плюс всякие прикольные чисто прикладные штуки обещают — типа работать с Linux, SQL, парсить данные с сайтов и т.д. — то, что всегда хотел, но как-то все не до этого было). + если двигаться не по трейдерской ветке, то это открывает определенные карьерные возможности. И т.д.
avatar

Replikant_mih

Replikant_mih, а образование у Вас какое?
И какой объем обучения?
avatar

SergP

SergP, Экономическое. Курс на 1,5 года. 2-3 занятия в неделю + самостоятельная работа.
avatar

Replikant_mih

Replikant_mih, смотрю вы тут самый профи.

В двух словах можете объяснить что такое Data Sceince и чем это всё отличается от обычного высшего образования, включающего:

а) Мат. стат. + моделирование + верификация+валидация
б) Мат. анализ + численные методы

Что нового? После KNN, SVM, AR (Arima и т.д.), нейронных сетей, деревьев, графов?


avatar

Kot_Begemot

Kot_Begemot, Нет, я не самый профи, я необорот с нуля учусь), так что приходите через несколько месяцев, а лучше полтора года — тогда и подскажу предметно)).
avatar

Replikant_mih

Replikant_mih будем надеяться)
avatar

Kot_Begemot

Дорого?
avatar

Андрей К

Андрей К, Суммарно да, приличные суммы.
avatar

Replikant_mih

Replikant_mih, и все же, порядок:  EUR 3k-4k-7?
avatar

flextrader

flextrader, 225К rub за 1.5 года.
avatar

Replikant_mih

Replikant_mih, хренассе
Пафос Респектыч, ага)).
avatar

Replikant_mih

Replikant_mih, нехило так!
avatar

SergeyJu

SergeyJu, Ага, но есть помесячная рассрочка).
avatar

Replikant_mih

Replikant_mih, а если решите прервать обучение, все равно всю сумму платить? 
avatar

SergeyJu

SergeyJu, нет, сколько отучился столько заплатил).
avatar

Replikant_mih

Replikant_mih, 
На coursera же бесплатно, если сертификат не получать.
Анастасия К, мм, ну круто.
avatar

Replikant_mih

Какой язык базовый, R, питон или что-то третье?
P.S. Посмотрел их сайт. По мне, так много лишнего, такого, что на рыночке не пригодится. Но, с другой стороны, вдруг Вас вообще это заинтересует само по себе.
P.P.S. Посмотрел программы всех 4 Ваших «Университетов». Самая компактная и подходящая, как мне показалось, нетология. Яндекс реально сложен, у меня дочь 1 курс отучилась и сказала, что поняла, что это ей не интересно. Но после ВМК она достаточно была подготовлена, чтобы без моей помощи учиться.  
avatar

SergeyJu

SergeyJu, Питон.
avatar

Replikant_mih

Современный ИИ это псевдонаука. На этих подходах поставили крест сами же патриархи ИИ.
sortarray sortarray, Если вы вычленяете ИИ из всего множества ML, то возможно. Я и не планирую на ИИ концентрироваться.
avatar

Replikant_mih

Replikant_mih, Под «ML» Вы что подразумеваете, «метаязыки»?
sortarray sortarray, Совокупность подходов и методов машинного обучения). 
avatar

Replikant_mih

Replikant_mih, тогда наоборот, это подмножество ИИ.
sortarray sortarray, не уверен. Впрочем 1. Не люблю спорить про определения — это пустое. 2. Я ещё тока записался на курсы, а не проще их), так что не шарю.
avatar

Replikant_mih

sortarray sortarray, ну да, все крест поставили, но из вредности продолжают применять :D https://en.wikipedia.org/wiki/Applications_of_artificial_intelligence
avatar

Максим

Максим, так и есть. Любую задачу при желании можно решить через глубокую жопу
sortarray sortarray, До ИИ нам еще очень далеко, ВИ бы осилить. (MassEffect). А биг дата очень применимая вещь за счет нее прогресс полетит.
avatar

Stasik

Ну вот были топики вокруг базовых эконометрических отношений для деривативов и регресся, приложения винеровского процесса. ща начнутся о  информ. критериях))))
avatar

flextrader

flextrader, не понял комментарий)
avatar

Replikant_mih

Replikant_mih, я разумеетца несерьезно. но
 в последнее время народ любит постить квант-ориентированный контент. видимо, пришло время бигдейты. а в коммент имелись ввиду критерии в ключе AIC
avatar

flextrader

flextrader, типа Акаике? Так здесь слегка обсуждали уже.
avatar

SergeyJu

SergeyJu, что поделать Сергей Юрич, за смарт-лабом не успеть, увы.)) попробую поищу топик — попрактикуюсь в DS, так сказать.

З.ы. и да, сегодня кто чего только к трейдингу не прикрутит (это не в адрес Афтара, сразу оговорюсь).
тоже надо пойти по-прикручивать, по америке спот-кривую дождусь на клоз и летс гоу.
avatar

flextrader

flextrader, Тот случай как раз когда я не понимаю о чем речь, потому что не шарю в предмете)).
avatar

Replikant_mih

stepik не пробовали?
avatar

metatron

metatron, Не пробовал. Тут же ещё вопрос мотивации и организации процесса. Даже если инфа вся есть в открытом доступе — её надо дергать из разных мест, при этом уметь фильтровать воробьев от соловьев, а если тема незнакомая, то сделать это не просто + надо мотивировать себя постоянно все это делать + такое обучение менее живое менее эффективное на мой взгляд. Хочу плотную базу набить, а дальше добивать можно бесплатными курсами, статьями, книгами, соревнованиями, экспериментами, практикой.
avatar

Replikant_mih

Андрей Л. (Гуру Хренов), спасибо! :)
avatar

Replikant_mih

Без бызы не получите ничего, кроме раздроченого эго. Это как примерно пойти на курсы по олимпийскому чемпионству по боксу. Тогда как правильный путь к олимпийскому чемпионству это записаться в дворовую секцию, после чего потратить на все это пол жизни. Но вы конечно продолжайте.

Cristopher Robin, Если бы у меня не было внутреннего стержня и внутреннего компаса — наверно бы даже расстроился от вашего сообщения)).

 

Во-первых, тут с условного нуля стартуют.

Во-вторых, я не рвусь в олимпийские чемпионы)).

В-третьих, видел много людей, с отличным бэкграундом, но скучно его использующих — никакого креатива, никакой смелости, никакой экспрессии, не производят новые знания, в то время как я могу и без мат. подготовки феерить)). А уж с ещё одним инструментом (вернее, букетом инструментов) будет ещё интересней.

 

avatar

Replikant_mih

Replikant_mih, с внутренним стержнем и внутренним компасом, как впрочем с креативом и смелостью вас ждут в отделах продаж. Наука это про другое.
Cristopher Robin, с наукой вас ждут в лабораториях, алгоритмический трейдинг это про другое.
avatar

Replikant_mih

Я тоже начал учиться. Тем более что полно бесплатных курсов. 
Забавно но седой и строгий PhD заявляет что там больше data чем science.
И что главное это любопытство.

Но хотя бы весь доступный инструментарий стоит поизучать чтобы не тратить время на изобретение велосипедов.
Хотя мне кажется что если бы всё было так просто — прикрутил ИИ и стал колбасить только в плюс, то давно или бы фонды такие появились которые скупили весь мир, или вообще все биржи прекратили существование. 
Но может эта мысль и не верна. В шахматы-то всё равно люди играют друг с другом, хотя компьютеры уже играют лучше.
А мы на бирже уже непонятно с кем соревнуемся. Не то с людьми, не то с компьютерами..
Вобщем, сам не знаю что сказать хотел. Удачи, держи в курсе.
Хотелось бы мне лично накопать что-то на тему ИИ и money/risk management в применении к фьючерсам.
avatar

ПBМ

ПBМ, >>«Удачи, держи в курсе.»

спасибо!)

Все, конечно, не просто. Это точно не магическая пилюля. Просто ещё один инструмент, но с большим потенциалом. И, думаю, его надо применять не в лоб — не тупо прогнозировать временной ряд на основе исторических данных, а что-то поинтересней, есть уже несколько задумок).

avatar

Replikant_mih

Добрый, а это смотрели? https://www.coursera.org/specializations/machine-learning-data-analysis

скажите, я так понимаю, обучение у вас онлайн. ногами даже раз в месяц никуда ходить не нада? 

avatar

Alex

смотрите, наверное вы в курсе про сообщество ODS? там люди проходят все необходимые курсы сами и бесплатно ( в основном это курсы топовых университетов США), так же существует и сам курс ODS, можете еще следовать этому гайду из чатика про питон https://github.com/HorusHeresyHeretic/ReadMe . Но лучше сконцентрироваться просто на программировании.
avatar

Yodo

Yodo, Ну я уже выбор основного курса сделал. А дальше посмотрим — доп. материалы по-любому дело хорошее, но посмотрим как по нагрузке, вероятно адресно буду какие-то темы дергать из сторонних источников. Ну и всегда потом можно совершенствоваться самостоятельно когда база заложена + понятно куда можно и нужно копать дальше.
avatar

Replikant_mih

я в данный момент обучаюсь. Параллельно учусь по книгам. Могу сказать, что это намного, НАМНОГО сложнее чем кажется поначалу. 

Дело в том, что надо очень неплохо натаскивать математику, причем из разных областей. С самого начала Вы должны знать такие вещи как обратная матрица и т.д., в противном случае будут смущать и вводить в ступор какие-нибудь формулы функций-издержек сводящие значение к минимуму. Поставить гиперпараметры на решетчатом поиске не понимая их смысл — это обезьяна с гранатой.

В общем DS это больше математика/статистика, чем программирование. Хотя и последнее надо знать хорошо.  Так что будьте готовы.

 

avatar

WRK

WRK, А вы где учитесь?

 

В моем курсе обещают, что в самом курсе дают то что нужно для непосредственно ML и прочего DS. Программу читал — там есть и про матрицы и прочее — несколько разделов математики будем затрагивать. Ну и надо думать, что сначала математику затрагивать, а потом темы где она уже должна быть у тебя затронута)).

 

Про «НАМНОГО сложнее» — я догадываюсь)), хотя гоню эту мысль)), вернее игнорировал её когда принимал решение, а дальше в омут с головой)).

 

И как у вас с математикой проходит? -  Или у вас на входе был неплохой уровень? Как вообще в целом продвигается? — уже что-то можете практическое? — Энтузиазм сохраняется?

avatar

Replikant_mih

Replikant_mih, учусь на одних из курсах (не хочу делать рекламу), их кстати большее количество, чем указано у Вас.

Уровень математики входной у меня был низкий, но тк знал основы эконометрики не могу сказать, что начал с нуля. Я как в студенческие годы брал и решал матрицы, пределы, выписывал и разбирался в нюансах стат.анализа и теории вероятности — на это уходит много времени, и это не настолько весело. По общению с куратором — дадут основы, но вы ведь сами понимаете, что за неск месяцев дотянуть до норм уровня почти невозможно, и настолько углубляться вы там с группой не будете. Хотя это лучше, чем ничего.

Что желательно знать — дано в темах к вступительным в ШАДе. + статистика. Понимание смысла (и нахождение) какой-нибудь частной производной и прочих азов должно быть очень ясным. 

Повторюсь, можете делать расчеты и без знаний — но когда откроете документацию и уведите с десяток гиперпараметров, вот тут можно сесть в лужу — не понимая геометрически, к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации,  а ведь в тех же регуляризациях по логистической  — параметры инверсированные альфе, кот.будут делать с точностью наоборот. 

 

avatar

WRK

WRK, >>«к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации,  а ведь в тех же регуляризациях по логистической  — параметры инверсированные альфе».

 

Может, я зря вообще все это затеял)))))

 

 

У меня в ВУЗе высшая математика прошла скорее мимо меня, а вот тер. вер. нравился, поэтому все получалось. Но если сейчас сделать срез, то я не отличу логарифм от производной, а первообразной от синуса)). Но обещают все прокачать, но конечно понимаю, что многое надо будет вытягивать и самому.

Так как в целом — уже что-то можете практическое делать?

Я правильно понимаю, что знать математику надо не для того чтобы реализовать ML (потому что с современными библиотеками это можно делать и без этого), а для того чтобы с пониманием играться настройками?

 

avatar

Replikant_mih

Replikant_mih, понимаешь, тут такой нюанс — мне нравится в это вникать — банально  вдохновляет. К примеру, заниматься хардкорным программированием в духе java / kotlin или каким-нибудь веб'ом я бы не стал — сколь бы хайповой или перспективной эта сфера не казалась.

Если не попробовал заранее, не посмотрел те же вводные уроки Эндрю Ына а повелся на DS/ML моду, либо решил заниматься ХОТЬ ЧЕМ ТО — то зря. Если же душа лежит в анализу, не жаль тратить на это свободное время и деньги, разбираться — когда кипит мозг, а также пытал бесплатные курсы от курсеры, степика до ODS — и потом решил серьезно заниматься — то на мой взгляд можно и уйти в эту сферу. 

Да дело не в настройках, сами методы обучения — это и есть сплошь математика со статистикой. По хорошему ты должен знать и понимать как сделать нормализацию не через готовую библиотеку, а «руками». Поверь, я бы сам хотел, чтобы было все легче и не так — но увы. 

Моя цель в платных курсах была банальна-чтобы иметь общение с народом, а также то, что платные курсы ты хочешь / не хочешь будешь проходить. Но перед этим я вникал на бесплатных, потом взял тайм-аут подумать на «холодную» голову, и только после этого принял решение. Уже на одну литературу немало денег ушло. 

Практическое обучение делал разумеется, писал даже легкую нейронку на основе numpy, но в кэгле до сих пор не принимал участия, надеюсь уже скоро дойду. 

avatar

WRK

WRK, Анализ данных — это то, что мне нравится — таблицы, графики, закономерности, причинно-следственные связи, корреляции и прочее — мне все это очень нравится. Но я всегда это делал на основе тех методик, которые сам обычно и изобретал. Это очень хорошо, но имеет свои ограничения, которые я хочу приобрести. Да и людям так понятней будет. Когда ты кому-нить говоришь, что тебе пофиг какая аналитическая задача, ты вникаешь в задачу и что-то придумываешь с нуля — люди обычно не проникаются таким, это вроде как не доказательство твоих способностей, если перечислить аббревиатуры, бренды, технологии на английском — тут совсем другая история)). А для себя — получаешь мощный инструментарий дополнительный, ещё большее расширение аналитического и технического кругозора. Мне это как минимум в двух областях нужно, в т.ч. для фин. рынков.
avatar

Replikant_mih

Боюсь мы не выдержим ещё одного А.Г.  Не к тому ты стремишься. Уже ни раз А.Г. делали замечание по поводу того, что всю информацию нужно доносить максимально популярным языком (это вопрос уважения к людям). Это кстати я впервые услышал от своего руководителя по аспиранте.  Он говорил умные слова можешь и даже должен  в статьях писать, а при общении с людьми старайся придерживаться максимального понятного синтаксиса.  А так что пошёл на Data Science молодец.
avatar

ANTI_Finsov

ANTI_Finsov, Ну он пишет для тех кто его понимает, ему интересна такая тематика, кто-то его понимает, контакт случился. Кто понял — счастлив, кто не понял — в печали. Всегда кто-то не доволен). Думаю, у меня с этим проблем не будет, да и я учу не для того чтоб писать о, а для того чтоб юзать).
avatar

Replikant_mih

Тоже изучил детально эту рекламу и ощущение надо сказать, двойственное!

В свое время я имел честь закончил факультет, который тогда (да и сейчас тоже!) является лучшим в теме на всем пространстве Земли от островов Гавайи вплоть до пролива Ла-Манш. Среди прочих, у нас была так называемая «базовая кафедра» Искусственного Интеллекта (возглавлял академик Поспелов). Смею вас заверить, это было одно из немногих мест в СССР, где эти 2 слова вот так в явном, печатном виде упоминались.

И вот прошли годы, и «каждый встречный и поперечный» об этом толкует на улице. Казалось бы — каждый наш выпускник должен быть буквально на вес золота — ведь те, кто поставили на ту лошадку даже в 1998 году (купили СБЕР на все), сейчас выиграли ТЫСЯЧЕКРАТНО. В этой аналогии я поставил на ту лошадку еще на 10 лет раньше, в 1988 г.

Ан нет! Забыты старые авторитеты, появились молодые, борзые, нахрапистые — на вроде Яндекса. Которые непрерывно талдычат о том, какие они гении — чуть ли не единственная интеллектуальная компания во всей России, а самое главное — какие убогие все остальные в стране — плебеи, прожирающие нефтяную ренту, ну, чуть ли ни австралопитеки!

И вот те на — вдруг эти «гении» снизошли до нас, убогих, чтобы за круглую сумму нести нам светоч знаний !!! 


Так вот, скажу, что впечатление первое такое: звучит все КРАЙНЕ ПОДОЗРИТЕЛЬНО! По-моему, просто люди хотят поднять непыльного бабла на хайповой теме.

Манул Кот, Вы про яндексовскую Школу анализа даных или про любое обучение по этой теме?)

 

Для высокотехнологичных компаний это один из каналов пополнения своих кадровых потребностей. Ну + это просто бизнес для них. Они получают деньги, люди востребованные знания.

 

В тех курсах, которые выбрал я, почитал подробную программу — разнообразие тем богатое, затрагиваются разные пласты и уровни, мне все понравилось на входе. Будем работать).

 

По поводу описанной вами кафедры — ну это область стремительная, если начать с хорошей базы и активно двигаться, то база конечно же большое преимущество, а если не двигаться, то быстро отстанешь от острия прогресса.

avatar

Replikant_mih

Манул Кот, не знаю, как сейчас, но изначально в академии яндекса учили бесплатно. И сейчас у них летняя стажировка оплачивается компанией, а не соискателем. Состав преподавателей там сильный. Например, до трагической смертиработал Червоненкис. Тем, что называют сейчас ИИ, в СССР многие занимались. От Моисеева и Журавлева до Вапника. И сейчас есть сильные люди в университетах. А яндекс — это бизнес. Причем на мировом уровне.
avatar

SergeyJu

Манул Кот, совершенно так же подумал… кстати… я-променял-девичий смех-7?
avatar

klimvv

Теперь по-существу.

Вот цитата из их курса:

Курс по математике для Data Science, 8 модулей, 2 месяца 
  • Линейная алгебра 
  • Матанализ и методы оптимизации 
  • Основы статистики и теории вероятности 
  • Применение в машинном обучении и нейронных сетях

Давайте я разберу вам, как настоящий инсайдер, всего 1 пункт. Самое легкое, полезное и базовое тут — это линейная алгебра. Что это на пальцах? Грубо говоря, область математики, которая вас учит работать с векторами, матрицами, N-мерными пространствами, тензорами и т.д.

Помните из вуза такие слова, как «детерминант», системы линейных уравнений, правило Крамера, метод Гаусса? Вот всё это относится к лин. алгебре. 

Тут надо подчеркнуть, что линейная алгебра — это, по сути, ликбез, я лично ее особо сложной не назову. В то же время, я далек от того, что бы пытаться вот так, с ходу, преподавать ее первому встречному, человеку с улицы. Точнее преподавать можно, но вероятность успеха — ниже 4%. 

Поэтому могу дать такой совет — найдите реальную, бумажную книгу по ней (если сможете) или скачайте что-нибудь, на крайняк. Почитайте, полистайте прежде, чем платить господам из Яндекса деньги, попытайтесь понять — это вообще ваше или нет?


Конкретно, у нас базовым учебником по ней был Курс аналитической геометрии и линейной алгебры, Беклемишев Д.В. Также помню был какой-то гроссбух по матрицам Гантмахера.

В общем, поройтесь в инете, ищущий — да обрящет.

И помните — настоящая наука имеет очень отдаленное отношение к биржевой игре.

Манул Кот, Я не к Яндексу иду), у них на входе нужна хорошая математика, у меня нет. Мож потом и к ним запишусь когда уже подниму уровень.

 

Понятно, что книг и прочего открытого материала много, но для прокрастинатора это равнозначно, что ничего нет).

avatar

Replikant_mih

Replikant_mih, я не про Яндекс, я про вот это: https://skillfactory.ru/data-scientist

Я на это объявление напоролся вчера, и, думаю, Вы — тоже.

Там из 4 заявленных преподавателей — 2 из Яндекса, поэтому я и сказал про них.

Яндекс — это сомнительная, псевдонаучная контора и у меня есть факты на руках, чтобы доказать это. 
Манул Кот, аа, ясн.
avatar

Replikant_mih

Replikant_mih, я понял (ДОШЛО, наконец!!), вы будете проходить тот курс, который от mail.ru. Просто я проскочил этот момент и сразу бросился мочить skillfactory.

В любом случае, дискуссия была полезной — для меня прежде всего тем, что люди дали ссылки на некоторые бесплатные ресурсы. Я их взглянул и уже накопал кое-что интересное.

Насчет платного обучения — я в него не особо верю, возможно потому, что сам учился всегда бесплатно (не считая биржевых потерь, разумеется!!) — наследие советской системы. Точнее, так: знания платное обучение может дать отличные, а вот бумажка, сертификат — от нее мне толку ноль, так как в России и зарплаты низкие, да к тому же еще и по возрасту зарежут.

Другое дело — если кто молодой, да в модных очках, да умеет на голубом глазу вести умные речи — тот закончит такие курсы и пойдет по конторам продавать себя подороже — это да, такой подход очень даже работает!

Что касается применимости тем ML/ИИ к извлечению альфы из рынка посредством трейдинга — ну, тут я скажу навскидку, релевантность не больше 10%. Тем более в частном трейдинге — то  есть с малым депо.

Манул Кот, >>«Просто я проскочил этот момент и сразу бросился мочить skillfactory.»

))

 

По поводу платного образования — поговаривают, что когда оно платное ученики ответственней подходят к делу — хотя может, эту легенду придумали околорыночники в ответ на традиционный вопрос: если ты такой хороший трейдер зачем деньги тебе с обучаемых).

 

По поводу альфы — пока не могу прокомментировать, в лоб, думаю, толку от ML сложно добиться, а вот как-нибудь если по-хитрому прикрутить, то, наверное, толк может быть. Там помимо самого ML много всяких полезных скиллов и навыков обещаются).

avatar

Replikant_mih

Манул Кот, а можете пояснить? Ведь все же бизнес у них растет, поиск ищет, такси и беспилотники ездят.
avatar

Yodo

Yodo, это серьезный и непростой вопрос, надеюсь осветить его отдельным постом еще в этом году…
Боюсь, что без классической схемы — экзекуции = зачет, экзамен, пересдача. забыл. Получить знания от альма матери не выйдет :)  

А давайте образ мышления поменяем, лет так в 30,40,50. и передадим знание человеку — Что такое число? 
Был гуманитарный, стал математический.

Нет, всё надо делать вовремя.  

avatar

Jkrsss

Jkrsss, Ну, я никогда не был гуманитарием), по образованию экономист — это где-то на границе). А давно работаю в аналитике, в IT, в финансах — это не сильно гуманитарно, так что с образом мышления все хорошо, IT бэкграунд неплохой имеется.

 

По поводу зачет-экзамен — по мне так это вообще противоестественное, когда у тебя мотивация сдать экзамен, а не получить знания и навыки, у меня как раз сейчас сильная мотивация получить знания.

 

А про 30, 40, 50 — это скорее про отговорки для того чтобы не выходить из зоны комфорта.

avatar

Replikant_mih

Replikant_mih, Знания, навыки, skills это можно получить на всех перечисленных курсах. А вот работать с образами знаний, образами объектов это только в классическом университете, и в возрасте 17-20 лет.
Математическое мышление подавай, выйти из зоны комфорта. :) гы гы гы, это Вам надо к Петру 1 обратиться он детей бояр пинал и заставлял математикой заниматься. Ни чего не вышло. 
А так получиться бардак объяснят как пользоваться тройным интегралом для измерения объема бочки. Когда любой крестьянин будет пользоваться линейкой и считать быстрее. В секту Математиков :) так не пробиться.
avatar

Jkrsss

Jkrsss, ну тоже мнение, чё). Имеете право).
avatar

Replikant_mih

Jkrsss, ну если ты о математике — то тут она не должна быть на уровне 5 курса метмаха уж точно. И та же мат-ка не является чем то недостижимым — основы матана и линейной — доступны любому (ну почти).  Ты не забывай, что в инсте часто надо вызубрить, сдать, переплюнуть и забыть. Когда ты занимаешься для своих целей, осознаешь необходимость изучить, а также повторяешь это в прикладных задачах из раза в раз — понимание  совершенно другого уровня. 

Самое практичное, что методы анализа данных -  это не какая то оторванная дисциплина в вакууме, её можно применять в совершенно различных сферах, специальностях и секторах. И никакого искусственного интеллекта тут — конечно же нет. 

avatar

WRK

WRK, Верно! Правильная мотивация и прикладной характер — отличное топливо для обучения. Но люди, видимо, ещё помнят боль своей учебы, поэтому им кажется, что можно только через такую боль это делать). Хотя уверен, даже с вышеописанным топливом это будет боль))).
avatar

Replikant_mih

WRK, Ага, уровень техникума советского с математическим уклоном. Методы анализа. Будет все как в прежние времена, расчетчиков(специалистов по Data Science...) человек 300-400 на заводе(хедж фонде), а считать умеют только два. 

Один из методов анализа подсказывает мне что на другой стороне бот.
avatar

Jkrsss

Jkrsss, если уж ты в 40 дворник то нефиг учиться программировать типа)
avatar

Stasik

Вот, уже не помню где наткнулся на препринт книги по математике для DS. Авторы пытаются охватить все что нужно на достаточной глубине, не залезая в дебри. https://mml-book.github.io/
А вообще вы не думаете, что моделировать будут умные люди, а вы будете всего лишь собирать и чистить данные при помощи sql и pandas?
avatar

Yodo

Yodo, ну мы типа и сами не глупые))
avatar

Replikant_mih

Объявы по Data Science лезут изо всех щелей. По ходу, имеет место быть эффект чистильщика обуви: когда на Data Science  можно было поднять реальных денег, об этом никто особо не знал, а когда все легкое и сладкое уже давно заработано, об этом стали говорить на каждом углу. 

Вывод: можно изучать, но строго бесплатно и строго сообразуясь с полезностью, которую можно будет извлечь из этих знаний.
Манул Кот, не, на каждом углу — это так работает контекстная реклама)).
avatar

Replikant_mih

 В прошлом году тоже задумался куда бы дальше, и так бы еще чтобы от пенсии не зависеть. Глянул Дата опупел, пошел сатики делать, теперь умею делать, дальше думаю в программирование. Требуется везде работать где угодно можно. 
Обмануть рынок через Дата не думаю что возможно, рынок это просто работа, года 3 каждый день и что то будет.
avatar

Stasik

Stasik, Нуу, в целом звучит здраво, да).
avatar

Replikant_mih

Replikant_mih, так а почему таки отказались от услуг SkillFactory? Ведь у них и цена на 70% ниже — 135 000 ₽.
Манул Кот, Ну те другие мне показались мощнее). Ну и они дольше, масштабней.
avatar

Replikant_mih

так вы за долгое платное онлайн обучение засели? тогда я вас не правильно понял. удачи, что.

я лично прошел несколько базовых бесплатных курсов и туториалов, чтобы понять что такое jupyter notebook, gbm и lgbm (всего одна буква разницы от lgbt и то искуственная разница, т.к. t = tree) и уже чувствую себя хорошо.
по крайней мере решился вопрос с пониманием того, какими методами сеть чего-то там решает. а то несколько лет пользовался многослойным перцептроном (в сочетании с некоторым новыми методиками учится хорошо и сравнительно быстро) — а понимания что внутри перцептрона происходит не было. просто чёрный ящик.

в курсе по методологии утверждается, что всё-таки понимание предметной области это очень важно. всё-таки брут-форс не так эффективен как направленный брут-форс.

построил свою модель решающих пеньков, запустил, пока результат отрицательный (как и без них было)

а вот толком lgbm пока не разобрался.

ещё не понял такую штуку: допустим перцептрон может строить модели по нескольким фичам, как функцию от них. 
а решающее дерево, классификатор, как я понял, такого не может.
поэтому высоко скоррелированные фичи для перцептрона норм, а для деревьев похоже — только мешают. и вот я не понял, как же можно и деревья применять и работать со скоррелированными данными.

наверное это следующий шаг — построение архитектур сетей из перцептронов и деревьев.
т.е. тренируем несколько деревьев на несколько наборов нескоррелированных фич, 
тренируем несколько перцептронов на моделирование ещё более высокоуровневых фич 
и результат снова пропускаем через дерево решений. это видимо и есть дип лёрнинг.

как вариант — обучить перцептрон с 3-4 слоями чтоб на выходе было только да или нет, а потом последний слой с 1 нейроном отрезать и вляпать вместо него дерево.

попробую на выхах :)
avatar

ПBМ

как успехи, продолжаешь? 

Я на таком же распутье стою, как ты в начале,  не знаю,  пробовать ли,  математику толком не знаю
На ютубе все бесплатно есть, а эти говношколы, только деньги тянут. Skillbox? вообще пирамида.
avatar

Montazakh


....все тэги
UPDONW