Блог им. AGorchakov

Ликбез про теорию вероятностей

Сложился стереотип, что теория вероятностей – это человеческая наука  о случайности. На самом деле это не совсем точно. Это математическая дисциплина, изучающая свойства вероятностных пространств. Что такое вероятностное пространство? Это человеческая математическая модель для случая, когда пока ненаблюдаемое является набором событий с некоторыми шансами их появления, как минимум, два из которых ненулевые. А что такое случайность? Это когда наше лучшее знание о пока ненаблюдаемом является набором событий с некоторыми шансами их появления, как минимум, два из которых ненулевые. Т. е. теория вероятностей занимается лишь изучением второй части из определения случайности и никак не доказывает и не опровергает гипотезу о нашем лучшем знании о пока ненаблюдаемом. Т. е. в основе теории вероятности лежит гипотеза об объективном существовании случайности.

И как определяется вероятностное пространство? А определяется оно исключительно в виде частного случая теории множеств, лежащей в основе всей современной математики. Откажитесь от теории множеств и вся современная математика рассыпается в прах.

Итак вероятностное пространство – это сигма-алгебра с мерой на нем, называемой вероятностью.

Что такое «сигма-алгебра»? Это множество с обычными операциями на его подмножествах объединение («или») и пересечение («и»), обладающее замкнутостью относительно счетно-аддитивной операции объединения, т. е.  любое объединение вида

i i=1,2,…, в свою очередь является подмножеством исходного множества.

Сложно и нелогично? Не вижу ничего сложного и нелогичного в условии замкнутости для операций «или» в части описания всего возможного набора будущих событий. Например, что необычного в событии для бросания монетки «выпадет орел или решка». Это не событие? Вполне себе событие, описывающее множество  возможных будущих исходов бросаний. Единственная абстрация – это объединение бесконечного числа подмножеств,  пронумерованных рядом натуральных чисел. Сложно привести простой и понятный любому человеку пример, что это за «зверь» и зачем он нужен. НО! Весь современный математический анализ (сложение, умножение, интегралы, дифференциалы и прочее основаны на этой самой счетной аддитивности) и потому можно констатировать, что она добавлена в теорию вероятностей с одной математической целью: чтобы можно было пользоваться методами математического анализа при изучении вероятностных пространств. Поэтому критика счетной аддитивности, как непонятной и бессмысленной абстракции, является не отдельной критикой теории вероятностей, а критикой всего современного математического анализа. Считаете математический анализ бесполезной абстракцией? Ну тогда и теорию вероятностей можно рассматривать аналогично.

Второй «стороной» вероятностного пространства  является мера на нашем множестве, называемая вероятностью. Что такое просто мера? Это действительнозначная неотрицательная функция f на сигма-алгебре (т. е. множестве замкнутом относительно операции объединения подмножеств), удовлетворяющая нескольким вполне логичным условиям:

1) f(AUB)=f(A)+f(B)-f(AB)

2) если A подмножество B, то f(A)<=f(B)

3) если для любых i и j МiMj равно пустому множеству, то

f(UМi i=1,2,…,) = сумма f(Mi).

Что неестественного в этих условиях? Разве что в третьем условии бесконечность опять вызывает вопросы, как абстракция.

А почему наша мера Р называется вероятностной? А потому что к условиям для обычной меры добавляются еще два

1.  Р(пустого множества) = 0

2.  Р(от всего множества)=1

И в чем  отличие от меры вообще? Только в конечности, потому что любую конечную меру можно путем центрировки и нормировки   «загнать» в интервал [0,1]. Кстати, переход в нечеткой логике от интервала [0,1] к произвольному конечному интервалу выдается за новое слово в науке. С какого будуна, если операциями вычитания и деления, изучаемыми в начальной школе, все сводится к тому же [0,1]?

Как видите, ничего нелогичного и сложного в определении основного объекта изучения теории вероятностей нет, за исключением абстракции  с бесконечной счетной аддитивностью. Да и последнее – это следствие основы современного математического анализа.

Вот и вопрос: чем плоха данная модель для описания случая

пока ненаблюдаемое является набором событий с некоторыми шансами их появления, как минимум, два из которых ненулевые?

Разве для таких случаев можно представить, что нет операций «или» и «и» на событиях? Ерунда, это есть всегда.  Шансы событий могут быть бесконечными?  Ну ка нарисуйте мне бесконечность :). Счетная аддитивность? Ну да, это и представить сложно и ограничение, но для чего? Да только для того, чтобы пользоваться математическим анализом, хотя бы элементарными сложением, вычитанием и делением. Вы считаете, что  операции – глупость человеческая? Ну тут уже мне возразить нечего. Это Ваше право так считать. И спорить нужна математика вообще или не нужна можно до бесконечности. Но если мы считаем, что  математика нужна и соглашаемся с тем, что то, в том, с чем мы работаем,  пока ненаблюдаемое является набором событий с некоторыми шансами их появления, как минимум, два из которых ненулевые, то без вероятностного пространства нам не обойтись, а значит и не обойтись и без теории вероятностей, как единственной науки об изучении его свойств.

А какая альтернатива у предположения пока ненаблюдаемое является набором событий с некоторыми шансами их появления, как минимум, два из которых ненулевые? Только одна: это пока ненаблюдаемое может быть предсказано точно и значит ошибок и даже локальных убытков у нас нет и быть не может. Вы готовы для рынка доказать последнее?

★14
42 комментария
dmitriy, а Саймонс с Ренесанс Технолоджис? Да и необязательно быть математиком, в экономических и технических ВУЗах вполне нормальные курсы теории вероятностей. Достаточно просто их изучить, как это сделал тот же Паркер со своим бухгалтерским образованием.
avatar
А. Г., S@P то хоть обогнал со своей математикой?)))
Японский городовой, ну Вы прямо, как Тарас Бульба: «Что, сынку, помогли тебе твои ляхи?» :)

А если серьезно, сиплым я реально не торгую.
avatar
пост своевременный! сразу после 8 Марта!
)))
всё для вас, уважаемый А.Г.   про казино не хотите поговорить? :)
avatar
Александр Борисович!
Всё же теория вероятностей, занимаясь случайными явлениями, исходит из того, что случайность это как бы природа этих явлений, их суть, но лишь во вторую очередь случайность это мера нашего незнания.

Понятно, что мы можем к процессу, протекание которого полностью детерминировано, применить теорию вероятностей и описывать этот процесс в терминах распределений, потом делать оценки и т.д. Однако, от этого суть данного процесса не становится случайной.

В теории вероятностей речь идет о случайной природе явления. Сам факт того, что мы говорим «условное распределение равно безусловному, а в безусловном есть хотя бы пара вариантов с ненулевыми вероятностями» означает не то, что мы не знаем, а то, что может быть как то, так и другое.

Вот как развести две ситуации? В одной мы не знаем и оно для нас случайно. В другой мы не знаем и узнать не можем, но надеемся на некое среднее знание и его устойчивость.


avatar
Sergey Pavlov, в том то и дело, что это заблуждение, что теория вероятностей, как наука, занимается случайными явлениями. Нет, это именно наука о свойствах вероятностных пространств, определение которых я дал в тексте. А в остальном верно, дальше делается неявная импликация

случайное явление=вероятностное пространство

и «добро пожаловать» в свойства случайных явлений (на самом деле свойства вероятностных простанств). А условное и безусловное распределение — это просто переход от одного вероятностного пространства к другому.

А на вопрос является ли пока ненаблюдаемое случайным явлением или не является в теорвере вообще нет ответа. Это сродни вопросу веры: существует ли объективная случайность? Понятно, что там, где есть точный прогноз, ее нет. А там где мы не знаем есть точный прогноз или нет? В последней ситуации мы конечно не знаем с чем имеем дело: с объективной случайностью или непознанной закономерностью? И при ответе на последний вопрос попадаем в вопрос веры, а не знания.
avatar
А. Г., я всё понял, о чём шла речь между вами и Сергеем Павловым. Т.е. самое по себе такое явление как случайность, неизвестно существует или нет. Очень интересная мысль. А на счёт вероятностей, это способ увидеть закономерность без понимания сути. Мы же не знаем что скрывается за движением графика, что конкретно повлияло на то или это. И невозможно будет знать, там слишком много всего.

Но есть разница. Если нужно узнать вероятности у объективной реальности, то туда включится физическое взаимодействие. На рынке будет примешиваться эмоциональный и все прочие особенности присущие и отличающие человека от простых физ объектов.

Для такой сложности, наверное нужно существенно более крутой «двигатель», чем то что высчитывает просто взаимодействие физ объектов. 

Хотя, пример с погодой может подойти и тут, вероятно. Мы не знаем какая будет погода точно, но точно знаем, что зимой будет минус, примерно 5 или 15 в среднем.

Или например то о чём говорили Бериц или Ситников, анализировать текущую ситуацию, куда заходят крупные деньги. Тогда всю прочую сложность можно обойти. Это как предугадать дождь через 1-2 часа по тучам, порывистому ветру, запаху воздуха, молниям, птицам. У кого-то сверхспособность — ноют суставы) 

Рынок не предсказуем, не потому что никогда этого не может быть, а просто чудовищно сложный процесс. Но если найти подход и браться или за глобальное движение или за очень локальное и найти точно показывающие факторы, то можно выполнить цель.

Чисто мнение это всё)

Ещё у меня есть такое представление. Есть 2 вселенных: первая очевидная и материальная, вторая — вселенная сути вещей. Во второй лежат все законы, формулы, науки — всё то что описывает внутреннюю сущность.

Они как песочные часы. И вот что думаю, нам нужны механизмы, такие же как космические аппараты, но для путешествия во второй вселенной. Например сильный ИИ. А иначе, пространство слишком большое и сложное.

Сам я в математике вообще ноль, только по сути вещей могу что-то понять. Прошу прощение если столько банального и неинтересного изложил.
avatar
Артур Грос, все же гораздо проще на рынке с точки зрения теории вероятностей. Если точно знать распределение будущего(!) приращения цены на горизонт позиции, то нет никаких проблем получать прибыль на горизонте в несколько раз превосходящем горизонт позиции (!). Проблема в том, что мы этого распределения, как правило, не знаем, а явно или неявно строим гипотезы о нем или отдельных его параметрах.

А то, что будущее приращение цены непредсказуемо точно в большинстве моментов времени подтверждает существование таких инструментов, как опционы.
avatar
А. Г.,  о, а не едино ли наше понимание с вами?) Вот пришёл я к тому, что всегда определяется так или иначе диапазон колебаний цены. Но вместе с тем, всегда случается выход из прежнего и переход в новый.


Другими словами, если нам скажут что будет «пила» на рынке в ближайшие 5 мес, допустим, то заработать не составит труда. Примерно про это же речь?


Единственное, нужно как-то суметь обыграть ситуацию, когда будет сдвиг и выход из прежнего диапазона в новый. Это как поезд, который может увезти осенью в краснодарский край)) Тогда похолодание не только отложится, но и ограничится.


Получается, важно научиться понимать «погоду» (распределение) и знать примерные моменты отправления/маршруты «поезда» (сдвиг цены).


И да, очень важное примечание, что нужно учитывать время позиции. Т.к. смена парадигмы со временем очень вероятна. Чем дольше, тем больше потенциал разброса цены. Кризис, война, санкции или более мелкое — вероятность события со временем растёт. Баланс/дисбаланс.


Если это реализовывать, пусть и не совсем точно заходя и умело распределяя нагрузку на депо, потенциал заработка станет преобладать.


Скажите пожалуйста, это понимание может быть похожим на то о чём вы говорите?


Если есть доля толка в том, то как научиться видеть границы распределения и быть готовым к смещению?

Может:
1. Прямой опыт — тонкие навыки в процессе наблюдения
2. История уровней и объёмов

Благодарю за ваши мысли!)

avatar
Артур Грос, мысли примерно одинаковы, только я предпочитаю «сухую алгебру формул», которые можно объективно проверить на истории. 
avatar
А. Г., в этом ваша природа и сила. Как говорит профессор Савельев, основные разделы мозга отличаются до 40 раз от человека к человеку. Подразделы кратно и поля/подполя кратно. Совокупно это лавина отличий. У одного поэта нашли подполе, которое ни у одного человека не находили ранее. У некоторых буквально «нечем» воспринять некую сложность мира.

Вас ещё раз благодарю за укрепление моих направлений мысли, не сразу понял с какого уровня мне идёт вещание по делу трейдинга) С наступающим Вас! Новых высот в жизни и деле, достижения потаённых глубин своей природы желаю!)
avatar
У меня по теории вероятности в вузе была пятерка, по единственной из всех математических и околоматематических дисциплин. Но честное слово, если бы я учил тервер по учебнику с таким изложением как у Вас, я бы её не осилил и на 4-ку))). Да, когда все участники обсуждения, диалога или чего-то аналогичного одинаково хорошо осведомлены в предмете, то ссылаться на понятия, явления, конкретные кейсы можно чисто по названию, это наиболее точно, ибо за ними в науке уже закреплены скорее всего однозначные смыслы, + так намного проще и быстрее, но черт возьми если у тебя нет такого бэкграунда, то простые вещи, объясняемые не через низкоуровневое описание на языке обычного человека, а через такие ссылки через названия — вообще не воспринимаются)).
avatar
Replikant_mih, вообще то это краткий пересказ аксиоматики Колмогорова (1936-й год) с экивоками в философию в части вопроса об объективной случайности. И ничего более. Да и определения всяких заумных терминов, типа сигма-алгебра, мера, я вроде дал. Разве что объединение и пересечение множеств пропустил по умолчанию.
avatar
А. Г., ну просто я на этом языке не умею разговаривать), математика для меня слишком абстрактна, когда пытался освоить математики когда мне казалось, что абстрактней уже некуда, создавались новые абстрактные конструкции над и без того абстрактными, если бы не это — из меня по-любому бы получился отличный математик))). Подожду у Вас других тем, с меньшей концентрацией математики)
avatar
Replikant_mih,  да это и не нужно для практических задач на таком языке разговаривать. Это написано для тех, кто не понимает, что убыток на рынке является следствием его случайности и что если на рынке нет случайности, то не может быть даже локальных убытков  (рисков). А если признать случайность рынка, то сразу возникает необходимость хотя бы простенький справочник по матстатистике прочесть, чтобы уметь проверить свой метод торговли на то, что в нем используются реальные, а не мнимые зависимости между прошлым в широком смысле и знаком будущего изменения цены.

avatar
А. Г., а вы никогда не рассматривали трейдинг, как процесс, в котором результат определяется не рынком, а действиями трейдера?) Почему у вас (имею в виду не только вас лично, но и многих других, особенно пришедших на рынок из точных наук) — результат трейдинга обязательно обладает теми же свойствами, что и рынок? То есть вы считаете, что если рынок случаен=то и результат трейдинга случаен. Если рынок не случаен= то результат трейдинга не случаен. Что это за странная линейная зависимость? Неужели вы не допускаете, что в случайном объективном рынке существуют не случайные результаты (положительные или отрицательные), которые формируются не рынком, а неслучайным характером субъективного трейдинга?)
Аллирог, если б результат определялся только действиями трейдера, то трейдер торговал бы без просадок с доходностью выше «безрисковой ставки». Вы знаете таких? А то, что смещая вероятность в свою сторону, на долгосроке можно быть в плюсе с вероятностью 0,99, я только в своем недавнем видео говорил. Но это не отменяет случайности ни рынка, ни трейдера. Ведь в который раз повторяю случайность=невозможность точного прогноза. И в том же видео я говорю, что любая функция от случайных величин — случайная величина. А результат трейдера — это функция от рынка. Если рынок случаен, то и результат трейдера случаен. Но, повторю, случайность не означает, что вероятность выигрыша меньше, либо равна вероятности проигрыша. Случайность лишь означает, что вторая не нуль.
И, кстати, я никогда не говорил, что случайность в результате трейдера такая же, как и случайность на рынке. Функция от случайных величин может иметь совсем другое распределение, чем исходные величины. Равенство будет лишь тогда, когда будущая случайность никак не связана с прошлыми реализациями случайных величин.
avatar
А. Г., вот именно об этом я и говорю)) Почему вы считаете, что наличие просадок означает случайность результата трейдера?) Просадки могут быть, но это не означает что случаен результат.Ибо результат определяется только моментом фиксации сделки, а просадка — это период, в котором результат еще не зафиксирован.И второй момент.А почему вы считаете, что результат зависит от точности прогноза? Вы не думали о том, что прогноз вообще не определяет результата? Разве вы не знаете случаев, когда вход в сделку про точному прогнозу (что потом можно оценить пост-фактум) в итоге приводил к отрицательному зафиксированноу результату, а вход по  неправильному прогнозу — наоборот в итоге приводил к фиксации плюса? Например — вы купили акцию по 5 рублей, а она упала до 4-х рублей.Прогноз верный? Нет.Но вы не фиксируете отрицательную сделку, а начинаете ждать и в итоге закрываете ее по 6 рублей. В итоге вы своими действиями вход по неправильному прогнозу превращаете в положительный результат.Именно потому, что момент фиксации результата определяете именно вы и он не случаен.
Аллирог, это ошибка рассуждать: «не продал — не убыток» :) Деньги могут понадобиться раньше, чем выйдете в прибыль. И что тогда как считать? Реально убыток, а потом виртуально вышли в прибыль, значит все правильно? Банкротство LTCM из той же серии: был маржин-колл, нашлись инвесторы довнесшие денег под открытые позиции, и в итоге зафиксировали прибыль. Это верный или неверный прогноз?
avatar
А. Г., это частные исключения, которые не опровергают правило. Случаи, когда вам резко понадобились деньги или случаи банкротства эмитента происходят на рынке на порядки реже случаев, когда рынок дает вам возможность выйти в плюс после просадок. Но проблема в том, что абсолютное большинство трейдеров предпочитают фиксировать результат в отрицательной зоне, если цена сразу не пошла в их сторону (то есть, если прогноз был неверен).В итоге они своими действиями приравнивают случайность своего результата к случайности рынка. И проблема именно в этом, а не в том что результат трейдера случаен.Случаен он лишь у тех, кто сам это делает.Откажитесь от привязки вашего результата к точности вашего прогноза и ваш результат перестанет быть случайным)
Аллирог, а покупка никея в 1993 или насдака в 2000 или газпрома по 300 в июне 2008 без фиксации убытков — это тоже «исключения»? :)

А то что индексы глобально растут пропорционально денежной массе — это я говорил. Только вот Ваша доля в выпущенных государством деньгах при продаже с прибылью может упасть и сильно. Т. е. относительно выпущенных денег Вы станете беднее.
avatar
А. Г., конечно исключение.Сколько лет существуют акции Газпрома? 22 года примерно. Сколько времени из этого периода Газпром торговался выше 300р? Пол-года примерно.То есть 97,8% времени Газпром возвращался в цены покупок за историю своего существования, а 2,2% времени ПОКА не вернулся (для тех, кто купил выше 300р.) Вот наглядное отличие исключения и правила. И более того — а кто сказал, что Газпром не вернется в 300 р в будущем? Вероятность этого также далеко не нулевая)
Аллирог, ну а никкей с насдаком? И это только лонги и акции. А сколько шортов в акциях нельзя зафиксировать с прибылью, скорее всего уже никогда? Не счесть.
avatar
А. Г., шортить акции вообще нельзя, работа в кредит — это глупость, придуманная индустрией, чтоб обирать неопытных трейдеров)
А что касается Никкея и Насдака — так это тоже исключения, посмотрите сколько на них приходится % из общего вероятностного поля, по аналогии с Газпромом)
Аллирог, ну так  событие убытка, пусть и маловероятное, как раз и указывает на наличие случайности. Не было бы случайности, не было бы исключений. Да и задача не просто быть в плюсе, а иметь доходность либо больше рынка (при его росте), либо больше «безрисковой ставки» (при падении рынка).
avatar
А. Г., народная мудрость говорит, что исключение -только подтверждает правило) Когда исключения составляют 50% от правил -тогда правило не работает.А  если исключения составляют 5% от правил -значит правило все-таки есть) Все дело в мере, как всегда)) 
Аллирог, ну я же только выше написал, что случайность на рынке — это когда вероятность проигрыша не нуль. А 50% или 5% — это не отменяет случайность.
avatar
А. Г., ну, тогда с этой точки зрения — то, что Землю до сих пор не разнес метеорит в щепки — это тоже случайность, ведь вероятность этого события не нуль))
Или можно сказать — я случайно не встретил на улице динозавра)) Ведь вероятность его встретить — тоже не нуль… но и не 50%, как у блондинки)))
Аллирог, вообще то в механическом мире мало случайностей. Даже бросание монетки рукой неслучайно, так как проведя серию измерений с обсчетом на быстром компе можно точно предсказать, что выпадет до падения монеты на пол. С метеоритом то же самое. А, как я уже писал выше, только посредством применения теории вероятностей можно определить сколько составляют исключения — 5% и 50%. Для этого она и нужна.
avatar
А. Г., с нами играет глупую шутку психология, мы склонны придавать исключениям слишком большое значение, в силу того, что они яркие и запоминающиеся.Это и вечного страха кризиса тоже касается, кстати. Синдром 98-го очень многим помешал отсидеть потом аптренд нулевых. И это проблема не рынка, это исключительно проблема субъективного восприятия трейдером этого рынка.
Аллирог, По моему использование системного и особенно алгоритмического подхода позволяет по максимуму уйти от шуток психологии и вечных страхов). Хотя конечно они могут быть настолько глубоко зашиты в трейдера, что он будет даже опасаться бэктестить пугающие его вещи)))
avatar
Replikant_mih, это очередная иллюзия, к сожалению) Системный подход и алгоритм создается непосредственно человеком, субъектом. И человек зашивает в свой алгоритм свою психологию, в том числе свой страх и жадность. Где брать стоп-лосс и брать ли его вообще, каким размером счета работать, как и где фиксировать прибыль и т.д. — это ключевые параметры любого алгоритма, но они целиком зависят от предпочтений субъекта, от его психологии) Так что алгоритмы никоим образом не избавляют трейдинг от субъективного фактора, как бы ни хотелось в это верить)

Аллирог, Да, психология не уходит полностью из процесса в случае алгоритмического трейдинга, но связь становится другой. Когда я торгую руками — я ориентируюсь на свой опыт, видение, что-то ещё — да, тут в полной мере срабатывают психологические ловушки навроде прожигания в памяти отдельных болезненных кейсов, которые воспринимаются мозгом как закономерность и т.д. и такие ловушки искажают мои оценки, + получаем многократный эффект субъективности когда в позиции при высокой волатильности нереализованной прибыли вылезают психологические демоны наружу)). 

А при системной как: — демоны во время позиции не вылезают.

— а при оценке стратегии ты по-хорошему видишь всю картину, у тебя есть вся выкладка «а что если так, а что если вот так», и ты её уже оцениваешь. Допустим ты видишь, если будешь с плечом торговать то макс просадка будет 50%, а вероятный профит 300%, а если без плеча, то макс просадка 5, а профит 70%. Да, делая выбор между вариантами ты конечно не исключишь психологию, но это уже другая психология — не вылезающие в позиции или просадке демоны (о которых выше), и не субъективное представление о характере стратегии вместо более объективного.

avatar
Replikant_mih, все верно, но ведь работа с демонами не обязательно предполагает алгоритмизацию. То есть алгоритм — это просто один из способов работать со своей психологией, но он далеко не единственный и имеет ряд недостатков.Один из которых — отсутствие мобильности. Ведь формализовать можно в том числе и собственные ошибки и алгоритм будет с непреклонной напористостью машины тиражировать эти ошибки пока полностью не сольет счет. При ручной торговле почувствовать эти ошибки и перенастроить их намного проще, но и сложнее одновременно — с этим нужно постоянно работать на практике, чтоб уметь это делать оперативно и адекватно)
Аллирог, Я не очень люблю категоричные оценки), в т.ч. и трейдинг этому способствует, недостаточная гибкость, и чрезмерная упертость могут плохо сказаться на результатах)). Всё зависит от человека, кому-то удобней то, кому-то это, кто-то эффективней делает одно, кто-то другое. На мой способ мышления, память, темперамент и т.д. и т.п. намного лучше ложится алгоритмическая торговля. Но я не буду её всем советовать, как, например, не буду всем советовать идти торговать на финансовых рынках — по тем же в принципе причинам.
avatar
Replikant_mih, все правильно, главное чтоб был результат и каждый ищет свои способы работать с психологией.Я лишь хотел сказать, что алгоритмизация — ни в коем случае не панацея и не выключение психологии, а просто один из способов с ней работать, со своими плюсами и минусами. 
Аллирог, Согласен, на этом эту ветвь диалога и закроем))
avatar

А. Г., Это одна из тех характеристик рынка, которая привлекает людей, ну по крайней мере меня — что можно не говорить на языке математики, можно вообще ни на каком, можно сидеть в стакане одной единственной акции, синхронизироваться с ней на интуитивном уровне и торговать в плюс себе спокойненько. 

Проверка закономерностей на реальность/мнимость на мой взгляд как минимум не менее важный этап и фактор успеха, чем сам поиск закономерностей, ну вернее это даже часть самого такого поиска)

avatar

теги блога А. Г.

....все тэги



UPDONW
Новый дизайн