G25 координаты и их вейвлет-анализ

[wave48]

Предлагаю обсудить здесь возможность применения методов обработки сигналов, в частности вейвлет-анализа для извлечения информации из G25 координат.
Что такое G25 объяснять надеюсь не нужно. Методом PCA обработали огромный массив информации и сократили до кодов из 25-ти цифр. И что с этими кодами делать дальше? Имеется приличное количество калькуляторов, которые вычисляют по ним этнический состав и принадлежность счастливого обладателя кода к предковым популяциям. Очень хорошо, но появляется свобода, проверить результаты этих вычислений сложно. Вот для этого, по-моему, вполне можно применить вейвлет-анализ.
Что это такое скажу в двух словах, потому что предполагается что это известный и отработанный метод. Применяется он там где не годится преобразование Фурье для поиска информации в сильно зашумленных сигналах и хаотических данных. Еще для сжатия изображений, но это другая тема.
Хорошо, сделаем вейвлет-преобразование G25 координат. Скелетоны скалограмм нескольких персон из бронзового века выглядят так:

Как их понимать? Полоски длинные через весь график - это циклы с опреленным периодом. Полоски им перпендикулярные - это квантовые скачки, катастрофы. Мы видим сложные фигуры (загогулины)  PCA анализ вещь вообще-то линейная и поэтому можно подумать о том что на этих картинках изображен эволюционный путь человечества.
Что с этими графиками делать? Есть чего... 
Для начала сделаем иерархическую кластеризацию какой-нибудь выборки. Я возьму сейчас выборку балтийской бронзы:
Baltic_BA:poz710,0.122929,0.122879,0.07731,0.096254,0.033852,0.037929,0.00658,0.002538,-0.015339,-0.048475,-0.007632,-0.007943,0.012042,0.025735,0.012215,-0.010872,-0.022296,0.008995,0.013952,-0.001501,0.001996,0.023989,-0.002588,-0.022051,0.002036
Baltic_BA:poz674,0.133173,0.132019,0.099183,0.084626,0.064012,0.027889,0.01034,0.009692,0.008795,-0.026242,-0.005846,-0.009891,0.015461,0.012524,0.002986,0.008088,0.006389,0.00038,0.002514,0.016133,0.011854,-0.001978,-0.004683,-0.023256,0.006945
Baltic_BA:poz690,0.135449,0.117801,0.086738,0.103683,0.034468,0.027889,0.004935,0.017307,-0.006954,-0.026424,-0.007145,-0.014087,0.02661,0.008257,-0.002579,0.010607,0.011213,-0.005828,0.001006,0.000375,0.006738,-0.000371,0.012695,-0.013134,-0.006826
Baltic_BA:s19_V16_1,0.138864,0.119832,0.100314,0.116927,0.051394,0.043507,0.003055,0.018922,0,-0.05704,-0.002111,-0.019633,0.03776,0.043214,-0.014794,0.000265,0.015646,-0.003547,0.000377,-0.00025,-0.013351,-0.016817,0.006902,-0.016147,0.002634
Baltic_BA:s19_V9_2,0.135449,0.12491,0.099183,0.109175,0.047393,0.036256,0.014571,0.013846,-0.004704,-0.051937,-0.000812,-0.027426,0.039246,0.035782,-0.010043,0.018165,0.031162,-0.011149,-0.012947,0.004502,-0.001872,-0.011747,0.012202,-0.025666,0.002155
Baltic_BA:s19_X08_1,0.133173,0.114755,0.093903,0.111436,0.045547,0.048806,0.015981,0.01523,-0.001023,-0.049022,0.001137,-0.014987,0.034489,0.037846,-0.016694,0.002519,0.004694,-0.005194,0.000377,0.005378,0.00549,0.010758,0.006162,-0.019882,-0.007544
Baltic_BA:s19_X10_1,0.125205,0.105615,0.098806,0.11079,0.053856,0.032351,0.014571,0.024691,0.004909,-0.040821,-0.004384,-0.012139,0.026462,0.038121,-0.016151,0.007558,0.019818,0.001014,-0.00264,0.004252,-0.008111,-0.01014,0.011709,-0.019039,0.0097
Baltic_BA:s19_X14_1,0.120652,0.119832,0.101445,0.112082,0.052317,0.029284,0.028671,0.009461,-0.005931,-0.049568,0.000325,-0.013188,0.032259,0.038534,-0.010179,0.00769,0.008214,0.006461,0.000503,0.001501,-0.007612,0.000124,0.013064,-0.010122,0.002754
Baltic_BA:poz665,0.126344,0.133034,0.095412,0.099807,0.047086,0.034582,0.009635,0.013846,0.004704,-0.023691,0.001949,-0.002847,0.018731,0.007569,-0.003257,0.003845,-0.004042,0.00152,0.000377,0.006003,0.010482,-0.004328,0.000616,-0.019521,-0.002036
Baltic_BA:poz711,0.122929,0.117801,0.080704,0.094962,0.037238,0.026495,0.01081,0.023768,-0.006749,-0.039727,0.002436,-0.013938,0.024975,0.012937,-0.007872,0.00769,0.008084,-0.00114,0.005154,-0.004252,0.002371,-0.000495,0.012695,-0.017713,-0.002634
Baltic_BA:Turlojiske1,0.122929,0.126941,0.092395,0.098515,0.042469,0.034582,-0.00188,0.010153,-0.000614,-0.04975,-0.000812,-0.018583,0.013082,0.032066,-0.0095,-0.000398,-0.006389,0.003041,-0.00817,-0.001251,-0.002496,0.005193,0.002342,-0.021328,0.00946
Baltic_BA:Turlojiske3,0.135449,0.129988,0.089755,0.089471,0.038469,0.038208,0.016451,0.011999,-0.005727,-0.047017,-0.003573,-0.017085,0.017393,0.021744,-0.009772,-0.006762,-0.011213,0.002154,-0.001634,0.002626,-0.004367,-0.00272,-0.001356,-0.007591,0.008861
Baltic_BA:poz554,0.124067,0.11577,0.085229,0.093347,0.040007,0.03514,0.00705,0.012461,-0.003477,-0.032985,-0.009094,-0.012889,0.020367,0.028488,0.001357,-0.007823,-0.008605,0.005194,0.008547,0.012131,0.004118,-0.004822,0.000986,-0.010724,0.00946
Baltic_BA:poz794,0.130897,0.117801,0.089,0.110467,0.049548,0.037092,0.008695,0.017076,0.001023,-0.042097,-0.005684,-0.014837,0.02884,0.026561,-0.009908,0.019093,0.018123,0.005068,0.004525,0.013632,0.002745,-0.00507,0.011339,-0.025666,-0.005508
Baltic_BA:Kivutkalns19,0.130897,0.122879,0.108611,0.110467,0.052933,0.041276,0.015746,0.016384,-0.001636,-0.049204,-0.001137,-0.016785,0.037165,0.037296,-0.017236,0.005834,0.004172,0.007855,0.008045,0.009505,0.000749,-0.00643,0.019473,-0.020123,0.006586
Baltic_BA:Kivutkalns194,0.118376,0.13405,0.092017,0.10756,0.034776,0.038208,0.011281,0.010384,0.022089,-0.038087,0.004222,-0.007493,0.024232,0.040186,-0.020901,0.009016,0.010561,-0.006841,-0.002137,0.027513,-0.017594,-0.005441,0.013804,-0.022413,0.011735
Baltic_BA:Kivutkalns207,0.129758,0.12491,0.110119,0.114666,0.048932,0.047133,0.016686,0.019384,-0.003477,-0.058316,-0.00341,-0.025777,0.036571,0.052709,-0.014658,-0.009546,-0.00678,-0.003294,-0.006913,0.003252,-0.005366,-0.006554,0.008504,-0.025184,0.001796
Baltic_BA:Kivutkalns209,0.124067,0.117801,0.089,0.120157,0.046778,0.041555,0.012926,0.028383,-0.002045,-0.052302,-0.00747,-0.021431,0.037611,0.046104,-0.016422,0.004906,0.0103,-0.008235,-0.002137,0.00963,-0.004492,-0.011252,0.014666,-0.02181,0.002515
Baltic_BA:Kivutkalns215,0.134311,0.133034,0.09956,0.108529,0.051702,0.04016,0.013396,0.021461,0.003477,-0.050844,-0.005034,-0.019633,0.029732,0.039773,-0.012351,-0.003182,-0.015255,0.003294,-0.000754,0.012756,0.003494,-0.005317,-0.000616,-0.020003,0.007664
Baltic_BA:Kivutkalns222,0.130897,0.123895,0.101068,0.120157,0.057549,0.044344,0.020211,0.022384,-0.005522,-0.045923,0.000162,-0.024578,0.031516,0.040736,-0.013979,0.011403,0.011995,-0.007221,0.004022,0.008629,-0.009234,-0.000742,0.007272,-0.0194,0
Baltic_BA:Kivutkalns25,0.135449,0.125926,0.095412,0.112405,0.056318,0.033746,0.013396,0.021691,-0.005522,-0.048839,0.001299,-0.016485,0.029732,0.043214,-0.021444,0.009016,0.01695,0.00152,-0.004274,5e-04,-0.000125,-0.005193,0.008011,-0.019521,-0.00012
Baltic_BA:Kivutkalns42,0.133173,0.135065,0.09428,0.102391,0.045239,0.034861,0.014806,0.016153,-0.002454,-0.04483,0.002923,-0.018733,0.03553,0.043764,-0.021308,-0.00411,-0.005998,0.005828,0.008799,-0.002876,-0.000624,-0.00371,0.008874,-0.034945,0.002754
Baltic_BA:Kivutkalns153,0.137726,0.123895,0.110873,0.10336,0.041238,0.037929,0.012456,0.013153,-0.010022,-0.051391,0.005521,-0.019333,0.034192,0.046379,-0.013165,-0.011535,-0.00678,-0.005954,-0.007542,0.001126,0.010731,-0.002102,0.003081,-0.017954,-0.010059
Baltic_BA:s19_X11_1,0.126344,0.128972,0.093149,0.12048,0.052317,0.041834,0.014806,0.031845,0.002659,-0.047199,0.005846,-0.02263,0.033151,0.047617,-0.019137,0.003447,0.007693,-0.004941,0.007039,0.001876,-0.003743,-0.004204,0.013188,-0.008194,-0.002395
Baltic_BA:s19_X15_2,0.130897,0.126941,0.095789,0.104976,0.046778,0.041834,0.026086,0.015692,-0.003068,-0.055218,-0.000974,-0.013788,0.033895,0.037158,-0.022394,-0.023336,-0.011735,0.003294,-0.008422,-0.006128,0.005241,-0.011747,0.016145,-0.011086,-0.002155
Baltic_BA:s19_X17_2,0.129758,0.128972,0.097674,0.105299,0.048624,0.042391,0.016451,0.033922,-0.010635,-0.050479,0.003085,-0.016635,0.033003,0.047893,-0.021987,-0.013259,0.00013,0.008615,-0.002765,-0.001251,0.008859,-0.010758,0.006409,-0.023979,0.003832
Baltic_BA:poz545_2,0.119514,0.120848,0.07203,0.088179,0.036007,0.038766,0.016451,0.001615,-0.0045,-0.035354,-0.000162,-0.008692,0.013974,0.020643,0.004614,-0.005304,-0.0103,-0.002027,-0.00088,-0.004002,0.004991,-0.005812,0.0053,-0.001325,-0.003233
Baltic_BA:poz662,0.126344,0.127957,0.093526,0.092055,0.052317,0.038766,0.00329,0.009923,-0.002863,-0.022962,-0.002111,-0.006145,0.019326,0.027937,-0.00475,0.008088,0.002868,-0.002534,-0.000754,0.026638,0.007112,-0.015704,0.008997,-0.0194,0.014011
Baltic_BA:poz663,0.122929,0.118817,0.084852,0.087856,0.04647,0.028726,0.004935,0.006,0.001227,-0.036629,-0.016564,0.000749,0.013974,0.023121,0.000543,0.007425,-0.005867,-0.003674,0.004525,0.014507,0.005366,-0.01558,0.014666,-0.00735,-0.001796
Baltic_BA:I20771,0.133173,0.135065,0.061094,0.046512,0.050779,0.016455,0.002585,0.003461,0.010226,0.007472,-0.00065,-0.01109,-0.002676,0.001651,-0.007736,0.017237,0.024773,-0.009755,-0.005154,0.013256,0.00549,0.001237,0.000246,-0.014098,-0.005149
Baltic_BA:I25505,0.130897,0.147252,0.064488,0.033592,0.045855,-0.000279,0.003995,0.004154,0.015544,0.01057,-0.007145,0.01169,-0.00223,0.005367,0.001764,-0.012066,-0.008996,0.005828,0.010307,-0.005253,0.004617,0.008285,0.002465,-0.015062,-0.004071

Как? Алгоритм простой. 1.Суммируем все графики и получаем опорный график. 2.Умножаем графики с опорным и находим средние значения по осям x и y. 3 Заводим их на вход процедур кластеризации в Питоне.
Дендрограмма выборки балтийской бронзы:

Хорошо видно что выборка сильно неоднородна, есть в ней те кто лишний. Кластеризуем на 7 кластеров:

Ну и, наконец, нужно с ними познакомиться. Теперь они выглядят несколько в другом свете (первый столбец - номер кластера):

Получается что метод сработал и отсортировал нам выборку. Это уже хороший результат.
Что дальше? Заполняю базу данных и пишу программу. Буду рад любым предложениям и пожеланиям.

[wave48]

Сравнение графиков пришлось усложнить, потому что переменные оказались зависимыми и точки ложились на диагональ.
Сейчас кластеризация, например, колоколовидных кубков выглядит так:

[Srkz]

А зачем нужна древовидная кластеризация Вот, допустим, князь Дмитрий Александрович при таком подходе попал к ногайцам и литовским татарам. Какую пользу можно из этого извлечь, если на самом деле он сильно смешанного происхождения и к этим выборкам прямого отношения не имеет. По сути, дерево это одномерная/полуторамерная разбивка. Даже PCA или MDS плот уже использует два измерения, а калькулятор заметно больше.

Понятно, конечно, что пока тут просто отработка на "демонстраторе технологий".

[wave48]

А зачем нужна древовидная кластеризация Вот, допустим, князь Дмитрий Александрович при таком подходе попал к ногайцам и литовским татарам. Какую пользу можно из этого извлечь, если на самом деле он сильно смешанного происхождения и к этим выборкам прямого отношения не имеет. По сути, дерево это одномерная разбивка. Даже PCA или MDF плот уже использует два измерения, а калькулятор заметно больше.

Понятно, конечно, что дерево это пока просто "демонстратор технологий"

Это попытка сделать правильную сортировку, чтобы затем добавить разные штуки типа нейросетей. В виде дерева она естественна. В этом методе пространств нет, вейвлет-преобразование все их объединило и информацию выдало. В виде полос и закорючек, которые у одних есть, а у других их нет. У людей смешанного происхождения получаются самые сложные картинки. Вот и пытаюсь найти способ систематизации.

[wave48]

Текущий калькулятор для G25.  По мере продолжения этой работы он будет обновляться.
https://drive.google.com/file/d/1rXTORQqUVh2_ArXCI5FWAXFZvUkwQ_Cw/view?usp=sharing

[wave48]

Вот таким образом 188 аваров с известными G25 отобразились на плоскости.
https://drive.google.com/file/d/1M8sWttu9J9b447EIlQVsaA7Nme1IqvH2/view
Файл по ссылке нужно скачать и открыть в любом браузере.
Будут доступны маркеры. Можно будет смотреть кто есть кто.

[Nibelung]

Я пока не понимаю всего смысла данного метода. Чисто визуально вижу, что авары распределились по ряду кластеров. Причем ранние аварские кластеры и поздние аварские кластеры совпадают. Это первое, что я увидел. Но может тут есть еще какой-нибудь подтекс, который от меня ускользнул?

[wave48]

Я пока не понимаю всего смысла данного метода. Чисто визуально вижу, что авары распределились по ряду кластеров.
Но может тут есть еще какой-нибудь подтекс, который от меня ускользнул?

Пока еще рано писать подробные объяснения, сначала нужно сделать чтобы он работал и оценить результаты.
Работа продолжается. Сделана классификация  методом SVC, нейросеть позволяет предсказывать сходство культур.
Уже сейчас оказывается что точность получается выше чем у vahaduo. Вот, например, результат сравнения людей нарвской культуры и балтийской бронзы.
Этим методом и через вахадуо. Получается, что вахадуо не смогла решить эту задачу приписав стопроцентное сходство одному из источников.
Это пресловутое перекашивание. А вейвлет-анализ выдал вполне себе адекватные числа.
Пока еще не сделано нормальное рисование, как есть.

 

[wave48]

Работаем.
Короче говоря из G25 инфу так можно вытягивать.

[wave48]

Итак, на данный момент мы имеем инструмент, который позволяет получать статистические характеристики выборок G25 и, значит, проверять их валидность и сравнивать между собой.
Покажу это на примере выборки из Аварского каганата. Напомню,188 записей и три категории:ранние, средние и поздние.
Их плоскости (плоты) полученные с помощью нейронной сети классификатора вейвлетов.
Ранние:

Средние:

Поздние:

На гистограмме отображается эмпирическое распределение по обоим осям.
Самое первое, что замечается - это наличие явновыраженных больших кластеров на всех графиках. Это признак неоднородности выборки.
Можно сказать, что генофонд авар формировался минимум из 3 различных источников. Каких именно? Это можно будет определить чуть позже.
Примером однородной выборки может служить график для нарвской культуры. В ней точки располагаются близко к диагонали.

Можно сравнить аварские выборки между собой.
Ранние-средние:

Ранние-поздние:

Средние-поздние:

Видно что генофонд меняется. Кластеры размываются равномерно, причем максимально это происходит на этапе средние-поздние.

[wave48]

Можно построить такой график для выборки авар из междуречья Дуная и Тисы (труавар):

Здесь кластеризация выражена наиболее четко.
И еще один эксперимент. Сравним труавар и балтийскую бронзу:

Кластеров стало заметно больше. Это говорит о том что авары получали балтийский компонент в разное время и разными путями.

[Srkz]

Получается, что вахадуо не смогла решить эту задачу приписав стопроцентное сходство одному из источников.
Это пресловутое перекашивание.

Ну как стопроцентное. Стопроцентным оно было бы при нулевом расстоянии. Но тут расстояния огромные. Результат надо понимать так, что при выборе из предложенных источников наилучшим вариантом является Veibri4, поскольку этот образец в целом несколько ближе к "балтийской бронзе", чем Kivisaare3. То есть, добавление Kivisaare3 в модель в любой пропорции только ухудшает результат ещё более.

[wave48]

Получается, что вахадуо не смогла решить эту задачу приписав стопроцентное сходство одному из источников.
Это пресловутое перекашивание.

Ну как стопроцентное. Стопроцентным оно было бы при нулевом расстоянии. Но тут расстояния огромные. Результат надо понимать так, что при выборе из предложенных источников наилучшим вариантом является Veibri4, поскольку этот образец в целом несколько ближе к "балтийской бронзе", чем Kivisaare3. То есть, добавление Kivisaare3 в модель в любой пропорции только ухудшает результат ещё более.

Мы сравниваем две группы перекрестно и в каждой клеточке должны иметь ненулевое число. От историков мы знаем что нарвская культура с балтийской бронзой почти не соединялась. По идее эта табличка должна нам подтвердить правильность этого и уточнить это 'почти' Ну а наилучший вариант мы и сами легко увидим.
Вахадуо же ответил неожиданно округлив результаты. Или не знаю что с ними сделав.

Мне это нужно было для сравнений моих расчетов. Не получилось... Поставить у себя везде 100% я не могу, нейросеть сама находит соответствия и вероятности.

Пробую делать это на других выборках. Вот например мое сравнение шнуровой керамики и балтийской бронзы:

https://drive.google.com/file/d/1h75CCcygrq4enIitZDIjGRPQQ7udFPzZ/view?usp=sharing

Это то же самое от вахадуо:
https://drive.google.com/file/d/1Kalkulc2VZcL7dYuA1cWNLdU1UMcZi73/view?usp=sharing

И опять мне непонятно почему осталось только 20 из 84 образцов. А проценты распределены только между оставшимися.
Пр какому критерию была отброшена большая часть выборки?
Вообщем, слабо сходится и мне это не нравится.

[Srkz]

Мы сравниваем две группы перекрестно и в каждой клеточке должны иметь ненулевое число.

И опять мне непонятно почему осталось только 20 из 84 образцов. А проценты распределены только между оставшимися.
Пр какому критерию была отброшена большая часть выборки?

Не, тут же идёт подбор такой комбинации источников, которая даст наименьшее расстояние до образца. Поэтому все не попавшие в такие оптимальные комбинации источники исключаются.

[wave48]

Не, тут же идёт подбор такой комбинации источников, которая даст наименьшее расстояние до образца. Поэтому все не попавшие в такие оптимальные комбинации источники исключаются.

Для каждой ячейки таблицы есть только одна ''комбинация источников', т.е. расстояния можно посчитать однозначно. ПРичем эти дистанции в среднем отличаются всего лишь раза в два или меньше. (см. вкладку Distance) Есть несколько относительно коротких, выбивающихся из общего множества, но их очень мало. 
Вообщем нужно мне увеличивать состав выборок и проверять на культурах а не на отдельных образцах.