Поколенные интервалы Гаврилова-Темоша

[Mich Glitch]

ок, вырежу в следующей версии все точные даты (только из модуля статистики), и вместо дат - будет только одно число года + операции с целыми (красотища).

Всё так.

[Mich Glitch]

Резоны просты.
Точная дата рождения - довольно редка.
Ведь есть записи о смерти - только год.
Записи возраста в ревизии - опять только год!
Записи о браке - год и ничего более!!
Исповедки - уже догадались.

[Mich Glitch]

Надо будет сделать обсчёт по Гедком файлу царствующих домов Европы. Там, помнится, было 14 тысяч персоналий.

Ну, и можно по левому файлу Рюриковичей. Он имеет какое-то уж слишком фантастическое число персоналий, которое я даже озвучивать стесняюсь. 

[Anode]

Резоны просты.
Точная дата рождения - довольно редка.
Ведь есть записи о смерти - только год.
Записи возраста в ревизии - опять только год!
Записи о браке - год и ничего более!!
Исповедки - уже догадались.

Спасибо!

(я этой информации не знал, а знал бы - меньше бы сидел с календарями в коде, отнявшими несколько вечеров)

+1 за интересную информацию

П.С. пошёл спать - как-то работать завтра ещё надо...

[Valikhan]

Ну, и последнее.
Я полагаю, что данный поколенный интервал хорош для российского генеалогического интервала.
Напомню, генеалогическим интервалом я называю такой временной отрезок, когда большинство генеалогий можно вывести документально.
По России генеалогический интервал проходит где-то по первой четверти 17 века.

Исторические реконструкции, т.е. попытки заглянуть на многие сотни и даже тысячи лет вглубь веков - это отдельная песнь.

Больший поколенный интервал у Соренсона я склонен списывать не на отличия западноевропейского и российского семейных укладов, но на меньшую среднюю глубину обработанных генеалогий у Соренсона.

Иными словами, предполагаю наличие трэда по уменьшению поколенного интервала при движении вглубь веков.

Короче говоря, имеет смысл считать при больших генетических дистанциях (отдалённых ВБОПах) усреднённых 30 лет по мальчикам и 25 лет по девочкам. (Что, собственно, я последних года три и делаю.)

27 лет это средний возраст родителей при рождении среднего ребёнка. Причём он примерно одинаков у людей разных культур. У меня есть некоторые статистические данные по казахам когда сравнивались три популяции через 30 лет, если хотите могу выслать.

[kaa76]

Интересно увидеть средние значения по столетиям.
К тому же сословие тоже играло роль. Чем беднее - тем раньше выдавали замуж?
Что исследования метрик говорят про это?

[Mich Glitch]

Интересно увидеть средние значения по столетиям.
К тому же сословие тоже играло роль. Чем беднее - тем раньше выдавали замуж?
Что исследования метрик говорят про это?

По столетиям мысль уже была озвучена и мысль очень правильная.

Можно будет добавить фильтры для 18, 19 и 20 веков.

[Mich Glitch]

У меня есть некоторые статистические данные по казахам когда сравнивались три популяции через 30 лет, если хотите могу выслать.

Данные хорошо бы свести в формат файла Гедком.
Собственно задача стояла (соответственно и реализация получена) по обработке именно в таком формате.
Учтите только, что все приблизительные даты - не обрабатываются. Т.е. даты с префиксами Около, До, После, Между... и, Приблизительно в (About, Before, After, Between, Circa).

Если же обозначен только год рождения, то это обсчитывается.

[Mich Glitch]

Уточнённые цифры от Anode:

------------------------
 Statistics report
------------------------

Total persons: 33729
Males total: 17517
Females total: 16212

Pairs Father-Son total: 13935
    among them with good dates (used in caluculations below): 11291
Pairs Father-Daughter total: 11455
    among them with good dates (used in caluculations below): 9840
Pairs Mother-Son total: 12191
    among them with good dates (used in caluculations below): 10166

Pairs Mother-Daughter total: 10903
    among them with good dates (used in caluculations below): 9112


*** Generational interval ***

    Arithmetic mean:
        Women: 28.48
        Men: 32.39
        All: 30.53
    Median:
        Women: 28.00
        Men: 31.00
        All: 29.00
    Mode:
        Women: 24
        Men: 28
        All: 25

Переход на целоисчеслённые года вместо полной даты, как и ожидалось, практически не изменил средние цифры.

[Mich Glitch]

А вот данные, где отсекли всех родителей младше 12 лет:

------------------------
 Statistics report
------------------------

Total persons: 33729
Males total: 17517
Females total: 16212

Pairs Father-Son total: 13935
    among them with good dates (used in caluculations below): 11261
Pairs Father-Daughter total: 11455
    among them with good dates (used in caluculations below): 9827
Pairs Mother-Son total: 12191
    among them with good dates (used in caluculations below): 10071
Pairs Mother-Daughter total: 10903
    among them with good dates (used in caluculations below): 9064



*** Generational interval ***

    Arithmetic mean:
        Women: 28.63
        Men: 32.44
        All: 30.63

    Median:
        Women: 28.00
        Men: 31.00
        All: 30.00

    Mode:
        Women: 24
        Men: 28
        All: 25

Произошло естественное увеличение средних цифр. (Всё ближе и ближе к Соренсону, чьи цифры на сегодня являются самыми выверенными.)

[Mich Glitch]

И ещё поправка (привожу целиком сообщение от Anode):

Ниже - более правильная статистика после отсечения тех троих с 122-123 годами вместо 22-23 (явная ошибка ввода!)

Как видим - только из-за них троих появилось изменение уже в сотых долях.
Это 0.03% ошибки: (28.63 - 28.62) / 28.63 = 0.000349283968

Думаю - это будет интересно обсудить на молгене. Сколько нужно отсекать? Сейчас мы отсекаем 90 лет (на самом деле таких не оказалось, кроме тех троих). И отсекаем отрицательные разницы и меньше 13ти лет. А может правильнее меньше 11ти или наоборот - меньше 14ти?


------------------------
 Statistics report
------------------------

Total persons: 33729
Males total: 17517
Females total: 16212

Pairs Father-Son total: 13935
    among them with good dates (used in caluculations below): 11259

Pairs Father-Daughter total: 11455
    among them with good dates (used in caluculations below): 9827
Pairs Mother-Son total: 12191
    among them with good dates (used in caluculations below): 10070

Pairs Mother-Daughter total: 10903
    among them with good dates (used in caluculations below): 9064


*** Generational interval ***

    Arithmetic mean:
        Women: 28.62
        Men: 32.43
        All: 30.62

    Median:
        Women: 28.00
        Men: 31.00
        All: 30.00
    Mode:
        Women: 24
        Men: 28
        All: 25

[Mich Glitch]

Огромное спасибо Anode!
Его программа позволила автоматизировать исправление ошибок ввода.
1) Неправильные даты для пар ребёнок-родитель.
2) Неправильную увязку ребёнок-родитель.

Надеюсь, что он добавит фичку для поиска дублирующих персон. Т.е. составит список всех персоналий с одинаковыми именами-отчествами, проживающими в одном населённом пункте и имеющими разницу в возрасте до 20 лет включительно. (Тут уже надо обрабатывать и приблизительные даты с разными префиксами.)

[Anode]

Резюмирую:
Необходимо произвести один обсчёт по схеме отец-ребёнок, мать-ребёнок и второй обсчёт по схеме отец-сын, мать-дочь.

ok,

отец-ребёнок, мать-ребёнок уже есть, добавим тогда туда в будущем и пары отец-сын, мать-дочь

Сделано.

(заодно перегруппировал по типам родства - так красивше)


------------------------
 Statistics report
------------------------

Total persons: 33729
Males total: 17517
Females total: 16212

Pairs Father-Son total: 13935
   among them with good dates (used in caluculations below): 11259
Pairs Father-Daughter total: 11455
   among them with good dates (used in caluculations below): 9827
Pairs Mother-Son total: 12191
   among them with good dates (used in caluculations below): 10070
Pairs Mother-Daughter total: 10903
   among them with good dates (used in caluculations below): 9064


*** Generational interval ***

   Mother-child:
      Arithmetic mean: 28.62
      Median:28.00
      Mode: 24
   Mother-daughter:
      Arithmetic mean: 28.57
      Median:28.00
      Mode: 22
   Father-child:
      Arithmetic mean: 32.43
      Median: 31.00
      Mode: 28
   Father-son:
      Arithmetic mean: 32.43
      Median:31.00
      Mode: 27
   All:
      Arithmetic mean: 30.62
      Median: 30.00
      Mode: 25

[Anode]

Огромное спасибо Anode!
Его программа позволила автоматизировать исправление ошибок ввода.
1) Неправильные даты для пар ребёнок-родитель.
2) Неправильную увязку ребёнок-родитель.

Надеюсь, что он добавит фичку для поиска дублирующих персон. Т.е. составит список всех персоналий с одинаковыми именами-отчествами, проживающими в одном населённом пункте и имеющими разницу в возрасте до 20 лет включительно. (Тут уже надо обрабатывать и приблизительные даты с разными префиксами.)

Вам спасибо - за данные.

Насчёт сравнения имён-отчеств - там наверное надо экспедиментировать с фонетическими алгоритмами (soundex, metaphone) - так как написание может немного различаться, ошибки там всякие, пропуски букв итд. Там может быть и "головняк", и не так всё просто (с фонетикой я ещё не работал).
Просто тупое сравнение стрингов один к одному - это легко.

[Anode]

Интересно увидеть средние значения по столетиям.
К тому же сословие тоже играло роль. Чем беднее - тем раньше выдавали замуж?
Что исследования метрик говорят про это?

Для интереса добавил статистику по векам (всех, All - так как каждую группу показывать - надо больше дополнительного кода дописывать). Интересно уменьшение возраста деторождения от 17 го до 18го века. По 17му веку 227 человек с нормальными датами - не так уж и мало. По 21му веку данные не даю из соображений приватности - just in case.

------------------------
 Statistics report
------------------------

Total persons: 33729
Males total: 17517
Females total: 16212

Pairs Father-Son total: 13935
   among them with good dates (used in caluculations below): 11259
Pairs Father-Daughter total: 11455
   among them with good dates (used in caluculations below): 9827
Pairs Mother-Son total: 12191
   among them with good dates (used in caluculations below): 10070
Pairs Mother-Daughter total: 10903
   among them with good dates (used in caluculations below): 9064


*** Generational interval ***

   Mother-child:
      Arithmetic mean: 28.62
      Median: 28.00
      Mode: 24
   Mother-daughter:
      Arithmetic mean: 28.57
      Median: 28.00
      Mode: 22
   Father-child:
      Arithmetic mean: 32.43
      Median: 31.00
      Mode: 28
   Father-son:
      Arithmetic mean: 32.43
      Median: 31.00
      Mode: 27
   All:
      Arithmetic mean: 30.62
      Median: 30.00
      Mode: 25

   All, by centuries:
      17:
         Arithmetic mean: 34.50
         Median: 32.00
         Mode: 29
      18:
         Arithmetic mean: 30.22
         Median: 29.00
         Mode: 24
      19:
         Arithmetic mean: 30.65
         Median: 30.00
         Mode: 25
      20:
         Arithmetic mean: 30.91
         Median: 30.00
         Mode: 28