Y-DNA Benchmark Library

[Valery]

Прошу помощи у уважаемых участников в создании

Библиотеки файлов Y-хромосомных данных со следующими свойствами:

1. Размер: от 10 до 500 гаплотипов
2. Длина: от 12 до 67 локусов (впоследствие верхняя граница может быть увеличена)
3. Наличие однотипных снипов для каждой выборки. Топология, индуцированная снипами, должна разбивать набор как минимум на 3 части, каждая не менее 10% гаплотипов
4. Каждая выборка должна содержать гаплотипы только одной гаплогруппы (предполагается дальнейшее обсуждение этого, например можно ли мешать J1 и J2, в идеале требуются какие-то точные критерии, например среднее расстояние на фиксированном наборе локусов не более ...)


Зачем это надо.

1. Для тестирования качества реконструкции истории разными программами
2. Для сравнения скорости их работы.


Форматы.

Пока YCH (с кодированием снипов 0 и 1) затем переведу в Нексус. Веса обязательны, пусть даже грубые.

Сниповый вес будет выбран достаточно большим, чтобы в норме программы находили топологию "только по снипам" такую же, как результат контракции отдельных ребер дерева по полному набору снипов и микросателлит.  Основной интерес представляет сравнение поведения программ при исключении снипов из выборок.

[wertner]

1. По размеру хотелось бы услышать пожелания поконкретней: например, 10, 50, 100, 200, 500 подойдет?
2. По длине гаплотипов: в одной выборке должны быть гаплотипы одной длины или можно разной?
3. Должны ли быть гаплотипы уникальны или допустимы дубли, если они принадлежат разным людям?
4. Нужны ли в отдельном файле ссылки на источники гаплотипов (например, для уточнения, если один-два будут резко выбиваться из остальной выборки).

[Valery]

Привет!

1. По размеру хотелось бы услышать пожелания поконкретней: например, 10, 50, 100, 200, 500 подойдет?

для начала наверное 10, 20, 50, 100 - какие будут, я не разборчивый


2. По длине гаплотипов: в одной выборке должны быть гаплотипы одной длины или можно разной?

дело в том что далеко не все программы могут работать с гаплотипами разной длины Твоя программа приятное исключение


3. Должны ли быть гаплотипы уникальны или допустимы дубли, если они принадлежат разным людям?

не суть важно, так как большинство программ не учитывает частоту. Единственная проблема - то что дубли потребуют коррекции N при отображении статистики, скажем мы не сможем сравнивать результаты для N=100 уникальных и N=100 где треть повторов


4. Нужны ли в отдельном файле ссылки на источники гаплотипов (например, для уточнения, если один-два будут резко выбиваться из остальной выборки).

Я думаю нет, но для каждого файла разумно дать короткий камент с указанием источника

[wertner]

Сделаю сначала по E1b1b1a1, E1b1b1a2, E1b1b1a3 с парочкой E1b1b1a* выборку из 50 67-маркерных гаплотипов. Если окажется, что я правильно понял тебя, то и другие размеры-длины-гаплогруппы можно будет сделать. Давно пора.
Конечно, я не собираюсь максимально разнообразно представлять субклады, но наборы таких выборок помогут "стартующим" исследователям гаплогрупп отталкиваться хоть от чего-то. И может быть увеличит число "древопостроителей"

[Valery]

Сделаю сначала по E1b1b1a1, E1b1b1a2, E1b1b1a3 с парочкой E1b1b1a* выборку из 50 67-маркерных гаплотипов. Если окажется, что я правильно понял тебя, то и другие размеры-длины-гаплогруппы можно будет сделать. Давно пора.
Конечно, я не собираюсь максимально разнообразно представлять субклады, но наборы таких выборок помогут "стартующим" исследователям гаплогрупп отталкиваться хоть от чего-то. И может быть увеличит число "древопостроителей"

Здорово! Сэнкс!

[wertner]

Valery, я выслал тебе пример. Ты его получил?

[Valery]

Да, и очень им доволен!

В скором времени я выложу на сайте Мурки первые обработанные бенчмарки, с указанием их авторства.

[wertner]

Хорошо, тогда постепенно накидаю тебе в почту другие размеры, длины, гаплогруппы.

[Valery]

супер!

[wertner]

Готовы файлы:
Длина: 12, 25, 37, 67
Размер выборки: 10, 20, 50, 100
Иногда информация о снипах избыточна (если одие из указанных снипов есть, то другого нет и наоборот), но это позволяет лучше соотнести с деревом YCC

Для некоторых файлов [Длина]x[Размер выборки] не хватило гаплотипов. Этих файлов нет.

В этом сообщении гаплогруппы E, G, I

[wertner]

В этом сообщении гаплогруппы J, R

Все гаплотипы собраны из проектов FTDNA в мае-июне 2009 года и имеют подтвержденный снип.
Для остальных гаплогрупп у меня не хватило гаплотипов удовлетвряющих условию

Топология, индуцированная снипами, должна разбивать набор как минимум на 3 части, каждая не менее 10% гаплотипов

[wertner]

Эти выборки созданы именно для целей сравнения программ и обучения их использования. Рассчитывать возраст по этим выборкам не стоит - они составлялись неравномерно и некоторые субклады представлены далеко неразнообразно, что приведет к занижению возраста предка.

[Valery]

О-ба-на Да ты главный контрибьютор Либы

[Valery]

Есть идея реанимировать эту тему - по поводу дискуссии ув.Овода и ув.Маугли.

[wertner]

Если понадобится как-то проапгредить выборки - говори. Кусок кода, который их генерил, сохранился.