АвторТема: Semargl.me: он-лайн сервис для анализа данных по Y-ДНК  (Прочитано 163164 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
В данный момент заканчиваю написание небольшого веб приложения для автоматической генерации карт по гаплотипам (с возможностью загружать свои изображения маркеров). Данные берутся из локальной базы данных. Осталось решить несколько вопросов по авторизации и распределении прав администраторов групп. Если у Вас есть интерес, и ничего не измениться в моих планах - могу дать, на следующей неделе, тестовый доступ к альфа версии. И доработать приложение по вашим пожеланиям. Например: сравнение гаплотипов, генерация отчетов в нужной вам форме, статистика по странам или по областям (только для России) и тп (все это в планах, но в ближайших, пока есть ведение базы данных и генерация карт гаплотипов). Естественно все это безвозмездно, для помощи проектам "RussiaDNA" и "Russian Empire".
Приложение готово для желающих тестировать.
По вопросам логина и пароля - в личку.
Об ошибках и ваших пожеланиях пишите на этом форуме или по мылу указанному в контактах на сайте.
Для примера ввел в базу данных наших "сарматов". Автоматически полученную карту можно увидеть здесь.

Основная ссылка на приложение: Карты для DNA-Russia

Небольшая инструкция.

Для добавления kit'a, в меню редактирования, нажимаем "добавить кит".
В появившемся окне сначала заполняем значения маркеров (см. скрин "1_markers").
Заполнять можно двумя способами:
  • Вручную). Внося значение каждого маркера в нужную ячейку таблицы
  • Автоматически. Для этого копируем строку значений в формате ФТДНА и вставляем в текстовое поле расположенное выше таблицы (см. скрин "2_markers"). Далее нажимаем кнопку "Загрузить данные в таблицу". И данные автоматически заполняют таблицу (см. скрин "3_markers").

Далее заполняем информацию как на скрине "info".
Поля "KIT N", "name user", "hg - название субклада", "ht - название ветви", "country - страна" - обязательны для заполнения.
Поле "State - Область/Край/Республика" - заполнять только для РФ. При отсутствии этого значения будет невозможна генерация диаграмм по РФ.
Если субклад или название ветки отсутствуют в выпадающем списке, то надо вернуться назад, и заполнить эти значения, выбрав в меню редактирование (находится слева) соответствующий пункт.

Далее вводим координаты.
Поля "Latitude", "Longitude" - недоступны для редактирования вручную. Данные вносятся автоматически, после выбора местоположения на карте. См. скриншот "maps".

После заполнения всех данных жмем "submit". Все.

Редактировать уже добавленный гаплотип можно со страницы карты. Соответсвующая кнопка появляется слева от номера кита.
Редактировать название ветви и/или цвета маркера ветви можно со страницы "Карты гаплотипов". Соответсвующая кнопка появляется справа от названия ветви.
« Последнее редактирование: 15 Сентябрь 2012, 21:15:20 от Шад »

Оффлайн mouglley

  • ...
  • Сообщений: 7105
  • Страна: hr
  • Рейтинг +434/-7
  • Я знаю, что познаю всё.
    • Записки Маугли
  • Y-ДНК: N1c1-L1025
  • мтДНК: J1c3
Замечательно!

А есть возможность страны (регионы) делить несколько по иному.
Как известно, один регион России редко оказывается меньше отдельной европейской страны.
Можно ли будет вместо России вводить в диаграмму отдельную губернию России?

Оффлайн wertner

  • ...
  • Сообщений: 1332
  • Страна: ru
  • Рейтинг +321/-0
    • YFull
  • Y-ДНК: E-V13->E-S2972->E-Z16661
  • мтДНК: U4a (xU4a3)
Красиво.

Тунец, а есть ли возможность автоматизировать процесс внесения гаплотипов?
У меня большая база с гаплотипами YSearch разных гаплогрупп. Во многих указаны координаты. Кроме того, они у меня автоматически прогоняются через предиктор и относятся к субкладам, а в R1a1a и некоторым ветвям (сарматской, правда, пока нет).
Может быть, сделаете проект масштабным, всегаплогруппным?
Могу предоставить выборки как для разовой заливки или могу добавить в робота автоматическое внесение (если есть соответствующий API).

Если даже не масштабным, то все равно по некоторым субкладам и ветвям у нас нет активистов, а для россиян они интересны (например, гаплогруппа C :) )
« Последнее редактирование: 17 Июнь 2011, 00:27:13 от wertner »

Оффлайн Аббат Бузони

  • Модератор
  • *****
  • Сообщений: 19888
  • Страна: ru
  • Рейтинг +1818/-60
  • Y-ДНК: I1-SHTR7+
  • мтДНК: H16-a1-T152C!
Тунец
А как загрузить гаплотип (значения маркеров)? Автоматически же должно происходить.

Копируете гаплотип в самое верхнее поле и конвертируйте нажав чуть ниже крайнюю левую кнопку.

Не могу найти там карту по своим, ввел три гаплотипа.

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Непонятно как в Ht занести субклад
Я немного запутался в терминологии.
Слева, в опциях редактирования есть три пункта:
  • Добавить кит
  • Добавить гаплогруппу
  • Добавить гаплотип
"Добавить кит" - позволяет добавить данные по одному протестированному (номер кита, значение маркеров, местоположение на карте и тп)
"Добавить гаплогруппу" - Добовляет расширенную гаплогруппу, типа R1a1a1g2. Брал из таблицы ФТДНА - там название этого столбца "Haplogroup". В нем может стоять как и "G", так и "G2a3b1a1". Судя по всему я ошибся, надо назвать этот пункт меню "добавить субклад"? Правильно? ...Но ведь "G" не является субкладом...
"Добавить гаплотип" - Добавляет название ветви (сарматы, венеды и тп). Подобно предыдущему пункту - переименовать? Например назвать "Добавить ветвь". Правильно?

Цитировать
Не могу найти там карту по своим, ввел три гаплотипа.
Вы добавили гаплогрупу - "I1", но галотипов или, как более правильно, названий ветвей, Вы не ввели.

В пункте меню "карты гаплотипов", ГГ и вложенные названия ветвей будут видны только при наличии хоть одного названия ветки.

Через пару часов попробую написать краткую инструкцию.
Просьба поправлять меня, я еще слабо знаком с нюансами и терминологией ДНК-генеалогии.

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
А есть возможность страны (регионы) делить несколько по иному.
Как известно, один регион России редко оказывается меньше отдельной европейской страны.
Можно ли будет вместо России вводить в диаграмму отдельную губернию России?
Имеющаяся диаграмма - пока тестовый вариант. Для ее построения я использовал Google Chart API, точно не могу сказать, но вроде там есть ограничение на вывод количества стран (или губерний). Да и сливающиеся цвета не удовлетворяют. Чуть позже буду более плотно заниматься диаграммой. Тогда сделаю и по областям России. В планах: производить генерацию диаграммы по отдельно взятой губернии с указанием процентного соотношения разных ГГ. Можно еще сделать диаграмму по процентному соотношению представителей нужной ветви в областях, краях и республиках РФ.
Для этого необходимо при добавлении кита в БД, указывать принадлежность протестированного к какой-либо области или краю.
Есть одно сомнение. Пример: В республике Саха (Якутия), протестировался всего один человек. Определена ГГ R1a. При генерации диаграммы мы получим по республике Саха  - 100% R1a.

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
есть ли возможность автоматизировать процесс внесения гаплотипов?
Такая возможность есть.
Цитировать
У меня большая база с гаплотипами YSearch разных гаплогрупп. Во многих указаны координаты. Кроме того, они у меня автоматически прогоняются через предиктор и относятся к субкладам, а в R1a1a и некоторым ветвям (сарматской, правда, пока нет).
Замечательно. Единственная пробема, которую пока вижу, это невозможность связать ветви из Вашего предиктора и введенные пользователем вручную в моей базе.
Как решение: можно сделать в каждой ГГ ветвь "ungrouped", и в нее "заливать" все новые гаплотипы из Вашей БД. Далее останется вручную поменять название ветки и гаплотип автоматом разместится на карте своей ветви (при наличии координат (в каком они формате?)).
Еще для моей базы критично наличие номера kit'а (в таблице используется как уникальный ключ)
Цитировать
Может быть, сделаете проект масштабным, всегаплогруппным?
Он и так доступен для всех ГГ (при наличии энтузиастов которые будут вносить гаплотипы (один я точно не справлюсь))
Цитировать
Могу предоставить выборки как для разовой заливки или могу добавить в робота автоматическое внесение (если есть соответствующий API).
API пока нет, но можно подумать в этом направлении.
Насчет выборок - просто отлично. Как временное решение - очень подходит.
В каком формате Вы можете их предоставить? Если в нескольких, то можно взглянуть на примеры?
Можно будет, например, реализовать аплоад файла с данными через вэб, с дальнейшим автоматическим занесениям в БД.

Оффлайн wertner

  • ...
  • Сообщений: 1332
  • Страна: ru
  • Рейтинг +321/-0
    • YFull
  • Y-ДНК: E-V13->E-S2972->E-Z16661
  • мтДНК: U4a (xU4a3)
при наличии координат (в каком они формате?)).
Поля Latitude и Longitude в YSearch. У меня в базе они лежат, соответственно, в двух колонках. Вот пример десяти россиян:
 56 deg 03 min 00 sec N     26 deg 47 min 00 sec E
 57 deg N     34 deg E
 60 deg 40 min 59 sec N     28 deg 30 min 00 sec E
 52 deg 32 min N     24 deg 59 min E
 53 deg N     27 deg E
 48 deg 26 min 60 sec N     34 deg 58 min 59 sec E
 52 deg 07 min N     26 deg 07 min W
 55 deg 44 min N     37 deg 33 min E
 55 deg 50 min N     49 deg 10 min E
 53 deg 33 min 0 sec N     24 deg 25 min 0 sec E

Еще для моей базы критично наличие номера kit'а (в таблице используется как уникальный ключ)
В Ysearch номер кита нет, но есть идентификатор. Десять примеров идентификатора:
2GHMB, 4464J, 4FN3M, 4HKYN, 5B9J8, 5MMP3, 76W5R, 7H8VN, 7JF5T, 7WCPE
Впрчем, такой же есть у Вас в подписи :)
Можно идентификатор вставлять в поле номера кита?

Насчет выборок - просто отлично. Как временное решение - очень подходит.
В каком формате Вы можете их предоставить? Если в нескольких, то можно взглянуть на примеры?
Можно будет, например, реализовать аплоад файла с данными через вэб, с дальнейшим автоматическим занесениям в БД.
Пришлите мне в личку e-mail, я Вам вышлю файл Excel с примером выгрузки. Посмотрите, определите необходимый набор полей и тогда сделаю текстовый файл с каким-нибудь разделителем.
Если будет аплоад файла через вэб, то смогу научить робота загружать файл и через веб (эмуляцией нажатий кнопок).
Единственно, не будет ежедневных обновлений: капчу YSearch я не обошел и скачивать автоматически могу только, если кто-то мне пришлет идентификаторы. Впрочем, уже сейчас скачаны тысячи гаплотипов и иногда я скармливаю роботу списки идентификаторов, собранные вручную и он пополняет выборку.

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Добавил генерацию карты с одновременным выводом всех внесенных маркеров, по всем внесенным веткам.
Смотреть тут.

При клике на маркер теперь выводится дополнительная информация, например о предках (если внесена в базу данных).

Для совместимости с базой уважаемого Вадима, добавлена возможность вносить и выводить данные по маркерам: DYS 19b, DYS 464e, DYS 464f, DYS 464g, DXYS 156-Y.

По присланному Вадимом файлу, с тестовой выгрузкой ста гаплотипов, настроил их автоматическую загрузку в свою базу. Пока только на тестовом сервере, для исключения появления дублей и дальнейшей отладки. Жду файл с полной выгрузкой гаплотипов.

Исправлено несколько небольших багов.

В дальнейшем собираюсь:
1) настроить взаимодействие моего приложения с роботом Вертнера для автоматического внесения всех новых гаплотипов.
2) переписать модуль генерации диаграмм и графиков.

Вопрос. Нужно ли мое приложение здесь присутствующим? или это будет просто дубль уже существующих данных и карт к ним?

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Загрузил 111 гаплотипов R1a1a1g. Спасибо Вадиму за присланный файл. Жду следующих файлов с выгрузками.
Переработал скрипт генерации графиков.
Добавил страницу с графическим отображением дерева ISOGG (со снипами субкладов, всплывающих при наведении мыши на нужный субклад).

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
А почему они у Вас "R1a-Unknown", разве это не Анты?
Анты. Но такова особенность автоматической загрузки новых гаплотипов из базы данных уважаемого Wertnera.
Все новые, импортированные гаплотипы будут размещены в ветках, название которых будут состоять из ГГ+Unknown. Например: R1a-Unknown, R1b-Unknown, I1-Unknown, I2-Unknown и тд. А дальше их надо вручную разнести по веткам.

Оффлайн wertner

  • ...
  • Сообщений: 1332
  • Страна: ru
  • Рейтинг +321/-0
    • YFull
  • Y-ДНК: E-V13->E-S2972->E-Z16661
  • мтДНК: U4a (xU4a3)
Замечательно!
Уважаемый wertner, не закинете данные по N уважаемому Тунцу?
Выслал по всем гаплогруппам. К сожалению, мало людей вбивает координаты местожительства предков. Не-R1b 3000 гаплотипов, R1b 2700.
К тому же из YSearch выборка старая (с редкими вкраплениями новых гаплотипов).

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Замечательно!
Уважаемый wertner, не закинете данные по N уважаемому Тунцу?
Выслал по всем гаплогруппам. К сожалению, мало людей вбивает координаты местожительства предков. Не-R1b 3000 гаплотипов, R1b 2700.
К тому же из YSearch выборка старая (с редкими вкраплениями новых гаплотипов).
Получил файлы с выгрузками. Загрузил в свою БД.
Всего гаплотипов добавил 5812, из них 2784 R1b (поэтому не советую заходить на страницу карты R1b :): генерация карты и в особенности таблицы, занимает некоторое время. И по утверждению гугла, много маркеров на карте может "подвесить" браузер клиента. Проверил - "тормозов" браузера не заметил. Если что - пишите)
Сегодня или в понедельник займусь быстродействием своего приложения. Основную "тяжесть", на странице карты, занимает таблица с гаплотипами. Думаю перенести таблицы в другой раздел, а на странице карты оставить диаграмму и добавить автоматически генерируемую карту (маленькую :)), с градиентной заливкой цветом ареала распространения данной ветви.

Как вы смотрите на перенос таблиц гаплотипов в другой раздел, или оставить как есть, и смириться с низкой скоростью загрузки страницы?

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
А пруссов не вижу.
На вскидку, взял Бландина - 3P4DF. Есть. Смотреть надо в R1a-Unknown. А из этой "ветки" переносить в нужные - ручками. К сожалению такова специфика переноса между двумя _разными_ базами данных. Будут желающие вести свои ветви - будут и пруссы и левиты и викинги...

Оффлайн SemarglАвтор темы

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5994
  • Страна: ru
  • Рейтинг +4191/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
М-да, на карте R1b зависаю сразу и бесповоротно...  :'(
Гугл же предупреждает :)
В понедельник попробую оптимизировать приложение, думаю зависать не будет.
Скажите, а на других картах зависает? Насколько браузер "задумывается", пока рендерит страницу?

 

© 2007 Молекулярная Генеалогия (МолГен)

Внимание! Все сообщения отражают только мнения их авторов.
Все права на материалы принадлежат их авторам (владельцам) и сетевым изданиям, с которых они взяты.