АвторТема: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ  (Прочитано 47810 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Daemon2017

  • Сообщений: 2307
  • Страна: ru
  • Рейтинг +1155/-18
  • Y-ДНК: R1a-Y35174
  • мтДНК: V7-a2a2a2b*
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #300 : 14 Январь 2023, 12:28:30 »
Вопрос к мэтрам. Реально ли сделать для MURKA нормальночеловекоадаптированный интерфейс для построения древа по Y12, Y17, Y23, Y25, Y27, Y37, Y67 и Y111?

Взал эксельку с гаплотипами, закинул в синее море, получил древо.

Во второй половине 2023 могу взяться за WebAPI, выполняющее такие задачи: Вы ему YCH, сгенерированный MyMcGee, а сервис Вам псевдографическое древо. Звучит не шибко сложно - за месяц-другой управлюсь :)

Оффлайн Farroukh

  • Maternal Y-DNA: R1b-FTD83033
  • Модератор
  • *****
  • Сообщений: 17691
  • Страна: az
  • Рейтинг +6317/-17
  • Paternal Mt-DNA: M9a1b1
    • Azerbaijan DNA Project
  • Y-ДНК: E-Y37518
  • мтДНК: F2f1
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #301 : 14 Январь 2023, 18:32:20 »
Прекрасно, вернёмся к теме в июле 2023 г. :)

Оффлайн Farroukh

  • Maternal Y-DNA: R1b-FTD83033
  • Модератор
  • *****
  • Сообщений: 17691
  • Страна: az
  • Рейтинг +6317/-17
  • Paternal Mt-DNA: M9a1b1
    • Azerbaijan DNA Project
  • Y-ДНК: E-Y37518
  • мтДНК: F2f1
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #302 : 14 Май 2023, 20:33:42 »
До наступления 14 июля остаётся ровно 2 месяца :)
С нетерпением ожидаю начала работы по очеловечиванию "Мурки"

Оффлайн Daemon2017

  • Сообщений: 2307
  • Страна: ru
  • Рейтинг +1155/-18
  • Y-ДНК: R1a-Y35174
  • мтДНК: V7-a2a2a2b*
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #303 : 14 Май 2023, 22:00:12 »
До наступления 14 июля остаётся ровно 2 месяца :)
С нетерпением ожидаю начала работы по очеловечиванию "Мурки"

Сделаем :)

Оффлайн Farroukh

  • Maternal Y-DNA: R1b-FTD83033
  • Модератор
  • *****
  • Сообщений: 17691
  • Страна: az
  • Рейтинг +6317/-17
  • Paternal Mt-DNA: M9a1b1
    • Azerbaijan DNA Project
  • Y-ДНК: E-Y37518
  • мтДНК: F2f1
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #304 : 14 Июнь 2023, 21:16:27 »
Ура! До наступления 14 июля остался всего месяц :)

Оффлайн Farroukh

  • Maternal Y-DNA: R1b-FTD83033
  • Модератор
  • *****
  • Сообщений: 17691
  • Страна: az
  • Рейтинг +6317/-17
  • Paternal Mt-DNA: M9a1b1
    • Azerbaijan DNA Project
  • Y-ДНК: E-Y37518
  • мтДНК: F2f1
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #305 : 02 Июль 2023, 17:51:55 »
До 14 июля остаётся пара недель  ::)
Озвучу основные шаги и пожелания:

1) Берём гаплотипы, идём сюда
2) Выставляем нужные настройки - обязательно ставим "птичку" в квадратике с подписью "Generate Fluxus phylogenetic network .ych data",
другими птиками отмечаем прочие опции - в годах или поколениях, 50% или 95%, скорости в МакДональндах или во ФТДНА-шках и пр. х.
3) Закидываем гаплотипы в форму, генерируем *.ych данные, копируем их в блокнотовский файл, который обзываем латинскими буквами и меняем расширение с *.txt на *.ych

Хотелки к ожидаемому WebAPI:
1) возможность генерить схему не только в виде древа ("предок внизу - потомки вверху"), но и в виде нисходящих ответвлений ("предок вверху - потомки внизу", как на древе Yfull)
2) возможность экспортировать в векторный PDF (чтобы потом на огромном древе поиском CTRL+F по номеру найти нужный гаплотип, а не ломать глаза, рыская по растровой картинке)
3) возможность добавлять в углу подпись, содержащую количество гаплотипов в сгенерированном древе и их длину. Y67, 154 hpts (т. е. древо из 154 67-маркёрных гаплотипов)

Вменяемый конструктив приветствуется.

Оффлайн Daemon2017

  • Сообщений: 2307
  • Страна: ru
  • Рейтинг +1155/-18
  • Y-ДНК: R1a-Y35174
  • мтДНК: V7-a2a2a2b*
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #306 : 02 Июль 2023, 19:57:30 »
До 14 июля остаётся пара недель  ::)
Озвучу основные шаги и пожелания:

1) Берём гаплотипы, идём сюда
2) Выставляем нужные настройки - обязательно ставим "птичку" в квадратике с подписью "Generate Fluxus phylogenetic network .ych data",
другими птиками отмечаем прочие опции - в годах или поколениях, 50% или 95%, скорости в МакДональндах или во ФТДНА-шках и пр. х.
3) Закидываем гаплотипы в форму, генерируем *.ych данные, копируем их в блокнотовский файл, который обзываем латинскими буквами и меняем расширение с *.txt на *.ych

Хотелки к ожидаемому WebAPI:
1) возможность генерить схему не только в виде древа ("предок внизу - потомки вверху"), но и в виде нисходящих ответвлений ("предок вверху - потомки внизу", как на древе Yfull)
2) возможность экспортировать в векторный PDF (чтобы потом на огромном древе поиском CTRL+F по номеру найти нужный гаплотип, а не ломать глаза, рыская по растровой картинке)
3) возможность добавлять в углу подпись, содержащую количество гаплотипов в сгенерированном древе и их длину. Y67, 154 hpts (т. е. древо из 154 67-маркёрных гаплотипов)

Вменяемый конструктив приветствуется.

Добрый вечер, Фаррух!

Лады, завязку на копипасту из MyMcGee сделаю - это без проблем ;)

Вторая часть это больше к возможностям GraphViz - если он умеет переворачивать графы и экспортироваться в PDF, то все получится. Я очень слабо знаком с GV, так что надо будет изучать.

Оффлайн Farroukh

  • Maternal Y-DNA: R1b-FTD83033
  • Модератор
  • *****
  • Сообщений: 17691
  • Страна: az
  • Рейтинг +6317/-17
  • Paternal Mt-DNA: M9a1b1
    • Azerbaijan DNA Project
  • Y-ДНК: E-Y37518
  • мтДНК: F2f1
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #307 : 02 Июль 2023, 20:14:54 »
Да, переворачивать может. Да и в pdf по идее тоже должен выводить.

Оффлайн Semargl

  • "El sueño de la razón produce monstruos" ©
  • Сообщений: 6103
  • Страна: ru
  • Рейтинг +4375/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #308 : 03 Июль 2023, 14:21:45 »
могу взяться за WebAPI, выполняющее такие задачи: Вы ему YCH, сгенерированный MyMcGee, а сервис Вам псевдографическое древо.
для локального компа? или сервис будет крутиться на сервере?
Я просто пару лет назад писал подобное для личного пользования, с расчетом возраста, реперными точками по снипам, но для TNT, а не мурки. Есть некоторые подводные камни.  ::)

Оффлайн Daemon2017

  • Сообщений: 2307
  • Страна: ru
  • Рейтинг +1155/-18
  • Y-ДНК: R1a-Y35174
  • мтДНК: V7-a2a2a2b*
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #309 : 03 Июль 2023, 15:55:45 »
для локального компа? или сервис будет крутиться на сервере?
Я просто пару лет назад писал подобное для личного пользования, с расчетом возраста, реперными точками по снипам, но для TNT, а не мурки. Есть некоторые подводные камни.  ::)

На сервере - чтобы было общедоступно  :)
О, а обо что мне предстоит споткнуться при создании Web-обертки?

Оффлайн Semargl

  • "El sueño de la razón produce monstruos" ©
  • Сообщений: 6103
  • Страна: ru
  • Рейтинг +4375/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #310 : 03 Июль 2023, 16:24:07 »
для локального компа? или сервис будет крутиться на сервере?
Я просто пару лет назад писал подобное для личного пользования, с расчетом возраста, реперными точками по снипам, но для TNT, а не мурки. Есть некоторые подводные камни.  ::)

На сервере - чтобы было общедоступно  :)
О, а обо что мне предстоит споткнуться при создании Web-обертки?
Большая ресурсоемкость и как следствие достаточно большое время выполнение задачи. Параллельные обращения умножают проблему. Проблему с падением запроса по таймауту можно решать через планировщик отложенных задач, по типу - загрузил - через пару дней пришла ссылка на указанную почту для скачивания результата. В моем случае ресурсоемкость была еще выше из-за использования матрицы снипов с допуском неопределенных значений в дополнение к STR. Но матрица снипов необходима для нормального построения графа, а не сотни вариантов по гомоплазным STR маркерам, не имеющим ничего общего с реальным деревом. Без введения SNP это будет просто очередная игрушка, основная задача которой может рассматриваться только в выделении каких-то основных кластеров внутри пачки гаплотипов.
Тоже хотел сделать сервис общедоступным, но достаточно большие траты выходят по содержанию этого хозяйства (сервер+датацентр). Так и крутится на домашнем минисервачке для личного пользования.

Оффлайн Daemon2017

  • Сообщений: 2307
  • Страна: ru
  • Рейтинг +1155/-18
  • Y-ДНК: R1a-Y35174
  • мтДНК: V7-a2a2a2b*
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #311 : 03 Июль 2023, 17:14:37 »
Большая ресурсоемкость и как следствие достаточно большое время выполнение задачи. Параллельные обращения умножают проблему. Проблему с падением запроса по таймауту можно решать через планировщик отложенных задач, по типу - загрузил - через пару дней пришла ссылка на указанную почту для скачивания результата. В моем случае ресурсоемкость была еще выше из-за использования матрицы снипов с допуском неопределенных значений в дополнение к STR. Но матрица снипов необходима для нормального построения графа, а не сотни вариантов по гомоплазным STR маркерам, не имеющим ничего общего с реальным деревом. Без введения SNP это будет просто очередная игрушка, основная задача которой может рассматриваться только в выделении каких-то основных кластеров внутри пачки гаплотипов.
Тоже хотел сделать сервис общедоступным, но достаточно большие траты выходят по содержанию этого хозяйства (сервер+датацентр). Так и крутится на домашнем минисервачке для личного пользования.

Ааа, ну это справедливо. Я планирую сделать инструмент для одноклеточных вроде меня, так что ничего сложно и ресурсоемкого туда добавлять не буду ;D Закинул 20 гаплотипов - получил древо.

Оффлайн Semargl

  • "El sueño de la razón produce monstruos" ©
  • Сообщений: 6103
  • Страна: ru
  • Рейтинг +4375/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #312 : 03 Июль 2023, 17:19:10 »
Большая ресурсоемкость и как следствие достаточно большое время выполнение задачи. Параллельные обращения умножают проблему. Проблему с падением запроса по таймауту можно решать через планировщик отложенных задач, по типу - загрузил - через пару дней пришла ссылка на указанную почту для скачивания результата. В моем случае ресурсоемкость была еще выше из-за использования матрицы снипов с допуском неопределенных значений в дополнение к STR. Но матрица снипов необходима для нормального построения графа, а не сотни вариантов по гомоплазным STR маркерам, не имеющим ничего общего с реальным деревом. Без введения SNP это будет просто очередная игрушка, основная задача которой может рассматриваться только в выделении каких-то основных кластеров внутри пачки гаплотипов.
Тоже хотел сделать сервис общедоступным, но достаточно большие траты выходят по содержанию этого хозяйства (сервер+датацентр). Так и крутится на домашнем минисервачке для личного пользования.

Ааа, ну это справедливо. Я планирую сделать инструмент для одноклеточных вроде меня, так что ничего сложно и ресурсоемкого туда добавлять не буду ;D Закинул 20 гаплотипов - получил древо.
насколько я помню, мурка все равно работает несколько минут даже на простом датасете из нескольких гаплотипов. Валера поправит, если что, но насколько помню, мурка не принимает пустых значений для маркеров, так что при его отсутствии придется импутировать.
Плюсую и буду ждать результат. Буду с удовольствием пользоваться :)

Пример того, что получилось с TNT:

Дерево с моими ближайшими совпаденцами по STR. Цветом выделены кластеры, которые определились параллельным методом с использованием ИИ.
« Последнее редактирование: 03 Июль 2023, 17:34:52 от Semargl »

Оффлайн Daemon2017

  • Сообщений: 2307
  • Страна: ru
  • Рейтинг +1155/-18
  • Y-ДНК: R1a-Y35174
  • мтДНК: V7-a2a2a2b*
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #313 : 04 Июль 2023, 18:34:00 »
Дерево с моими ближайшими совпаденцами по STR. Цветом выделены кластеры, которые определились параллельным методом с использованием ИИ.

Ого, мощно!  :o

Оффлайн Farroukh

  • Maternal Y-DNA: R1b-FTD83033
  • Модератор
  • *****
  • Сообщений: 17691
  • Страна: az
  • Рейтинг +6317/-17
  • Paternal Mt-DNA: M9a1b1
    • Azerbaijan DNA Project
  • Y-ДНК: E-Y37518
  • мтДНК: F2f1
Re: MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ
« Ответ #314 : 05 Июль 2023, 10:52:33 »
Думаю, все согласятся с предложением о стандартной портэйбл-версии для ПК. Без всяких онлайн-сервисов и прочего чаромутия.

 

© 2007 Молекулярная Генеалогия (МолГен)

Внимание! Все сообщения отражают только мнения их авторов.
Все права на материалы принадлежат их авторам (владельцам) и сетевым изданиям, с которых они взяты.