MURKA. Мануал для дилетанта. ОБСУЖДЕНИЕ

[Daemon2017]

Вопрос к мэтрам. Реально ли сделать для MURKA нормальночеловекоадаптированный интерфейс для построения древа по Y12, Y17, Y23, Y25, Y27, Y37, Y67 и Y111?

Взал эксельку с гаплотипами, закинул в синее море, получил древо.

Во второй половине 2023 могу взяться за WebAPI, выполняющее такие задачи: Вы ему YCH, сгенерированный MyMcGee, а сервис Вам псевдографическое древо. Звучит не шибко сложно - за месяц-другой управлюсь

[Farroukh]

Прекрасно, вернёмся к теме в июле 2023 г.

[Farroukh]

До наступления 14 июля остаётся ровно 2 месяца
С нетерпением ожидаю начала работы по очеловечиванию "Мурки"

[Daemon2017]

До наступления 14 июля остаётся ровно 2 месяца
С нетерпением ожидаю начала работы по очеловечиванию "Мурки"

Сделаем

[Farroukh]

Ура! До наступления 14 июля остался всего месяц

[Farroukh]

До 14 июля остаётся пара недель 
Озвучу основные шаги и пожелания:

1) Берём гаплотипы, идём сюда
2) Выставляем нужные настройки - обязательно ставим "птичку" в квадратике с подписью "Generate Fluxus phylogenetic network .ych data",
другими птиками отмечаем прочие опции - в годах или поколениях, 50% или 95%, скорости в МакДональндах или во ФТДНА-шках и пр. х.
3) Закидываем гаплотипы в форму, генерируем *.ych данные, копируем их в блокнотовский файл, который обзываем латинскими буквами и меняем расширение с *.txt на *.ych

Хотелки к ожидаемому WebAPI:
1) возможность генерить схему не только в виде древа ("предок внизу - потомки вверху"), но и в виде нисходящих ответвлений ("предок вверху - потомки внизу", как на древе Yfull)
2) возможность экспортировать в векторный PDF (чтобы потом на огромном древе поиском CTRL+F по номеру найти нужный гаплотип, а не ломать глаза, рыская по растровой картинке)
3) возможность добавлять в углу подпись, содержащую количество гаплотипов в сгенерированном древе и их длину. Y67, 154 hpts (т. е. древо из 154 67-маркёрных гаплотипов)

Вменяемый конструктив приветствуется.

[Daemon2017]

До 14 июля остаётся пара недель 
Озвучу основные шаги и пожелания:

1) Берём гаплотипы, идём сюда
2) Выставляем нужные настройки - обязательно ставим "птичку" в квадратике с подписью "Generate Fluxus phylogenetic network .ych data",
другими птиками отмечаем прочие опции - в годах или поколениях, 50% или 95%, скорости в МакДональндах или во ФТДНА-шках и пр. х.
3) Закидываем гаплотипы в форму, генерируем *.ych данные, копируем их в блокнотовский файл, который обзываем латинскими буквами и меняем расширение с *.txt на *.ych

Хотелки к ожидаемому WebAPI:
1) возможность генерить схему не только в виде древа ("предок внизу - потомки вверху"), но и в виде нисходящих ответвлений ("предок вверху - потомки внизу", как на древе Yfull)
2) возможность экспортировать в векторный PDF (чтобы потом на огромном древе поиском CTRL+F по номеру найти нужный гаплотип, а не ломать глаза, рыская по растровой картинке)
3) возможность добавлять в углу подпись, содержащую количество гаплотипов в сгенерированном древе и их длину. Y67, 154 hpts (т. е. древо из 154 67-маркёрных гаплотипов)

Вменяемый конструктив приветствуется.

Добрый вечер, Фаррух!

Лады, завязку на копипасту из MyMcGee сделаю - это без проблем

Вторая часть это больше к возможностям GraphViz - если он умеет переворачивать графы и экспортироваться в PDF, то все получится. Я очень слабо знаком с GV, так что надо будет изучать.

[Farroukh]

Да, переворачивать может. Да и в pdf по идее тоже должен выводить.

[Semargl]

могу взяться за WebAPI, выполняющее такие задачи: Вы ему YCH, сгенерированный MyMcGee, а сервис Вам псевдографическое древо.

для локального компа? или сервис будет крутиться на сервере?
Я просто пару лет назад писал подобное для личного пользования, с расчетом возраста, реперными точками по снипам, но для TNT, а не мурки. Есть некоторые подводные камни. 

[Daemon2017]

для локального компа? или сервис будет крутиться на сервере?
Я просто пару лет назад писал подобное для личного пользования, с расчетом возраста, реперными точками по снипам, но для TNT, а не мурки. Есть некоторые подводные камни. 

На сервере - чтобы было общедоступно 
О, а обо что мне предстоит споткнуться при создании Web-обертки?

[Semargl]

для локального компа? или сервис будет крутиться на сервере?
Я просто пару лет назад писал подобное для личного пользования, с расчетом возраста, реперными точками по снипам, но для TNT, а не мурки. Есть некоторые подводные камни. 

На сервере - чтобы было общедоступно 
О, а обо что мне предстоит споткнуться при создании Web-обертки?

Большая ресурсоемкость и как следствие достаточно большое время выполнение задачи. Параллельные обращения умножают проблему. Проблему с падением запроса по таймауту можно решать через планировщик отложенных задач, по типу - загрузил - через пару дней пришла ссылка на указанную почту для скачивания результата. В моем случае ресурсоемкость была еще выше из-за использования матрицы снипов с допуском неопределенных значений в дополнение к STR. Но матрица снипов необходима для нормального построения графа, а не сотни вариантов по гомоплазным STR маркерам, не имеющим ничего общего с реальным деревом. Без введения SNP это будет просто очередная игрушка, основная задача которой может рассматриваться только в выделении каких-то основных кластеров внутри пачки гаплотипов.
Тоже хотел сделать сервис общедоступным, но достаточно большие траты выходят по содержанию этого хозяйства (сервер+датацентр). Так и крутится на домашнем минисервачке для личного пользования.

[Daemon2017]

Большая ресурсоемкость и как следствие достаточно большое время выполнение задачи. Параллельные обращения умножают проблему. Проблему с падением запроса по таймауту можно решать через планировщик отложенных задач, по типу - загрузил - через пару дней пришла ссылка на указанную почту для скачивания результата. В моем случае ресурсоемкость была еще выше из-за использования матрицы снипов с допуском неопределенных значений в дополнение к STR. Но матрица снипов необходима для нормального построения графа, а не сотни вариантов по гомоплазным STR маркерам, не имеющим ничего общего с реальным деревом. Без введения SNP это будет просто очередная игрушка, основная задача которой может рассматриваться только в выделении каких-то основных кластеров внутри пачки гаплотипов.
Тоже хотел сделать сервис общедоступным, но достаточно большие траты выходят по содержанию этого хозяйства (сервер+датацентр). Так и крутится на домашнем минисервачке для личного пользования.

Ааа, ну это справедливо. Я планирую сделать инструмент для одноклеточных вроде меня, так что ничего сложно и ресурсоемкого туда добавлять не буду Закинул 20 гаплотипов - получил древо.

[Semargl]

Большая ресурсоемкость и как следствие достаточно большое время выполнение задачи. Параллельные обращения умножают проблему. Проблему с падением запроса по таймауту можно решать через планировщик отложенных задач, по типу - загрузил - через пару дней пришла ссылка на указанную почту для скачивания результата. В моем случае ресурсоемкость была еще выше из-за использования матрицы снипов с допуском неопределенных значений в дополнение к STR. Но матрица снипов необходима для нормального построения графа, а не сотни вариантов по гомоплазным STR маркерам, не имеющим ничего общего с реальным деревом. Без введения SNP это будет просто очередная игрушка, основная задача которой может рассматриваться только в выделении каких-то основных кластеров внутри пачки гаплотипов.
Тоже хотел сделать сервис общедоступным, но достаточно большие траты выходят по содержанию этого хозяйства (сервер+датацентр). Так и крутится на домашнем минисервачке для личного пользования.

Ааа, ну это справедливо. Я планирую сделать инструмент для одноклеточных вроде меня, так что ничего сложно и ресурсоемкого туда добавлять не буду Закинул 20 гаплотипов - получил древо.

насколько я помню, мурка все равно работает несколько минут даже на простом датасете из нескольких гаплотипов. Валера поправит, если что, но насколько помню, мурка не принимает пустых значений для маркеров, так что при его отсутствии придется импутировать.
Плюсую и буду ждать результат. Буду с удовольствием пользоваться

Пример того, что получилось с TNT:

Дерево с моими ближайшими совпаденцами по STR. Цветом выделены кластеры, которые определились параллельным методом с использованием ИИ.

[Daemon2017]

Дерево с моими ближайшими совпаденцами по STR. Цветом выделены кластеры, которые определились параллельным методом с использованием ИИ.

Ого, мощно! 

[Farroukh]

Думаю, все согласятся с предложением о стандартной портэйбл-версии для ПК. Без всяких онлайн-сервисов и прочего чаромутия.