FASTQ->BAM

[Valery]

Для широкого использования возможен выбор, например GATK, samtools, freebayes - первое что приходит в голову
основные траблы касаются повторяю не сборки, а коллинга с использованием указанного хозяйства

[AVBaz]

Для широкого использования возможен выбор, например GATK, samtools, freebayes - первое что приходит в голову
основные траблы касаются повторяю не сборки, а коллинга с использованием указанного хозяйства

Может быть неспециалистам лучше и не вмешиваться в процесс создания BAM-файлов? Нет риска, что насоздают таких файлов, которые филогенетическое древо исказят до неузнаваемости? Или обезьяна с гранатой неспециалист при создании BAM-файла максимум может лишь добавить несколько виртуальных снипов, что не сильно критично?

[Val_Metov]

Самый простой способ это конечно WGSExtrach V4. Авторов у программы несколько, но сейчас активно развитием занимается Рэнди Харр. Он есть в FB, очень разумный контактный человек.

Желательно комп\ноутбук 8+ потоков и 16 гб оперативной памяти. Пойдет и Windows и Linux (Ubuntu, Debian итд.) и MacOS. С apple M1 (итд) иногда бывают проблемы.
Самое частое, для чего используется программа, это оценка качества и выделение аутосом. Также можно быстро вырезать мито и Y, для отправки на Yfull. Можно из Bam сделать Fastq. Из Fastq пересобрать Bam на любом референсе. Также есть утилиты для определение Y и Мито гаплогрупп, не так глубоко как это делает Yfull, но иногда полезно. Особенно при обработке научных образцов.

В программе можно включить отладку и все команды которые используются будут сохранятся. Можно проанализировать и сами использовать.
На 6\12, 16 гб Ram машине (ноутбук на Ryzen 5600h) около суток собирается геном. Программа использует bwa-mem.

Если есть более мощная машина, можно попробовать bwa-mem2. Требует больше ресурсов, особенно оперативки. Собирается примерно в 2 раза быстрее.
Еще более быстрый способ - bwa-meme. Еще в 2 раза быстрее, но оперативной памяти надо много. Желательно 128 гб+.

Могу выложить комманды, которыми сам пользуюсь.

[Semargl]

Если на руках только FASTQ.

1) Использование WGS Extract
Дистрибутив. Мануал.
Достаточно простая в использовании программа. Установить. Прочитать по диагонали мануал. Скачать свои FASTQ на локальный комп. Скормить их программе. Запастись булками, кофе и т.п. В зависимости от "железа" ждать от нескольких часов до пары суток.
Недостатки:
а) скачивание больших файлов на локальный компьютер.
б) необходимость в установке и изучении программы. Времени особо не займет, но все же...
в) Длительный процесс выравнивания, требовательный к "железу".
Плюсы:
а) Все нужные в дальнейшем файлы будут под рукой, включая аутосомные файлы, для загрузки в другие сервисы.
б) Пересобрать геном в другой системе координат не составит труда. Думаю в скором будущем, разрыв в объеме данных, полученных из WGS будет сильно отличаться от таргетных игреков по типу FTDNA.

2) Использование YSEQ
Заказываем услугу маппирования, стоимостью $25. Оплатить можно в рублях картой выпущенной в РФ через YFull.
Для выравнивания YSEQ необходимо передать свои файлы FASTQ. Для этого их можно загрузить в любое облачное хранилище данных и скинуть им ссылку. Или, если файлы доступны для скачивания в личном кабинете лаборатории, как например у Данте Лабс, то дать YSEQ доступ в личный кабинет и они сами скачают ваши файлы.
Недостатки:
а) если ваши файлы изначально недоступны для скачивания в личном кабинете лаборатории, а переданы на флешке, то необходимо куда-то их загружать. Это большой объем данных и насколько я знаю, бесплатных облачных хранилищ для такого объема нет. Но  можно купить к примеру дополнительное место на яндекс диске на 1 месяц за небольшую плату.
Плюсы:
а) Простая передача данных в YFull после окончания выравнивания. Достаточно присоединиться к группе YFull на сайте YSEQ и вам придет емейл со ссылкой для подтверждения трансфера. Заказ в YFull будет оформлен с небольшой скидкой.
б) Готовый файл с аутосомами в формате 23andMe, который подойдет для загрузки на разные коммерческие и бесплатные сервисы.

3) Выравнивание в YFull. Такой услуги сейчас нет. Сервис просто не заточен под это направление. Но поступает много просьб, поэтому в дальнейшем возможно рассмотрим этот вариант. Пока нет.

Может что-то упустил. Буду рад если кто-то дополнит, исправит и т.п.

[Val_Metov]

Опция с выравниванием на Yfull и одновременным размещением на древе будет очень интересна. Добавьте туда же аутосомы, которые протестированные сами смогут загрузить на ftdna\Mh\GM\Genotek. 1500 руб +- вполне разумная плата.

Аутосомы которые дают YSEQ напрямую загружаются только на Gedmatch. Для загрузки на другие сервисы нужно легкое и быстрое преобразование в DNA Kit Studio. Меньше минуты займет.

Я бы еще добавил специфическую опцию. Разрешение на использование данных для исследований. С указанием каких-то анкетных данных, этносов, по здоровью итд. Для многих это табу, но лично я за развитие, я готов свои данные для развития науки предоставить.

[Semargl]

Аутосомы которые дают YSEQ напрямую загружаются только на Gedmatch. Для загрузки на другие сервисы нужно легкое и быстрое преобразование в DNA Kit Studio. Меньше минуты займет.

Перевод строк или что-то другое?

[Val_Metov]

Аутосомы которые дают YSEQ напрямую загружаются только на Gedmatch. Для загрузки на другие сервисы нужно легкое и быстрое преобразование в DNA Kit Studio. Меньше минуты займет.

Перевод строк или что-то другое?

Формат правильный
# rsid   chromosome   position   genotype
rs114420996   1   58814   GG
rs548049170   1   69869   TT

Но что там с номенклатурой. Вот пример вывода DNA Kit Studio. Это по плохому тесту, с покрытием Y x9.

> The source RAW file contains 1478502 SNPs
> Template read
> The template contains 635966 SNPs
> The output RAW file contains 635966 SNPs

Шаблон выбран 23andme v5

Т.е. набор снипов у YSEQ шире. Но если в DKS выбрать AllRawFormats_ByPosition, тогда такой вывод
> The source RAW file contains 1478502 SNPs
> Template read
> The template contains 1784791 SNPs
> The output RAW file contains 1784791 SNPs

Я на GM загружаю то, что дает YSEQ, а на остальные сайты обрезанный вариант 23andme v5.

[Valery]

Может быть неспециалистам лучше и не вмешиваться в процесс создания BAM-файлов? Нет риска, что насоздают таких файлов, которые филогенетическое древо исказят до неузнаваемости? Или обезьяна с гранатой неспециалист при создании BAM-файла максимум может лишь добавить несколько виртуальных снипов, что не сильно критично?

Дело в том что неаутентичность заметит yFull в любом случае по росту гомоплазии, которую такой образец создает с другими. Есть конечно виды ошибок, которые достоверно выявить нельзя, например фантомный приват. Но обычно серьезные проблемы с сиквенсом приводят и к массе других ошибок, которые выявляются как проблемный образец.

Если в параметры bwa-mem не вмешиваться, не менять вес открытия и расширения гэпа итп, то ничего не напортите. Как правило, вмешательство в иные параметры сборки кроме параметров выравнивания, ничего не поменяет: она или пойдет или не пойдет вообще.

Ну, как вариант, вы бы могли подпортить результат подсунув в качестве референса только Y: если вы собираете полный геном, то некоторые чтения с X присобачатся к Y. Но полагаю, при создании индекса bwa вы бы использовали умолчания и грузили бы полный геном, то есть и подобный путь к ошибке исключен. Там сложно напортить руками, не зная что именно и как надо портить 

Некоторые проблемы могут быть, если придется резать нестандартные адаптеры, то есть еще до сборки. И вообще истолкование качества может быть иногда проблемой. Но я предполагаю, что у вас на руках вменяемая фаста. После сборки, при сортировке BAM, тоже можно промахнуться командой и тогда при некоторой кривой реализации вы потеряете деланный сутки файл и придется все заново. Но опять-таки, все это можно обкатать на карликовой части генома, а потом собирать боевое количество фасты.

Я уже говорил, что основную и реальную проблему представляет коллинг, а не сборка. Но коллинг уфулл делает сам.

[Valery]

Как вариант, перед сборкой можно конвертировать небольшой кусок какого-нибудь тестового BAMа в фасткю и именно эту фасту скормить сборщику (соберет очень быстро, и кофе не успеете выпить!). Если ваша программа DNAExtract  такая умная, то может сделать коллинг, и вы сами сравните снипы этого куска со снипами исходного бама на том же куске. Идеальный тест!

[Valery]

соберет очень быстро, и кофе не успеете выпить!

хммм.. я собираю на 180-ядерном сервере с большим объемом памяти, возможно на домашней машине немножко медленнее
многопоточность реализую как запуск bwa одновременно во многих процессах скриптом
Но я никогда не разрешаю bwa более 3 потоков на образец!
так что если образец 1, все равно быстро будет!

Совет: НИКОГДА не разрешайте bwa использовать более 3 потоков на образец Y! качество может упасть
возможно в последних версиях это поправили, не знаю. Но лет 5 назад эмпирически этот совет был очень дельным.

На полном геноме возможно сейчас и стоит пробовать больше потоков. Вот не интересовался вопросом как это поменялось. Возможно у Володи (Семаргла) есть наблюдения.

[Valery]

Кто использует DNAExtract гляньте параметр -@ (число потоков)
возможно они намастачились безопасно это делать и бОльшим числом
вообще воруйте у них команды, как выше советует Валерий (Val_Metov), это очень разумное решение
у них наверняка best practices
крайне полезные советы по любому вопросу даст Володя (Семаргл)
мой опыт мог сильно устареть, мало слежу за новостями

[Semargl]

На полном геноме возможно сейчас и стоит пробовать больше потоков. Вот не интересовался вопросом как это поменялось. Возможно у Володи (Семаргла) есть наблюдения.

Обычно, чтоб процесс маппирования не мешал и не кушал ресурсы, запускаю ±80 потоков на WGS до 100Gb. Но использую сейчас bwa-mem2 в основном. Там подход несколько другой. Вообще, на современных тестах думаю стоит уже перейти на minimap, но что-то руки не доходят.

[Valery]

Обычно, чтоб процесс маппирования не мешал и не кушал ресурсы, запускаю ±80 потоков на WGS до 100Gb. Но использую сейчас bwa-mem2 в основном. Там подход несколько другой. Вообще, на современных тестах думаю стоит уже перейти на minimap, но что-то руки не доходят.

а, вот видишь, я отстал
c bwa-mem скажем 10 потоков уже делали кое-что не так
но я последний раз экспериментировал очень давно и с тех пор не менял настроек

пасипки, попробую bwa-mem2

[Semargl]

Обычно, чтоб процесс маппирования не мешал и не кушал ресурсы, запускаю ±80 потоков на WGS до 100Gb. Но использую сейчас bwa-mem2 в основном. Там подход несколько другой. Вообще, на современных тестах думаю стоит уже перейти на minimap, но что-то руки не доходят.

а, вот видишь, я отстал
c bwa-mem скажем 10 потоков уже делали кое-что не так
но я последний раз экспериментировал очень давно и с тех пор не менял настроек

пасипки, попробую bwa-mem2

Лучше сразу попробуй minimap2. От создателя bwa mem.
https://github.com/lh3/minimap2
https://pubmed.ncbi.nlm.nih.gov/29750242/

Note: minimap2 has replaced BWA-MEM for PacBio and Nanopore read alignment. It retains all major BWA-MEM features, but is ~50 times as fast, more versatile, more accurate and produces better base-level alignment. A beta version of BWA-MEM2 has been released for short-read mapping. BWA-MEM2 is about twice as fast as BWA-MEM and outputs near identical alignments.

https://github.com/lh3/bwa

Выбор варианта рефа (важно и для WGS Extract):
https://lh3.github.io/2017/11/13/which-human-reference-genome-to-use

UPD. Сейчас заметил что Небула стала использовать minimap2

[Srkz]

Там сложно напортить руками, не зная что именно и как надо портить 

Тут у меня начались флэшбэки на тему "если что-то можно напортить, это лишь вопрос времени, пока кто-нибудь из пользователей случайно этого не сделает" . А некоторые пытливые умы могут и специально попробовать, чтобы посмотреть, что из этого получится и как подобное скушает YFull. Как в FTDNA в какой-то момент начали появляться кривые аутосомные файлы, а потом им пришлось ограничить загрузку и ввести проверку на корректность.
Ну да ничего, это цена массовости и популярности. Если вдруг какие-нибудь ошибки пойдут в массы, придётся YFull приделать проверку на корректность при загрузке. А может, и вообще не дойдёт до подобного. Как бы то ни было, не вижу причин для нормальных пользователей отказываться от возможности самостоятельной обработки исходников.