WGSExtract, FASTQ и разные референсные геномы

[Georg]

Забрал в Биотехе свой геном в формате fastq.
Хотел в t2t сам перегнать.
В wgse стабильной июньской сборки никак чтото не вижу, куда засунуть эти файлики (4 папки с файлами).

С samtools в командной строке чтото не хочется сталкиваться 
Возможно переоценил свои силы, надо было bam брать)

[Daemon2017]

Забрал в Биотехе свой геном в формате fastq.
Хотел в t2t сам перегнать.
В wgse стабильной июньской сборки никак чтото не вижу, куда засунуть эти файлики (4 папки с файлами).

С samtools в командной строке чтото не хочется сталкиваться 
Возможно переоценил свои силы, надо было bam брать)

Вот тут манул https://madelinemiller.dev/blog/whole-genome-sequencing-wgsextract/
WGSe должен быть, кажется, не древнее 2022 года, чтобы работать с FASTQ, а дальше все легко: импортировали, проанализировали, выровняли, записали в BAM с нужным опорником (hg38, T2T)

[Georg]

Забрал в Биотехе свой геном в формате fastq.
Хотел в t2t сам перегнать.
В wgse стабильной июньской сборки никак чтото не вижу, куда засунуть эти файлики (4 папки с файлами).

С samtools в командной строке чтото не хочется сталкиваться 
Возможно переоценил свои силы, надо было bam брать)

Вот тут манул https://madelinemiller.dev/blog/whole-genome-sequencing-wgsextract/
WGSe должен быть, кажется, не древнее 2022 года, чтобы работать с FASTQ, а дальше все легко: импортировали, проанализировали, выровняли, записали в BAM с нужным опорником (hg38, T2T)

а какой t2t выбирать?
chm13 v2.0  25 SN (шимпанзе, что ли?)
hg002xy v2.7 25 SN
hg01243 v3 89 SN (начал пока с этим)
hg002xy v2 25 SN

---------------------------
Reference Genome File
---------------------------
The THG1243v3 Reference Genome (hg01243_v3.fna.gz) is required and still missing. The current command is cancelled.
не скачивает референсы и не устанавливает. была когда-то такая ошибка

[Semargl]

а какой t2t выбирать?
chm13 v2.0  25 SN (шимпанзе, что ли?)
hg002xy v2.7 25 SN
hg01243 v3 89 SN (начал пока с этим)
hg002xy v2 25 SN

chm13 v2.0  25 SN

[Capo]

Добрый вечер,
Я тоже забирал в fastq, yfull за 2500₽ сделал мне bam 

[vad245]

Забрал в Биотехе свой геном в формате fastq.
Хотел в t2t сам перегнать.
В wgse стабильной июньской сборки никак чтото не вижу, куда засунуть эти файлики (4 папки с файлами).

С samtools в командной строке чтото не хочется сталкиваться 
Возможно переоценил свои силы, надо было bam брать)

Вот тут манул https://madelinemiller.dev/blog/whole-genome-sequencing-wgsextract/
WGSe должен быть, кажется, не древнее 2022 года, чтобы работать с FASTQ, а дальше все легко: импортировали, проанализировали, выровняли, записали в BAM с нужным опорником (hg38, T2T)

Начал играться с WGS Extract и чего-то не понимаю. Помогите, пожалуйста.
Выровнял fastq с Т2Т. Но с этим БАМом WGSE ничего не даёт сделать, ни гаплогруппы посмотреть, ни аутосомы сгенерировать. Кнопки ненажимабельные. Могу только БАМы с Y и Mt сделать.
Ещё и говорит, что образец мужской, хотя я знаю что он женский.
Что я делаю не так?
И если аутосомы на Т2Т недоступны, то какой выбирать? Попробовал hs38d1, выровнял, сгенерил аутосомы, но на них gedmatch ругается, что мало информации. GRCh38 тоже недоступен в WGSE (4.44.11).

[Daemon2017]

Начал играться с WGS Extract и чего-то не понимаю. Помогите, пожалуйста.
Выровнял fastq с Т2Т. Но с этим БАМом WGSE ничего не даёт сделать, ни гаплогруппы посмотреть, ни аутосомы сгенерировать. Кнопки ненажимабельные. Могу только БАМы с Y и Mt сделать.
Ещё и говорит, что образец мужской, хотя я знаю что он женский.
Что я делаю не так?
И если аутосомы на Т2Т недоступны, то какой выбирать? Попробовал hs38d1, выровнял, сгенерил аутосомы, но на них gedmatch ругается, что мало информации. GRCh38 тоже недоступен в WGSE (4.44.11).

Возможно, что нарушено правило №1: в пути к WGSE и к файлу не должно быть кириллицы. Идеальное расположение обоих - C:/WGSE

[vad245]

Начал играться с WGS Extract и чего-то не понимаю. Помогите, пожалуйста.
Выровнял fastq с Т2Т. Но с этим БАМом WGSE ничего не даёт сделать, ни гаплогруппы посмотреть, ни аутосомы сгенерировать. Кнопки ненажимабельные. Могу только БАМы с Y и Mt сделать.
Ещё и говорит, что образец мужской, хотя я знаю что он женский.
Что я делаю не так?
И если аутосомы на Т2Т недоступны, то какой выбирать? Попробовал hs38d1, выровнял, сгенерил аутосомы, но на них gedmatch ругается, что мало информации. GRCh38 тоже недоступен в WGSE (4.44.11).

Возможно, что нарушено правило №1: в пути к WGSE и к файлу не должно быть кириллицы. Идеальное расположение обоих - C:/WGSE

Кириллицы нет. Перепробовал 3 разных конфигурации под Windows, перешёл на Ubuntu. А воз и нынче там.
Похоже, дело в самих геномах. Либо я чего-то не понимаю. Ну, или руки не оттуда растут.
Выровнял под Т2Т, но сам WGSE ничего не даёт с этим бамом делать. Вообще все кнопки ненажимательные.
Выровнял под HG38. Создал все аутосомники. Попытался залить на GedMatch. Облом.
Либо "Less than minimum number of valid SNPs", либо "Fails HTZ ratio test".
Залил на FTDNA, жду. Судя по всему тоже будет отлуп.

[gecube_ru]

напишите Randy Harr
докопаться до него можно в запрещенной сети ФБ - https://www.facebook.com/groups/373644229897409/user/710818042
в группе про WGS - https://www.facebook.com/groups/373644229897409
или на гитхабе https://github.com/WGSExtract/WGSExtract-Dev/issues

[Semargl]

Начал играться с WGS Extract и чего-то не понимаю. Помогите, пожалуйста.
Выровнял fastq с Т2Т. Но с этим БАМом WGSE ничего не даёт сделать, ни гаплогруппы посмотреть, ни аутосомы сгенерировать. Кнопки ненажимабельные. Могу только БАМы с Y и Mt сделать.
Ещё и говорит, что образец мужской, хотя я знаю что он женский.
Что я делаю не так?
И если аутосомы на Т2Т недоступны, то какой выбирать? Попробовал hs38d1, выровнял, сгенерил аутосомы, но на них gedmatch ругается, что мало информации. GRCh38 тоже недоступен в WGSE (4.44.11).

Возможно, что нарушено правило №1: в пути к WGSE и к файлу не должно быть кириллицы. Идеальное расположение обоих - C:/WGSE

Кириллицы нет. Перепробовал 3 разных конфигурации под Windows, перешёл на Ubuntu. А воз и нынче там.
Похоже, дело в самих геномах. Либо я чего-то не понимаю. Ну, или руки не оттуда растут.
Выровнял под Т2Т, но сам WGSE ничего не даёт с этим бамом делать. Вообще все кнопки ненажимательные.
Выровнял под HG38. Создал все аутосомники. Попытался залить на GedMatch. Облом.
Либо "Less than minimum number of valid SNPs", либо "Fails HTZ ratio test".
Залил на FTDNA, жду. Судя по всему тоже будет отлуп.

Аутосомы генерить, насколько я помню, лучше всего в GRCh37/hg19, так как именно с этим референсом по старинке работает гедматч. Не работал с WGSExtract, но если он делает аутосомные файлы из референсов отличных от GRCh37/hg19, то конвертирует позиции на лету, через лифтовер. Вероятно где-то на этом этапе ошибка?

[Semargl]

А может еще проще? Не выбрана директория для сохранения результатов?
https://docs.google.com/document/d/1HBj317OMeq26EmpwVWlAuzZsr2bfWh8Y58A8wAYWVoc/edit?tab=t.0

Если ни одна из кнопок не активна (серая, как показано), вернитесь в раздел «Настройки» и укажите выходной каталог. Затем в разделе «Файл BAM/CRAM» выберите файл и, возможно, нажмите кнопку «Статистика». После этого будут активны только кнопки для содержимого, доступного в BAM. Если кнопка «BAM только для Y-хромосомы» неактивна (серая), то, вероятно, программа определила, что это файл образца с женским полом, и в нём нет значений Y-хромосомы для генерации. Если BAM содержит только Y-хромосому, только мтДНК или только некартированные данные, кнопка «Microarray RAW» будет неактивна.

[Semargl]

Аутосомы генерить, насколько я помню, лучше всего в GRCh37/hg19, так как именно с этим референсом по старинке работает гедматч. Не работал с WGSExtract, но если он делает аутосомные файлы из референсов отличных от GRCh37/hg19, то конвертирует позиции на лету, через лифтовер. Вероятно где-то на этом этапе ошибка?

Точно. А про t2t речи даже не идет.

Мы обнаружили, что использование BAM-файла на основе референтного генома hs37d5 (Build37) обеспечивает наибольшую точность генерации файлов формата микрочипов. Инструмент будет использовать предоставленные BAM и референтную модель и сделает всё возможное с ними. При использовании BAM-файла, отличного от сопоставленного с hs37d5, появится всплывающее предупреждение.

При использовании BAM-файла, сопоставленного с референтной моделью Build38, инструмент использует (Py)Liftover для преобразования координат значений вызванных вариантов SNP в Build37. Форматы тестовых файлов микрочипов определены в Build37. Эта операция переноса занимает всего несколько минут и приводит к потере около 500 значений (из 600 000 или более) из-за несопоставимых областей между моделями Build.

Инструменту требуется около часа для генерации исходного файла CombinedKit из BAM: он выполняет наложение, затем вызов вариантов и извлечение. Затем инструменту потребуется около 2 минут для каждого выбранного формата файла, кроме CombinedKit. Файл CombinedKit затем будет уничтожен, если вы не выбрали его в качестве одного из форматов доставки.

Если инструмент обнаружит файл CombinedKit в выходном каталоге (более новый, чем ваш BAM), он начнёт с него и сгенерирует любой выбранный файл за считанные минуты. Поэтому мы рекомендуем всегда изначально генерировать файл CombinedKit и оставлять его в выходном каталоге.

[vad245]

Аутосомы генерить, насколько я помню, лучше всего в GRCh37/hg19, так как именно с этим референсом по старинке работает гедматч. Не работал с WGSExtract, но если он делает аутосомные файлы из референсов отличных от GRCh37/hg19, то конвертирует позиции на лету, через лифтовер. Вероятно где-то на этом этапе ошибка?
[/quote]В том-то и дело, что WGSE не даёт выбрать GRCh37. Сейчас выравниваю в hs37d5, посмотрим что получится.

А для загрузки Y и Mt на YFull лучше сразу в Т2Т выравнивать? Или через HG38?

[Semargl]

А для загрузки Y и Mt на YFull лучше сразу в Т2Т выравнивать? Или через HG38?

В T2T, так сэкономите деньги за апгрейд.

[vad245]

В общем, ни один кит GedMatch не принял, уже все выравнивания перепробовал во всех вариациях. Он считает их синтетическими и ставит private без возможности сравнивания.
Это что же, GedMatch отрезал всех полногеномников, получается?
У меня задача-то простая - убедится, что взятые при эксгумации образцы действительно наши родные.
На FTDNA что-то долго идёт обсчёт, и неизвестно, примут или нет.

Подскажите, пожалуйста, а есть программы подсчёта совпадений по двум китам? Дабы не мучиться с загрузками и ожиданием.