Как прочитать файл генома в формате fq(fastq)?

[Иван55555]

Добрый день! Сдали ребенку генетический тест. Скачал необработанные данные(сырые) в формате download_2025-06-06_17-15-44.zip. В этом архиве 18 файлов WGSKZ_199_03_AIA160690_n240901_1_1.fq.gz и один файл WGSKZ_199_03_AIA160690_n240901.md5. Пробовал на сайте https://www.geneticlifehacks.com/, в нем нужно преобразовывать файлы с помощью WGS Extract(пытался ничего не получается, может что то делаю не так). Необходимо ли эти 18 файлов соединять в один? Подскажите пожалуйста как можно их прочитать(расшифровать)?

[Древ]

Иван55555
Какой именно генетический тест вы делали? А то вдруг это что-то другое.
Задача стоит, я так понимаю, узнать Y, мито и аутосомы?
Чтобы узнать Y и мито - заливайте на YFULL. Они принимают ссылки на яндекс-диск, например.
А вот чтобы аутосомы выделить, нужен WGS Extract. Ему на форуме посвящено несколько тем - читайте, вникайте. Им не так чтобы много народу пользуется и потому редко кто-то подробные советы по нему даёт.
Я вот, например, два десятка тестов делал и WGSE никогда не касался.

[Georg]

Если 18 файлов, то похоже на результаты прогона на секвенсорах mgi,  как биотехкампус/100000+я.
Дело нетривиальное, я сам долго мучался, вспомнил все свои юниксовые навыки.
Сперва надо объединить риды прямого прочтения в 1 файл, потом риды обратного прочтения.
Потом их как-то еще соединить и только тогда скармливать wgse.
Если сами хотите, читайте тут https://forum.molgen.org/index.php/topic,14733.msg614715.html#msg614715
Но лучше отдать какому-нибудь специалисту

[Иван55555]

Получилось с помощью WGS Extract преобразовать fq в bam(получилось 18 bam файлов), далее в формат 23andMe для сайта https://www.geneticlifehacks.com/. Загружаю каждый по отдельности  на сайт, получаю отличающиеся отчеты. Пробовал объединить файлы 23andMe в редакторе .txt, получается файл больше 200 Гб(сайт не грузит такой объем). Необходимо ли объединять bam файлы или  файлы 23andMe в общий, если да, то с помощью каких программ? Или все таки их загружать по отдельности?
Например загрузил 1 файл, одна из строк отчета: TNF   rs1799964   CC   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
                  загрузил 2 файл, одна из строк отчета: TNF   rs1799964   TT   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
                  загрузил 2 файл, одна из строк отчета: TNF   rs1799964   CT   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
В каждом отчете в одном и том же гене  разные генотипы СС, ТТ, СТ. Должно ли быть так?

[Daemon2017]

Получилось с помощью WGS Extract преобразовать fq в bam(получилось 18 bam файлов), далее в формат 23andMe для сайта https://www.geneticlifehacks.com/. Загружаю каждый по отдельности  на сайт, получаю отличающиеся отчеты. Пробовал объединить файлы 23andMe в редакторе .txt, получается файл больше 200 Гб(сайт не грузит такой объем). Необходимо ли объединять bam файлы или  файлы 23andMe в общий, если да, то с помощью каких программ? Или все таки их загружать по отдельности?
Например загрузил 1 файл, одна из строк отчета: TNF   rs1799964   CC   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
                  загрузил 2 файл, одна из строк отчета: TNF   rs1799964   TT   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
                  загрузил 2 файл, одна из строк отчета: TNF   rs1799964   CT   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
В каждом отчете в одном и том же гене  разные генотипы СС, ТТ, СТ. Должно ли быть так?

А зачем 18 BAM-файлов? 18 разных референсов?

Что в заголовках полученных отчетов? Возможно, что CC/TT/CT это значение в референсном геноме.

[Georg]

Получилось с помощью WGS Extract преобразовать fq в bam(получилось 18 bam файлов), далее в формат 23andMe для сайта https://www.geneticlifehacks.com/. Загружаю каждый по отдельности  на сайт, получаю отличающиеся отчеты. Пробовал объединить файлы 23andMe в редакторе .txt, получается файл больше 200 Гб(сайт не грузит такой объем). Необходимо ли объединять bam файлы или  файлы 23andMe в общий, если да, то с помощью каких программ? Или все таки их загружать по отдельности?
Например загрузил 1 файл, одна из строк отчета: TNF   rs1799964   CC   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
                  загрузил 2 файл, одна из строк отчета: TNF   rs1799964   TT   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
                  загрузил 2 файл, одна из строк отчета: TNF   rs1799964   CT   C   0.21   Increased TNF alpha, increased risk of many chronic inflammatory diseases
В каждом отчете в одном и том же гене  разные генотипы СС, ТТ, СТ. Должно ли быть так?

Вы по сути сделали отдельные файлы на каждый прогон днк. Wgs 2x.  Естественно значения могут различаться в зависимости от прочтения.
Я вам дал ссылку на обсуждение, что делать. Обьединить сперва fq

[Иван55555]

Сдали ребенку тест, дали ссылку на скачивание сырых данных. В ней 18 файлов fq (.gz)такого вида:
WGSKZ_199_04_AAI200819_n240899_1_1.fq
WGSKZ_199_04_AAI200819_n240899_1_2.fq
WGSKZ_199_04_AAI200819_n240899_2_1.fq
WGSKZ_199_04_AAI200819_n240899_2_2.fq
......
WGSKZ_199_04_AAI200819_n240899_8_2.fq
WGSKZ_199_04_AAI200819_n240899_ALN_1.fq
WGSKZ_199_04_AAI200819_n240899_ALN_2.fq
Первые шестнадцать весят 5-10 Гб, последние два больше 50Гб

[Val_Metov]

Обратись лучше к gemini/chatgpt/kimi/qwen/glm итд.
У вас должно получиться 2 fastq файла. Это не сложная задача для ПК, много времени не займет.
Дальше вы из этих 2х fastq получите bam. Референс выбираете сами, смотря для чего вам нужно. Для медицины hg37/hg38. Для того чтобы выделить аутосомы, тоже самое. Если хотите на Yfull загрузить. Тогда лучше t2t. Ну или hg38. По хорошему 2 раза пересобирать.
Вам это всё нейросеть прекрасно объяснит.

[Georg]

Обратись лучше к gemini/chatgpt/kimi/qwen/glm итд.
У вас должно получиться 2 fastq файла. Это не сложная задача для ПК, много времени не займет.
Дальше вы из этих 2х fastq получите bam. Референс выбираете сами, смотря для чего вам нужно. Для медицины hg37/hg38. Для того чтобы выделить аутосомы, тоже самое. Если хотите на Yfull загрузить. Тогда лучше t2t. Ну или hg38. По хорошему 2 раза пересобирать.
Вам это всё нейросеть прекрасно объяснит.

И с каким промтом? Сомневаюсь, что она сможет понять и построить алгоритм. Особенно, если пользователь не понимает ни какой вопрос, ни какой ожидается ответ.
Об этой новой проблеме необьединенных единичных ридов даже автор wgse не знал и не захотел решать.

Если кратко, то
# Объединяем все R1 файлы
zcat sample1_R1.fq.gz sample2_R1.fq.gz sample3_R1.fq.gz sample4_R1.fq.gz | gzip > combined_R1.fq.gz

# Объединяем все R2 файлы
zcat sample1_R2.fq.gz sample2_R2.fq.gz sample3_R2.fq.gz sample4_R2.fq.gz | gzip > combined_R2.fq.gz


Или я подозреваю, что ALN файлы уже являются обьединенными ридами, каждый в одну сторону прочтения.
Тогда достаточно только их скормить wgse, он возможно их обьединит и преобразует в bam

[Val_Metov]

Она решается. Проверено. Дело не в промте. Показывается файлы, можно скрин всех файлов. И что надо собрать итд. то ли zcat то ли еще как-то точно не помню.

[Semargl]

Или я подозреваю, что ALN файлы уже являются обьединенными ридами, каждый в одну сторону прочтения.
Тогда достаточно только их скормить wgse, он возможно их обьединит и преобразует в bam

Похоже на то. Попробуйте сравнить сумму 16 малых файлов с суммой двух больших файлов. Если примерно они равны, то значит выравниваете через WGSE только их.