АвторТема: Компания Dante Labs  (Прочитано 37002 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Alexey_V.B.

  • Сообщений: 407
  • Страна: il
  • Рейтинг +104/-0
  • Y-ДНК: R1a (R-A8998)
  • мтДНК: K1a1b1a
Re: Компания Dante Labs
« Ответ #585 : 17 Ноябрь 2019, 10:00:51 »
Feroce, посмотрите сообщение #2591на http://forum.molgen.org/index.php/topic,5782.msg470154.html#msg470154

Оффлайн Томми

  • Сообщений: 80
  • Рейтинг +26/-0
  • Y-ДНК: I2a2b L38 S2606
  • мтДНК: H3f
Re: Компания Dante Labs
« Ответ #586 : 17 Ноябрь 2019, 11:25:58 »
Почти 3000р за отмену заказа будут брать. https://www.dantelabs.com/pages/refund-policy-us
Развод какой то

Оффлайн Feroce

  • Сообщений: 950
  • Страна: ru
  • Рейтинг +221/-0
    • Бессоновы/Безсоновы
  • Y-ДНК: R1a-Z92 (YP6504->BY30750)
Re: Компания Dante Labs
« Ответ #587 : 17 Ноябрь 2019, 11:49:32 »
Feroce, посмотрите сообщение #2591на http://forum.molgen.org/index.php/topic,5782.msg470154.html#msg470154
Я видел, поэтому и спрашивал.
Там речь о дополнительной скидке, поэтому и не понятно про цену.
Т.е. в честь "China's Singles Day" была скидка и x30 стоил 199$, а для YFull 180$, и сейчас цена вернулась?

Оффлайн Semargl

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5308
  • Страна: hr
  • Рейтинг +2614/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Re: Компания Dante Labs
« Ответ #588 : 17 Ноябрь 2019, 11:52:13 »
Файл BAM готовы предоставить только на жестком диске (за 59 евро), иначе предлагают скомпилировать его самостоятельно (после получения ссылок на FASTQ-файлы) при помощи приложения EvE Premium на Sequencing.com (19,99 $).

Если кто соберется сам компилировать BAM из FastQ, то на основании имеющегося у меня образца Dante Labs из числа недавно полученных, для генеалогических целей могу порекомендовать следующее.
Внимание! Образцы из Dante Labs могут сильно отличаться - у меня нет общей статистики по ним, соответственно, все рекомендации могут быть использованы только на свой страх и риск.

Для сборки, похоже, лучше всего использовать референс GCA_000001405.15_GRCh38_no_alt_plus_hs38d1_analysis_set.fna.gz, который содержит GRCh38 без альтернативных регионов, но содержит последовательности-приманки для удаления мусорных кусков ДНК (ну типа от загрязнений вирусами и пр). Я попробовал почти 10 разных референсов Hg19 и Hg38 - и у данного получалось наиболее простое выравнивание, без лишних артефактов.

При этом, для выравнивания можно использовать либо бесплатный https://usegalaxy.eu/ (к тому же, мне он кажется более надежным, чем американский sequencing.com). Кратко схема действий для него:
1. Зарегистрироваться (да, кстати - лучше использовать браузер Google Chrome)
2. Загрузить свои FastQ файлы, используя какой-нибудь FTP клиент (там есть инструкция), и импортировать файлы после загрузки по FTP.
3. Загрузить референсную последовательность, указанную выше.
Внимание - после всей загрузки проверить, что среди hidden файлов нет загруженных в распакованном виде! Место на usegalaxy ограниченно 250 Гб, поэтому распакованные файлы могут его тут же "сожрать". Если есть такие hidden распакованные файлы - их можно и нужно безболезненно удалить.
4. Выполнить выравнивание (сформировать BAM) используя Map with BWA - map short reads (< 100 bp) against reference genome (Galaxy Version 0.7.17.4) и выбрав загруженную ранее референсную последовательность и оба FastQ файла (фактически, выполнится bwa sampe, с дальнейшей сортировкой и индексированием). Вполне можно всё делать с дефолтными настройками!
5. По получении результата загрузить к себе BAM файл, и обработать его перед передачей в YFull согласно инструкции, которая проскакивала ранее.

Либо выполнить выравнивание самостоятельно. Опять же, в той инструкции, что проскакивала ранее, есть описание установки Ubuntu-подсистемы под Windows (либо просто поставить себе Ubuntu или иную *nix-операционку на какой-либо сервер),
1. Установить утилиты samtools и bwa (для BAM этого будет достаточно). Можно ориентироваться на инструкции типа https://www.biostars.org/p/328831/ (за исключением Export To Path And Refresh - оно чуть иначе устроено, вроде как).
2. Выполнить выравнивание, используя (далее - код для примера. Референс, упомянутый выше, здесь именован как GRCh38nap1.fna.gz):
bwa index GRCh38nap1.fna.gz
bwa aln -t 256 GRCh38nap1.fna.gz R1.fastq.gz > R1-38.sai
bwa aln -t 256 GRCh38nap1.fna.gz R2.fastq.gz > R2-38.sai
bwa sampe -P GRCh38nap1.fna.gz R1-38.sai R2-38.sai R1.fastq.gz R2.fastq.gz > R38.sam
samtools view -@ 256 -bS R38.sam > R38v.bam
samtools sort -@ 256 -O bam -o R38.bam -T R38temp R38v.bam
samtools index -@ 256 R38.bam
(примечание - число 256 везде, где оно есть, означает количество потоков обработки (multi-threading) - это зависит от количества потоков процессоров/ядер вашего сервера/компа и его следует поменять в зависимости от Ваших условий - например, для домашней машины вполне может хватить и значения 4 или 8 ).
3. И опять же, обработать полученный файл по инструкции, которая проскакивала ранее.

Для предварительного просмотра полученного файла можно использовать браузер IGV и иные утилиты.
Выделение снипов и инделов - отдельный разговор. В данном случае (материал из Dante Labs) я бы просто рекомендовал далее отправить BAM в YFull.

Попробовал и иные инструменты для выравнивания (hisat2, bowtie2, NextGenMap и некоторые другие) - они давали бОльшее количество артефактов в генерируемом файле, равно как и bwa mem (что странно, поскольку вроде его использует сам Dante Labs). На данный момент bwa sampe показал лучшие результаты, а на втором месте bwa bwasw.

Вероятно, кто-то из маститых биоинформатиков меня поправит (особенно, если есть статистика по Dante Labs), но считаю, что хоть какую-то инструкцию хотелось бы людям дать - глядишь, ещё к чему-нибудь полезному это приведёт :)
Насчет алгоритмов:
BWA is a software package for mapping low-divergent sequences against a large reference genome, such as the human genome. It consists of three algorithms: BWA-backtrack, BWA-SW and BWA-MEM. The first algorithm is designed for Illumina sequence reads up to 100bp, while the rest two for longer sequences ranged from 70bp to 1Mbp. BWA-MEM and BWA-SW share similar features such as long-read support and split alignment, but BWA-MEM, which is the latest, is generally recommended for high-quality queries as it is faster and more accurate. BWA-MEM also has better performance than BWA-backtrack for 70-100bp Illumina reads.

Насколько я помню, BWA-backtrack (sampe) рекомендуется использовать для коротких ридов. Например для старых файлов из проекта 1000 геномов. Для ридов длиной более 70bp рекомендуют использовать алгоритм BWA-MEM, как более быстрый и более аккуратный.
Я обычно использую BWA-MEM, но скажу честно, не сравнивал его с BWA-backtrack и BWA-SW. BWA-backtrack использовал как-то для выравнивания древнего генома Этци из-за коротких ридов. Процесс занял пару недель, а на выходе получил сплошные артефакты. :)

Оффлайн Andymeon

  • Сообщений: 1137
  • Страна: ru
  • Рейтинг +93/-4
  • Y-ДНК: R1a [CTS 3402+ Y2910+ YP310+]
  • мтДНК: H3i
Re: Компания Dante Labs
« Ответ #589 : 17 Ноябрь 2019, 13:36:57 »
Интересная логистика.. если пройти через vpn на https://us.dantelabs.com/account , то можно зайти под своим логином но в совершенно пустой аккаунт. При этом делая покупку, доставка указывается как "стандартная". А по https://dantelabs.com/account предлагается "бесплатная" и " экспресс dhl " Вобщем, хак найден видимо. Вопрос есть ли проблемы у fedex
Прикрыли ссылку походу и дальше молчат.. На какой ящик им писать?

Оффлайн Semargl

  • "El sueño de la razón produce monstruos" ©
  • Модератор
  • *****
  • Сообщений: 5308
  • Страна: hr
  • Рейтинг +2614/-5
  • www.semargl.me
    • www.semargl.me
  • Y-ДНК: R1a [CTS3402+]
  • мтДНК: U4a2g
Re: Компания Dante Labs
« Ответ #590 : 17 Ноябрь 2019, 14:50:28 »
Интересная логистика.. если пройти через vpn на https://us.dantelabs.com/account , то можно зайти под своим логином но в совершенно пустой аккаунт. При этом делая покупку, доставка указывается как "стандартная". А по https://dantelabs.com/account предлагается "бесплатная" и " экспресс dhl " Вобщем, хак найден видимо. Вопрос есть ли проблемы у fedex
Прикрыли ссылку походу и дальше молчат.. На какой ящик им писать?
Я написал письмо Генеросо и Андреа. Описал проблемы DHL и попросил прокомментировать ситуацию. Посмотрим что ответят. Так как мой набор, купленный еще до начала распродажи, еще не выслали.

Оффлайн Feroce

  • Сообщений: 950
  • Страна: ru
  • Рейтинг +221/-0
    • Бессоновы/Безсоновы
  • Y-ДНК: R1a-Z92 (YP6504->BY30750)
Re: Компания Dante Labs
« Ответ #591 : 17 Ноябрь 2019, 15:32:54 »
Feroce, посмотрите сообщение #2591на http://forum.molgen.org/index.php/topic,5782.msg470154.html#msg470154
Я видел, поэтому и спрашивал.
Там речь о дополнительной скидке, поэтому и не понятно про цену.
Т.е. в честь "China's Singles Day" была скидка и x30 стоил 199$, а для YFull 180$, и сейчас цена вернулась?
А цену никак не вернуть? А то думал это доп скидка до 11.11 продержится, а так бы штуки 4 взял бы.

Онлайн ochkas

  • Сообщений: 325
  • Страна: ru
  • Рейтинг +117/-0
  • FTDNA: 634321
    • Ochkas DNA
  • Y-ДНК: R1a-L1029-Y128286 (UKR)
  • мтДНК: U3a3b (BLR)
Re: Компания Dante Labs
« Ответ #592 : 17 Ноябрь 2019, 15:35:24 »
Ждите чёрной пятницы (29 ноября). Скидка наверняка вернётся.

Оффлайн Andymeon

  • Сообщений: 1137
  • Страна: ru
  • Рейтинг +93/-4
  • Y-ДНК: R1a [CTS 3402+ Y2910+ YP310+]
  • мтДНК: H3i
Re: Компания Dante Labs
« Ответ #593 : 17 Ноябрь 2019, 15:39:57 »
Feroce, посмотрите сообщение #2591на http://forum.molgen.org/index.php/topic,5782.msg470154.html#msg470154
Я видел, поэтому и спрашивал.
Там речь о дополнительной скидке, поэтому и не понятно про цену.
Т.е. в честь "China's Singles Day" была скидка и x30 стоил 199$, а для YFull 180$, и сейчас цена вернулась?
А цену никак не вернуть? А то думал это доп скидка до 11.11 продержится, а так бы штуки 4 взял бы.
Рано тут брать что-то, с доставкой хрень какая-то. Да и было уже http://forum.molgen.org/index.php/topic,10204.msg436882.html#msg436882

Оффлайн sommer

  • Сообщений: 248
  • Страна: ru
  • Рейтинг +69/-2
  • Y-ДНК: R1a-L664 S3485
Re: Компания Dante Labs
« Ответ #594 : 17 Ноябрь 2019, 15:56:12 »
Итальянцы, такие итальянцы! Чистый совок бизнес.
Всякая коммерческая фирма вправе работать с теми или иными странами.
1. Нормальная компания сразу уведомляет, что по каким-то причинам не работает с той или иной страной. Это ее полное право.
Компания Данте нигде не указала, что не работает с Россией. И исправно принимала заказы из России.
2. Второе - всякая коммерческая компания  имеет полное право не работать с физическими лицами.
Компания Данте нигде не указала, что не работает с физическими лицами. И принимала заказы именно от физических лиц.
3. Компанией Данте в качестве компании по доставки в Россию была выбрана DHL и только, которая в России в принципе не работает с физическими лицами.
Круг замкнулся.
Каждый легко через VPN мог бы заказать доставку из США, если бы его сразу предупредили о данных проблемах.
Но мой взгляд такой подход  - это худшие совковые подходы. Как гражданин одной из стран ЕС несказанно этим поражен.
Теперь я должен пересылать на германский адрес. а уже оттуда в Россию.
То есть нести дополнительные расходы. Понятно, что все это, как и стоимость самих заказов копейки.
Ну тут дело принципа. Совершенно дилетантской суждение, что в Италии нельзя выиграть суд. Можно и легко (личный опыт).
Короче пока будем посмотреть.
« Последнее редактирование: 17 Ноябрь 2019, 23:01:29 от sommer »

Оффлайн rmk

  • Сообщений: 168
  • Страна: ru
  • Рейтинг +109/-30
Re: Компания Dante Labs
« Ответ #595 : 17 Ноябрь 2019, 17:40:43 »
Считаю, что стоит относиться с пониманием к такому стартапу, как Dante Labs. Не ожидать от них отточенной работы крупной компании с многолетним опытом. Никому не было бы легче, если бы они отказались работать с Россией. То, что они пытаются сделать - это революция на рынке полногеномного тестирования. Равно как и на рынке генетической генеалогии, в особенности в части Y-хромосомы. Таких цен больше ни у кого нет. Все выиграют, если им удастся отладить бизнес-процессы и встать на ноги. Для кого важна выстроенная работа лаборатории без проволочек, пока имеет смысл рассмотреть другие варианты.

Оффлайн Mich Glitch

  • Genus regis
  • Модератор
  • *****
  • Сообщений: 34886
  • Страна: ca
  • Рейтинг +3030/-47
  • Y-ДНК: J2b1
  • мтДНК: H6a1a5a
Re: Компания Dante Labs
« Ответ #596 : 17 Ноябрь 2019, 18:04:18 »
Золотые слова! Полностью согласен.   :)

Оффлайн TK

  • Сообщений: 415
  • Страна: ru
  • Рейтинг +291/-0
Re: Компания Dante Labs
« Ответ #597 : 18 Ноябрь 2019, 12:42:13 »
Файл BAM готовы предоставить только на жестком диске (за 59 евро), иначе предлагают скомпилировать его самостоятельно (после получения ссылок на FASTQ-файлы) при помощи приложения EvE Premium на Sequencing.com (19,99 $).

Если кто соберется сам компилировать BAM из FastQ, то на основании имеющегося у меня образца Dante Labs из числа недавно полученных, для генеалогических целей могу порекомендовать следующее.
На данный момент bwa sampe показал лучшие результаты, а на втором месте bwa bwasw.


Насчет алгоритмов:
BWA is a software package for mapping low-divergent sequences against a large reference genome, such as the human genome. It consists of three algorithms: BWA-backtrack, BWA-SW and BWA-MEM. The first algorithm is designed for Illumina sequence reads up to 100bp, while the rest two for longer sequences ranged from 70bp to 1Mbp. BWA-MEM and BWA-SW share similar features such as long-read support and split alignment, but BWA-MEM, which is the latest, is generally recommended for high-quality queries as it is faster and more accurate. BWA-MEM also has better performance than BWA-backtrack for 70-100bp Illumina reads.

Насколько я помню, BWA-backtrack (sampe) рекомендуется использовать для коротких ридов. Например для старых файлов из проекта 1000 геномов. Для ридов длиной более 70bp рекомендуют использовать алгоритм BWA-MEM, как более быстрый и более аккуратный.
Я обычно использую BWA-MEM, но скажу честно, не сравнивал его с BWA-backtrack и BWA-SW. BWA-backtrack использовал как-то для выравнивания древнего генома Этци из-за коротких ридов. Процесс занял пару недель, а на выходе получил сплошные артефакты. :)

Да, меня поразило, что BWA-backtrack неожиданно дал лучшие результаты для сравнительно длинных ридов - 150bp.
Правда, уровень "улучшения" картины по снипам (по сравнению с другими алгоритмами), используемым YFull в осознанной части Y-ДНК я бы оценил лишь в 5-10%.
Но ведь в некоторых случаях и 10% улучшение может означать выявление 1 лишнего снипа из каждых 40 (например), либо перевод его по качеству из удовлетворительного в "отличные" :)
По результатам других выравниваний, могу сказать, что похоже, результат (какой алгоритм выбирать для выравнивания) также зависит от оборудования, которое использовалось при секвенировании (и, разумеется, даже от используемых реактивов).
BWA-SW, разумеется, более быстр, но при самодеятельности спешить-то особо некуда (а советы - пока именно для энтузиастов, кто сам решил побаловаться со сборкой).
По общему же количеству найденных снипов (используемых для дерева и возраста) - особых различий, разумеется, не было (ну, по мелочи - по итоговому "качеству" снипов, разве что).

Оффлайн SubbotaAnton

  • Сообщений: 249
  • Страна: ru
  • Рейтинг +147/-0
  • FTDNA: 594904, Gedmatch: T280867, Genbank MF278748
  • Y-ДНК: N-M231 L1027
  • мтДНК: I3d2
Re: Компания Dante Labs
« Ответ #598 : 18 Ноябрь 2019, 12:47:20 »
А зачем генерировать самому BAM, если в разделе FAQ Dante пишет:

Цитировать
How will I receive my raw data?

When your results are ready, your Dante Labs account will have a link to download the VCF file(s), BAM file and FASTQ file directly to your computer.

?

Оффлайн TK

  • Сообщений: 415
  • Страна: ru
  • Рейтинг +291/-0
Re: Компания Dante Labs
« Ответ #599 : 18 Ноябрь 2019, 12:56:10 »
А зачем генерировать самому BAM, если в разделе FAQ Dante пишет:

Цитировать
How will I receive my raw data?

When your results are ready, your Dante Labs account will have a link to download the VCF file(s), BAM file and FASTQ file directly to your computer.

?

Итальянцы - такие итальянцы....
Бывали случаи (не знаю, как сейчас), что FastQ - есть, а BAM - как не было, так никак и не появилось :)
Да и диск можно ждать ещё год :)

 

© 2007 Молекулярная Генеалогия (МолГен)

Внимание! Все сообщения отражают только мнения их авторов.
Все права на материалы принадлежат их авторам (владельцам) и сетевым изданиям, с которых они взяты.


Rambler's Top100