АвторТема: Компания Dante Labs  (Прочитано 168610 раз)

0 Пользователей и 3 Гостей просматривают эту тему.

Оффлайн Mich Glitch

  • Genus regis
  • Модератор
  • *****
  • Сообщений: 36936
  • Страна: ca
  • Рейтинг +3773/-48
  • Y-ДНК: J2b1
  • мтДНК: H6a1a5a
Re: Компания Dante Labs
« Ответ #450 : 15 Октябрь 2019, 16:23:34 »
А я всё равно себе заказал жёсткий диск с данными. По цене с доставкой - он немногим отличается от магазинной цены пустого накопителя.
Всё равно данные надо на что-то скачивать. Пару сотню ГБ (учитывая все файлы) - на компьютере так и так всё время не храню. У меня всего лишь 700 ГБ дискового пространства.
Да, и облако. Сегодня есть. Завтра нет. Причём в нынешних реалиях, доступ к данным могут закрыть одномоментно.

:)

Оффлайн NathanS

  • Сообщений: 1277
  • Страна: 00
  • Рейтинг +1202/-2
Re: Компания Dante Labs
« Ответ #451 : 15 Октябрь 2019, 21:10:20 »
А я всё равно себе заказал жёсткий диск с данными. По цене с доставкой - он немногим отличается от магазинной цены пустого накопителя.
Всё равно данные надо на что-то скачивать. Пару сотню ГБ (учитывая все файлы) - на компьютере так и так всё время не храню. У меня всего лишь 700 ГБ дискового пространства.
Да, и облако. Сегодня есть. Завтра нет. Причём в нынешних реалиях, доступ к данным могут закрыть одномоментно.

:)

Если кто-то заботится о месте и сохранности данных, рекоммендую почитать про массивы RAID: https://ru.wikipedia.org/wiki/RAID Поломка жесткого диска случалась со мной 3 раза лет за 15-18. После первой поломки и потери 500 GB, решил перейти на RAID-массивы. (Поломка произошла при включении внешнего диска, четкий щелчок и появился совершенно метрвый диск).

Самый простой уровнь RAID 1 - зеркалировние данных на двух дисках. Если компьютер стационарный, то можно посмотреть инструкцию к материнской плате. Многие даже не профессиональные материнские платы имеют возможность создания RAID 1. Ноутбуки попродвинутей тоже могут иметь возможность установки второго жесткого диска и создания RAID 1.

Также есть NAS https://ru.wikipedia.org/wiki/NAS. Простой компьютер, который подключается к домашней сети, и обеспечивает доступ данных по сети, ну и по USB. Есть шасси с поддержкой RAID 1 и 2-мя местами для дисков. Можно использовать как бэкап для всей семьи. Простые шасси, типа Zyxel NA326, стоят около 100$ плюс стоимость дисков. Есть и полностью готовые решения, например WD My Cloud Home Duo Nas.

Вероятность выхода из строя двух дисков одновременно существенно ниже вероятности выхода из строя одного диска. Массив работает, есть доступ к данным, даже если один диск вышел из строя. Сломавшийся диск, меняется на новый и массив восстанавливается. За 12 лет было 2 поломки дисков в массивах, все восстановил и ничего не потерял. Рекоммендую сразу вложиться в диски - специализированные для NAS держаться лучше. WesternDigital Red NAS 3 TB продается за примерно 100$, нужно минимум два. Если надо больше, то есть диски 14-16 TB. Недостаток, конечно, что приходится платить вдвое за пространство обеспечиваемое одним диском.

PS Про RAID 0 и JBOD знаю. Я использую 9 TB в массиве RAID 5. WGS тесты просто жрут пространство. 118 GB на FASTQ и 119 GB для BAM-файла на один тест, а если делать свое выравнивание, то еще 120 GB на свой BAM-файл, если удалить все промежутичные файлы. 360 GB ушли как с куста.

Оффлайн mdn

  • Сообщений: 263
  • Страна: fi
  • Рейтинг +142/-0
  • Y-ДНК: R-FGC56440
  • мтДНК: R1a1a1
Re: Компания Dante Labs
« Ответ #452 : 16 Октябрь 2019, 10:38:06 »
Заказал intro 4x за 99 евро
Пришло, обратил внимание - на самой пробирке надпись: "Exp: 2020-01-17". То есть срок годности её истекает всего лишь через 3 месяца.
Еще и обратная отправка была "действительно до 2020-01-14". Вроде на их сайте нигде не написано, что всего 3 месяца отведено на анализ? Я чуть было больше не купил, чтобы родственникам отправить - а это бы с полгода точно заняло бы.

Теперь немного волнуюсь про первый кит, который у них заказывал - родственники ничего про срок годности не говорили, а сам пробирку не посмотрел. Там получается впритык к 3 месяцам.
(добавление: проверил серийные номера китов, так тот прошлый был даже чуть новее последнего ;D так что видимо и срок годности у того точно так же до начала 2020)
« Последнее редактирование: 16 Октябрь 2019, 13:48:09 от mdn »

Оффлайн AlexVN

  • Сообщений: 7
  • Страна: ru
  • Рейтинг +3/-0
Re: Компания Dante Labs
« Ответ #453 : 16 Октябрь 2019, 16:03:45 »
Всем привет, некоторое время назад я таки дождался от Данте первых данных по моему секвенированию. Заказывал еще в апреле когда было доступно длинными чтениями у них.
Пока к скачаванию готов только FASTQ файл, с трудом но выкачал из их облака на другом конце земли - та еще задача. При обрыве связи качай все заново ( Архив около 100Гб
Я совсем новичок в анализе генетических данных, так что не пинайте сильно )
Для начала хотел понять качество этих конкретных данных. Прогнал через fastp и FastQC - на мой взгляд результаты как-то не очень. fastp и fastqc
Может что не так с настройками, для LongRead может надо использовать какие-то другие утилиты?
В общем подскажите куда копать и чем анализировать.
Ну и в BAM формат потом хочется самостоятельно перевести. Данте вроде в последнем письме обещает сделать, но пока от них дождешься...

И еще, по самим данным можно понять на каком оборудовании произведен анализ?
Данные заголовка приблизительно такие: @1c4e142b-76e5-43ea-bfca-72ee76420fff runid=73c96f5de7cbea095a60354ddb9b8c5133913c33 read=6 ch=2104 start_time=2019-06-06T17:45:50Z flow_cell_id=PAD65127 protocol_group_id=DL_AQ_2
0190606_005 sample_id=608
Из заголовка что-то полезное можно извлечь?
« Последнее редактирование: 16 Октябрь 2019, 17:09:07 от AlexVN »

Оффлайн AlexVN

  • Сообщений: 7
  • Страна: ru
  • Рейтинг +3/-0
Re: Компания Dante Labs
« Ответ #454 : 16 Октябрь 2019, 16:53:13 »
Кто-нибудь в курсе, сейчас реально получить от них пробирку в Россию? Знакомый раздумывает над приобретением теста. В принципе, там и на юрлицо можно.

PS тоже пообещали письмом сделать доступными из облака файлы, которые в моем случае были доступны из личного кабинета изначально ::)
Первую пробирку еще в апреле я получил на физлицо без каких-то проблем. Со второй, заказывал в мае, уже возникли серьезные проблемы с отправкой. Несколько месяцев переписки с ними впустую, говорят пробовали разными службами доставки, мне даже приходили номера для отслеживания, но безрезультатно. В итоге попросил отправить на адрес посредника в Германии, туда пришло без проблем, посредник тоже в общем то без проблем доставил в Россию, хотя и пришлось за это заплатить 20 евро. Посредник бандеролька.
С отправкой обратно тоже цирк с конями. Первую пробирку удалось отправить от юрлица указав что там просто пластиковая коробка.
Со второй так не прокатило, DHL позвонил со словами что таможенный инспектор желает знать что внутри пробирки, я честно признался, в итоге мне все вернули обратно. Решил отправить почтой России, отправка прошла без проблем и за копейки, на текущий момент судя по трекингу таможня пройдена, но до Данте еще не доехала посылка.

Оффлайн MCB

  • Сообщений: 71
  • Страна: 00
  • Рейтинг +47/-1
Re: Компания Dante Labs
« Ответ #455 : 16 Октябрь 2019, 23:00:49 »
Прогнал через fastp и FastQC - на мой взгляд результаты как-то не очень. fastp и fastqc
Может что не так с настройками, для LongRead может надо использовать какие-то другие утилиты?
Адапторы от Оксфорда эти пакеты не распознают, ну так первые 9 нуклеотидов, вероятно, их адоптор и можно проигнорить. Потом среднее качество довольно долго держится на уровне phred 15, т.е. одной ошибки на 30 нуклеотидов (с большим разбросом, но 95% ридов не дотягивают до phred 20, то есть частота ошибок практически всегда выше 1%), а ближе к концу длинного рида качество начинает сползать и ошибки в среднем лепятся с 10% частотой (но даже в лучших ридах там 2% ошибок). Отдельный вопрос, конечно - хорошо ли отработана у них шкала phred, ведь эта оценка качества может оказаться и хуже или лучше, чем реально по выравниванию. Ближе к концу ридов также видны, видимо, систематические ошибки, когда пурины не идентифицируются, а зато пиримидинов лезет прорва?

Примерно такого качества и следует ожидать от нанапоровых машин Оксфорда. Их главное достоинство - не в том, что нуклеотиды читаются надежно, а в том, что надежно виден дальний порядок в ДНК и все те хромосомные перестройки, которые обычное секвенирование пропускает.

Оффлайн MCB

  • Сообщений: 71
  • Страна: 00
  • Рейтинг +47/-1
Re: Компания Dante Labs
« Ответ #456 : 22 Октябрь 2019, 23:21:22 »
Предлагается запретить загрузку данных, не созданных самими ведущими лабораториями, а воссозданных из данных секвенирования типа Данте
https://www.biorxiv.org/content/10.1101/798272v1

Цели для этого самые благие - выясняется, что, загружая хитрым образом склепанные фиктивные геномы, можно узнать генотипы пользователей

Оффлайн NathanS

  • Сообщений: 1277
  • Страна: 00
  • Рейтинг +1202/-2
Re: Компания Dante Labs
« Ответ #457 : 23 Октябрь 2019, 00:10:20 »
Предлагается запретить загрузку данных, не созданных самими ведущими лабораториями, а воссозданных из данных секвенирования типа Данте
https://www.biorxiv.org/content/10.1101/798272v1

Цели для этого самые благие - выясняется, что, загружая хитрым образом склепанные фиктивные геномы, можно узнать генотипы пользователей

Из резюме к статье:
Цитировать
For example, using a method we call IBS tiling, we estimate that an adversary who uploads approximately 900 publicly available genomes could recover at least one allele at SNP sites across up to 82% of the genome of a median person of European ancestries.

Например, используя метод, коротый мы называем IBS tiling, мы оцениваем, что "противник/враг", который загрузит примерно 900 общественно доступных геномов смог бы извлечь (идентифицировать) по крайней мере 1 SNP аллель среди  примерно 82% генома среднего человека европейского происхождения.

Это всё таки не про фиктивные геномы, и не про ДантеЛабс. Если у Вас есть доступ к полной статье, пожалуйста, приведите цитаты подтверждающие Ваши утверждения.

Оффлайн MCB

  • Сообщений: 71
  • Страна: 00
  • Рейтинг +47/-1
Re: Компания Dante Labs
« Ответ #458 : 23 Октябрь 2019, 00:48:31 »
Ээ, мне кажется,  я ясно выразился,  но попробую еще раз. 
В этом препринте делается вывод,  что надо запретить загрузку генотипов, созданных не самими лабораториями,  а кем-то еще в правильном формате, но склепанных на стороне. В их число входят и файлы от WGSextract  и тп самопальщина,  воссозданная на основе полного секвенирования. 

Оффлайн MCB

  • Сообщений: 71
  • Страна: 00
  • Рейтинг +47/-1
Re: Компания Dante Labs
« Ответ #459 : 23 Октябрь 2019, 01:03:12 »
И, кстати, много там написано про геномы совсем фиктивные, специально нарисованные как наживка.  Но это как раз к нашей теме не относится

В секции 2.2 они обсуждают, как фейкнуть "хромосомы" free of linkage disequilibrium (LD) чтобы выяснить генотип в локусе APOE у "совпаденцев" с такими фиктивными геномами. В секции 2.3 - как использовать фиктивные генотипы с гетерозиготностью множества маркеров. И т.д. Всё это не про нас, а упоминаю я это только потому, что один заботливый форумчанин вломил мне минусик потому, что полагал, что в непрочитанной им статье "не обсуждались фиктивные геномы".

Про нашу же душу - вот такое предложение на строке 399: 1. Require uploaded files to include cryptographic signatures identifying their source.

 
« Последнее редактирование: 23 Октябрь 2019, 06:50:56 от MCB »

Оффлайн mdn

  • Сообщений: 263
  • Страна: fi
  • Рейтинг +142/-0
  • Y-ДНК: R-FGC56440
  • мтДНК: R1a1a1
Re: Компания Dante Labs
« Ответ #460 : 24 Октябрь 2019, 08:24:50 »
Вчера обнаружил, что оказывается, уже были заказы и отчеты по этому 4х чтению.
И вообще оказывается, 4x - это чтение Х хромосомы, аутосомы получаются в 2 раза выше, а Y - в 2 раза ниже (и это как-то даже обосновывается как-то научно).

То есть вкратце:
Аутосом - покрытие >90%, глубина ~9.
Y - средняя глубина 1.66, то есть очень мало.
Мито - 156 раз прочитано.

Длина чтения 150.

Мой обратный Интро 4х доставлен туда почтой под роспись в понедельник, но пока официально не получен (в системе до сих пор "ожидается"). :)

Оффлайн Srkz

  • Сообщений: 8462
  • Страна: ru
  • Рейтинг +4812/-3
  • Y-ДНК: N-L1025 Y64023
  • мтДНК: U4a1-a C16134T
Re: Компания Dante Labs
« Ответ #461 : 24 Октябрь 2019, 09:00:29 »
И вообще оказывается, 4x - это чтение Х хромосомы, аутосомы получаются в 2 раза выше, а Y - в 2 раза ниже (и это как-то даже обосновывается как-то научно).
Не вполне понимаю их логику ) А как это все формулируется в исходном сообщении?

надо запретить загрузку генотипов, созданных не самими лабораториями,  а кем-то еще в правильном формате, но склепанных на стороне. В их число входят и файлы от WGSextract  и тп самопальщина,  воссозданная на основе полного секвенирования.
Логичный шаг после того, как им начали периодически загружать вместо геномов какую-то хрень с кучей лжесовпаденцев (даже оставляя в стороне то, что таким путём действительно можно вычислить чьи-то личные данные).

Оффлайн mdn

  • Сообщений: 263
  • Страна: fi
  • Рейтинг +142/-0
  • Y-ДНК: R-FGC56440
  • мтДНК: R1a1a1
Re: Компания Dante Labs
« Ответ #462 : 24 Октябрь 2019, 14:17:21 »
И вообще оказывается, 4x - это чтение Х хромосомы, аутосомы получаются в 2 раза выше, а Y - в 2 раза ниже (и это как-то даже обосновывается как-то научно).
Не вполне понимаю их логику ) А как это все формулируется в исходном сообщении?
Вот ссылка на более точную статистику: здесь (и там же чуть выше статистика длин). Про аутосомы - это по той статистике получается.

А про то, что Y стандартно в 2 раза хуже: https://ydna-warehouse.org/statistics.html : "Another related issue with the Callable Loci statistic in lower average depth WGS tests is the nature of how read alignment works. On average WGS tests have fifty percent of test's rated depth covered in the Y chromosome e.g. a 15x test has 7 reads spanning each location."

И что чуть раньше: "he normal sequencing coverage is calculated over diploid ie. autosomal chromosomes, so 4X sequence should have average read depth of 2X over euchromatid regions Y-chromosome. Conversely, 4X Y-chromosome sequence would be 8X whole genome"
Не могу найти, где там прочитал про другую форму Y.

Оффлайн Srkz

  • Сообщений: 8462
  • Страна: ru
  • Рейтинг +4812/-3
  • Y-ДНК: N-L1025 Y64023
  • мтДНК: U4a1-a C16134T
Re: Компания Dante Labs
« Ответ #463 : 24 Октябрь 2019, 14:25:55 »
А про то, что Y стандартно в 2 раза хуже
Ну тут речь про то, что для Y покрытие получается как бы вдвое ниже по сравнению с аутосомами, поскольку считается на одну хромосому, а не на пару.

Оффлайн mdn

  • Сообщений: 263
  • Страна: fi
  • Рейтинг +142/-0
  • Y-ДНК: R-FGC56440
  • мтДНК: R1a1a1
Re: Компания Dante Labs
« Ответ #464 : 29 Октябрь 2019, 17:18:49 »
Акция 2 недели за цену 8 закончилась.

Началась акция 30х за 8 недель за 399€ (обычная цена 599€, там якобы 849 без скидки, но это неправда, ещё ни разу не было не скидки до 599 хотя бы).

Так что, видимо, на Черную пятницу будет лучше предложение.

Про мое текущее состояние там писать пока не буду, чтобы не сглазить.  :D

 

© 2007 Молекулярная Генеалогия (МолГен)

Внимание! Все сообщения отражают только мнения их авторов.
Все права на материалы принадлежат их авторам (владельцам) и сетевым изданиям, с которых они взяты.