Мнение неспециалиста, возможно, генетики меня поправят:
Если они будут нести какие-то вредные рецессивные аллели, то в небольшой замкнутой группе эти аллели со временем либо полностью исчезнут, либо будут уже у всех - тут как повезет. Видимо, второй вариант и называют вырождением. Это скорее зависит от размера группы, чем от количества предков - если остров достаточно большой, не будет никакого вырождения. Как я понимаю, генетическое разнообразие нужно для того, чтобы группа могла приспосабливаться к новым условиям, ну и вообще для большей гибкости, а так можно и без него прожить.