А собственно в чем проблема? X'ы можно не устанавливать, во всех кажись дистрибутивах есть выборочная или даже минимальная установку при которой устанавливаются только самое необходимое, в крайнем случае можно лишнее потом удалить, а то что не хватает установить. В качестве дистрибутива могу посоветовать Как увидеть ссылки? | How to see hidden links?, но там почти все ручками делать придется (минимум всяких настройщиков\помошников).