Чтобы все порты собирались без поддержки X11 (к примеру, у вас чисто серверная инсталляция без графической составляющей), необходимо добавить следующую строку в свой файл /etc/make.conf:
# cat >> /etc/make.conf WITHOUT_X11=yes ^D
Это равносильно тому, что вы каждый раз будете писать при сборке порта:
# make -DWITHOUT_X11 install