С маком не работаю, поэтому не представляю, как на нем развертывать linux. Возможно его придется ставить в виртуальную машину. Поищите в интернет информацию, простые инструкции и готовые образы систем должны быть.
На счет выбора системы CentOS или Ubuntu много споров ведется. Это дело вкуса. Кому-то нравится сладкий, другому нейтральный. В любом случае, обе системы справляются с задачей организации веб и почтового сервера на пятерку. Сам в работе использую Ubuntu, т.к, CentOS пришелся не по душе. Для организации личного хостинга сайтов советую также присмотреться к панели ISPmanager Lite (платная) или Vesta (условно бесплатная). Работают на любой из перечисленных вами систем и автоматизируют массу рутинных функций.
Плюс ко всему прочему вам нужно арендовать выделенный IP от своего интернет провайдера, озаботься бесперебойным питанием, дополнительным каналом на случай сбоя интернета.