Хм, мне кажется, что у Вас не верно настроен сервер.
Для поддоменов типа forum.site.ru обычно настраивается отдельная папка Пример структуры сайта следующая:
/var/sites - основная директория для всех сайтов.
/var/sites/site.ru - директория основного сайта
/var/sites/forum.site.ru - директория форума
В вашем случае форум получается доступным по пути site.ru/forum (ибо находится в директории с сайтом), а также и на поддомен привязан.
Попробуйте переназначить директорию форума на другую (не связанную с основным сайтом)!
Если вы все же хотите оставить все, как есть - вариант следующий - включите ЧПУ у форума после установки, он попросит создать в директории самого форума (/forum) тот самый файл .htaccess для правильного отображения ссылок. Только перед установкой удалите файл .htaccess основного форума (если мешает), а затем верните его по окончанию всех процедур.
Путь включения ЧПУ у IPS4: Система - Поисковая оптимизация - Включить ЧПУ, а также Использовать mod_rewrite. Последний пункт какраз и скажет скачать необходимый файл .htaccess
Но не уверен в работе 2-ого варианта.
Думаю лучше перенастроить сервер...