Совмещение движком при написании сайта

Смотря на каком движке. Тот же phpBB к примеру можно во всё что угодно интегрировать (если свой модуль авторизации пользователей написать или взять готовый).

Вы можете взять движок для форума и повесить его на поддомен, они не будут связаны между собой. Многие делают именно так.
P.S вместо поддомена можно просто в папку установить, например mysite.ru/forum