Все, разобрался. На всякий случай отпишусь, что делал. Может еще комуто понадобиться данная информация.

На момент существования проблемы вобла и нюка имели две базы данных, то есть своя для нюки и своя для форума. Папка с файлами форума находилась в корне сайта, то есть имела путь-www.mysite.ru/forum

Решение проблемы:

Удалил все файлы из папки форума, залил заново воблу. В конфиге указал ту же базу данных, которую использует нюка, и добавил префикс vB_. Запустил инсталляцию форума. Зашел в админку и импортировал продукт из архива.
Открыл архив с хаком и выполнил замену файлов из архива в нюку. В конфиге прописал опять же эту базу.

Далее перешел к пункту 3, в мануале хака. Все прошло на ура.

Спасибо Сониксу за этот хак!!!

Если у когото возникнут проблемы с установкой, я с удовольствием помогу. Если понадобиться помощь-стучите в Асю.