Волшебник – колдует, совершает чудеса. В современном русском языке нет однокоренного глагола к существительному волшебник. Слова волшебник, волшебный, волшебство восходят к слову старославянского языка волшба 'колдовство' (того же корня, что и слово волхв 'колдун, чародей', буквально – 'тот, кто говорит колдовскими непонятными словами').
В большинстве словарей (в том числе в изданиях, адресованных работникам эфира, где указывается строгая литературная норма), зафиксирован один вариант – ворожея. Впрочем, как Вы справедливо отмечаете, есть словари, где дано только ворожея. А согласно «Большому орфоэпическому словарю русского языка» М. Л. Каленчук, Л. Л. Касаткина, Р. Ф. Касаткиной (М., 2012), варианты ворожея и ворожея равноправны. По-видимому, так и есть: причины словарного разнобоя именно в том, что варианты сейчас конкурируют, ни один пока не вытеснил другой.
Скорее всего, дело в том, что словарь с более "свежей" датой использует в качестве первоисточника более старый вариант словаря того же автора.