В большинстве словарей (в том числе в изданиях, адресованных работникам эфира, где указывается строгая литературная норма), зафиксирован один вариант – ворожея. Впрочем, как Вы справедливо отмечаете, есть словари, где дано только ворожея. А согласно «Большому орфоэпическому словарю русского языка» М. Л. Каленчук, Л. Л. Касаткина, Р. Ф. Касаткиной (М., 2012), варианты ворожея и ворожея равноправны. По-видимому, так и есть: причины словарного разнобоя именно в том, что варианты сейчас конкурируют, ни один пока не вытеснил другой.