Запятая не нужна. Обратите внимание: академический «Русский орфографический словарь» фиксирует написание Баба-яга.
Элемент архе- (древнегреческое ἀρχή 'начало, основание, происхождение') действительно не зафиксирован словарями как приставка, однако он встречается во многих терминах (архетип, археология, археография и т. п.). В словах архетип, архетекст, археспора она имеет значение, близкое к значению приставки пра-.