Следует ориентироваться на рекомендацию орфографического словаря: Баба-яга.
«Русский орфографический словарь» РАН фиксирует: Баба-яга (сказочный персонаж) и баба-яга (безобразная злая старуха).
Орфографический словарь устанавливает написание этого именования так: Ба́ба-яга́, Ба́бы-яги́ (сказочный персонаж) и ба́ба-яга́, ба́бы-яги́ (безобразная злая старуха).
См. в словарях.
Окончание творительного падежа после основ на шипящий пишется по-разному в зависимости от ударения (ножо́м, но му́жем; свечо́й, но да́чей), таково правило орфографии. Чтобы объяснить, чем обусловлено правило, обратимся к истории. Исторически оправданным является написание после шипящих гласной е, и еще в ХVIII веке в формах творительного падежа писали окончания -ем и -ей (платежемъ, барышемъ, падежемъ, плащемъ, ножемъ, сивучемъ, пращей). Постепенно в ударных позициях вслед за изменившимся произношением е заменяется на о, и такое написание становитя обычным под влиянием слов с основой на парные согласные по твердости-мягкости (столо́м, окно́м, стено́й). То есть в словах с ударными окончаниями побеждает написание «по выговору», а безударные окончания не изменяют традиции. Подробнее см. в труде Я. К. Грота «Спорные вопросы русского правописания от Петра Великого доныне» (с. 727–732).
