Запятая не нужна. Обратите внимание: академический «Русский орфографический словарь» фиксирует написание Баба-яга.

См. в словарях.

Это сочетание именно с таким порядком слов не кодифицировано в нормативных источниках. Для ответа на вопрос о прописной/строчной важно знать, в каком значении и контексте используется данное сочетание (это имя сказочного персонажа или просто обозначение уродливой злой старухи) и, если это имя персонажа, с какой целью разрушается традиционный порядок слов в нем.

В словаре В. И. Даля зафиксировано: «ЯГА или яга-баба, баба-яга, ягая и ягавая или ягишна и ягинична, род ведьмы, злой дух, под личиною безобразной старухи». В данном контексте яга-баба пишется строчными как имя нарицательное. Но словарь Даля не является нормативным справочником по современному русскому языку.

Следует ориентироваться на рекомендацию орфографического словаря: Баба-яга.