Ответы справочной службы
Это сочетание именно с таким порядком слов не кодифицировано в нормативных источниках. Для ответа на вопрос о прописной/строчной важно знать, в каком значении и контексте используется данное сочетание (это имя сказочного персонажа или просто обозначение уродливой злой старухи) и, если это имя персонажа, с какой целью разрушается традиционный порядок слов в нем.
В словаре В. И. Даля зафиксировано: «ЯГА или яга-баба, баба-яга, ягая и ягавая или ягишна и ягинична, род ведьмы, злой дух, под личиною безобразной старухи». В данном контексте яга-баба пишется строчными как имя нарицательное. Но словарь Даля не является нормативным справочником по современному русскому языку.
Ответом на Ваш вопрос будет выдержка из статьи о прописных и строчных буквах в личных именах:
«Сочетание нарицательного существительного с одиночным приложением может быть осмыслено пишущим:
а) как обычное сочетание нарицательного существительного с приложением, напр.: конёк-горбунок, жар-птица, огонь-девица, сивка-бурка, человек-невидимка, баба-яга, муха-цокотуха, кот-баюн, крошка-енот;
б) как сочетание родового имени, приложения с именем собственным, напр.: кот Баюн, баба Яга («Отчего так не любят Ягу» Б. Заходер), муха Цокотуха, крошка Енот;
в) как сочетание имени собственного с приложением — тогда с прописной буквы пишется только первое слово, напр.: Царь-девица, Царь-освободитель, Человек-паук, Человек-невидимка, Жар-птица, Баба-яга, Кот-баюн — здесь именем является только первое слово, как Маша в сочетании Маша-растеряша. Такой выбор написания возможен для авторских текстов, текстов, не связанных с традицией обозначения героя;
г) как единое сложное имя собственное, но при этом ни один из его компонентов не теряет связи со своим номинативным значением — тогда все слова пишутся с прописной, напр.: Человек-Муравей, Женщина-Невидимка, Дед Мороз (ср.: дед Мазай — здесь имя только Мазай), Баба-Яга («Будто я // Злая Баба-Яга» Б. Заходер), Кот Баюн. Последний тип написаний распространен в современном письме, но часто такое осмысление не поддерживается текстом». (Полный текст статьи можно прочитать здесь.)
Таким образом, одно сочетание может быть осмыслено по-разному и по-разному записано. В некоторых случаях для выбора написания значим контекст. Решение о написании принимает автор. Имена известных персонажей фиксируются в словарях.
См. в словарях.