Это сочетание именно с таким порядком слов не кодифицировано в нормативных источниках. Для ответа на вопрос о прописной/строчной важно знать, в каком значении и контексте используется данное сочетание (это имя сказочного персонажа или просто обозначение уродливой злой старухи) и, если это имя персонажа, с какой целью разрушается традиционный порядок слов в нем.

В словаре В. И. Даля зафиксировано: «ЯГА или яга-баба, баба-яга, ягая и ягавая или ягишна и ягинична, род ведьмы, злой дух, под личиною безобразной старухи». В данном контексте яга-баба пишется строчными как имя нарицательное. Но словарь Даля не является нормативным справочником по современному русскому языку.

Корректна строчная буква, а вот вопрос об использовании кавычек спорен. 

Нужно иметь в виду, что одна из главных функций кавычек — выделительная, то есть, заключая то или иное слово или сочетание слов в кавычки, пишущий стремится обратить на них внимание. Поэтому, в частности, часто выделяются кавычками слова, употребленные в условном, ироническом, образном, необычном и т. п. значении. Однако по мере того как подобные выражения становятся обиходными (широко употребительными) в кавычки они заключаются всё реже. Например, стали писать без кавычек: часы пик; голосовать за и против; работать на отлично; живая газета и др.

На наш взгляд, условные наименования орудий пыток типа "стул ведьмы", "железная дева", "испанский сапог", "медный бык" следует заключать в кавычки, чтобы не возникало путаницы с такими же словосочетаниями в их прямом значении. 

Кавычки нужны: ...что "ночные ведьмы" создали...