Корректна строчная буква, а вот вопрос об использовании кавычек спорен.
Нужно иметь в виду, что одна из главных функций кавычек — выделительная, то есть, заключая то или иное слово или сочетание слов в кавычки, пишущий стремится обратить на них внимание. Поэтому, в частности, часто выделяются кавычками слова, употребленные в условном, ироническом, образном, необычном и т. п. значении. Однако по мере того как подобные выражения становятся обиходными (широко употребительными) в кавычки они заключаются всё реже. Например, стали писать без кавычек: часы пик; голосовать за и против; работать на отлично; живая газета и др.
На наш взгляд, условные наименования орудий пыток типа "стул ведьмы", "железная дева", "испанский сапог", "медный бык" следует заключать в кавычки, чтобы не возникало путаницы с такими же словосочетаниями в их прямом значении.
Запятую нужно поставить.
Корректно: хочу увидеть Медного всадника, чижика-пыжика.
По всей видимости, дело в дифференцирующем написании: «Медный всадник» (в кавычках) – название поэмы А. С. Пушкина, Медный всадник (без кавычек) – сам памятник. Ведь такое название за памятником закрепилось именно благодаря Пушкину.
Общее правило таково: в названиях архитектурных и других памятников, предметов и произведений искусства с прописной буквы пишутся первое слово и собственные имена, например: Грановитая палата, Медный всадник, Колосс Родосский, Янтарная комната, Зимний дворец, Дворец дожей.
Однако начальное родовое наименование в подобных названиях архитектурных и др. памятников, произведений искусства пишется со строчной буквы. Правильно: собор Сан-Марко, мост Вздохов (в Венеции), мост Конфедерации (между Канадой и островом Принца Эдуарда). Аналогично следует писать и такие названия, как лестница Гигантов, лестница Рыцарей, зал Цветов, двор Девушек.