Запятую нужно поставить. 

По всей видимости, дело в дифференцирующем написании: «Медный всадник» (в кавычках) – название поэмы А. С. Пушкина, Медный всадник (без кавычек) – сам памятник. Ведь такое название за памятником закрепилось именно благодаря Пушкину.

Корректно: хочу увидеть Медного всадника, чижика-пыжика.

Корректна строчная буква, а вот вопрос об использовании кавычек спорен. 

Нужно иметь в виду, что одна из главных функций кавычек — выделительная, то есть, заключая то или иное слово или сочетание слов в кавычки, пишущий стремится обратить на них внимание. Поэтому, в частности, часто выделяются кавычками слова, употребленные в условном, ироническом, образном, необычном и т. п. значении. Однако по мере того как подобные выражения становятся обиходными (широко употребительными) в кавычки они заключаются всё реже. Например, стали писать без кавычек: часы пик; голосовать за и против; работать на отлично; живая газета и др.

На наш взгляд, условные наименования орудий пыток типа "стул ведьмы", "железная дева", "испанский сапог", "медный бык" следует заключать в кавычки, чтобы не возникало путаницы с такими же словосочетаниями в их прямом значении.