Следует писать с большой буквы.
Слово солнце может употребляться во множественном числе (но не имеет форм множественного числа астрономический термин Солнце, обозначающий центральное тело Солнечной системы). Приведенное Вами предложение корректно.
Пожалуйста, воспользуйтесь электронными словарями (окно «Искать на Грамоте»).
В употреблении кавычек нет необходимости.
Такое слово не фиксируется словарями, в случае его употребления в литературе это слово нужно заключить в кавычки.
Верно: О свет, о свет солнца!
Объяснение см. в "Справочнике по пунктуации".