В этом случае корректно написание с прописной буквы.
Верно: Убрать объявление, наклеенное на стену.
Следует писать слитно, верен первый вариант.
Верно: о стену. Вариант с предлогом об устаревший.
Можно использовать предлог В, если требуется подчеркнуть, что светильники устанавливаются в углубления стен.
Правильно: Кремлевская стена (в Москве). О стене в других городах: кремлевская стена.