Правильно: Кремлевская стена (в Москве). О стене в других городах: кремлевская стена.
Да, написано правильно. Слово кремль пишется строчными как второе слово наименований городских историко-архитектурных комплексов (но: Московский Кремль – как музей-заповедник и правительственная резиденция).
Возможны оба варианта написания.