См. ответ на вопрос № 271571.
Правильно: День Победы (праздник 9 Мая).
Правильно: на концерте, посвященном Дню Победы.
Возможны оба варианта, выбор часто зависит от контекста.
Верно: с Днем Победы. Об употреблении буквы ё см. вопрос 262358.
«Словарь географических названий» А. В. Суперанской (М., 2013) указывает, что географические названия в сочетании с термином мыс обычно не склоняются (кроме тех случаев, когда топоним выражен прилагательным): на мысе Челюскин, но на мысе Погодном.
См. ответ на вопрос № 271751.