Это выражение не соответствует литературной норме. Наказать означает 'подвергнуть наказанию', а наказание – 'мера воздействия, применяемая к кому-либо за какую-либо вину, проступок, преступление'. Наказать можно провинившегося, но саму вину наказать нельзя.

Спасибо за дополнение!

Деепричастный оборот, представляющий собой фразеологизм, не выделяется запятыми: работает не покладая рук, сидит затаив дыхание, бежит сломя голову и т. д.

Ваш вопрос труден, потому что приложение — вообще довольно загадочная вещь. Его трактовка как разновидности определений с теоретической точки зрения не выдерживает критики.

Однозначно можно сказать, что приложение является отдельным членом предложения, когда оно обособлено. В этом случае у приложения особая функция, отличная от функции «определяемого слова». Очень часто дополнительная функция обособленного приложения — выражение причинных отношений (Красавица и умница, Маша всегда привлекала всеобщее внимание).

Что же касается необособленных приложений (которым и посвящен вопрос), то отталкиваться нужно от того, что ключ не в неделимости сочетания, а в однофункциональности приложения и определяемого слова. Мы приехали в город: в город является обстоятельством. Мы приехали в Петербург: в Петербург является обстоятельством. Оба слова прекрасно справляются с функцией обстоятельства. Следовательно, в предложении Мы приехали в город Петербург мы имеем обстоятельство, выраженное словосочетанием с приложением. Это один член предложения. При этом никто не мешает нам указать на то, что один из компонентов распространенного обстоятельства (или другого члена предложения) представляет собой приложение по отношению к другому.

При письменном разборе мы подчеркиваем интересующее нас словосочетание как один член предложения, но надписываем над приложением «приложение» и графически показываем его зависимость от «определяемого слова». При выполнении тестов ОГЭ или ЕГЭ прежде всего анализируем постановку вопроса: предполагается или не предполагается этой постановкой особое выделение приложений.

Примечание: ответ дан с позиций университетского преподавателя. Именно этим объясняется, в частности, то, что словосочетание определяемое слово взято в кавычки: это ирония, так как очень часто невозможно решить, что является определяемым, а что — приложением (это относится и к примерам про Машу и Елену).

Возможно, специалисты по подготовке к ОГЭ/ЕГЭ, методисты и т. д. ответили бы на этот вопрос иначе. Целесообразно проконсультироваться у них.

В современном русском языке деепричастие не имеет категории времени. Деепричастия типа прыгав не соответствуют норме литературного языка.