Правильно: старый дворик ГУМа. Инициальные аббревиатуры, оканчивающиеся на твердый согласный и имеющие опорное слово мужского рода, последовательно склоняются.
Предлог про вносит разговорный оттенок, поэтому его употребление возможно лишь в разговорной речи; стилистически нейтрально: стихи о любви.
Запятые при уточнении поставлены корректно.