Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.
Да, такой вариант правильный: вторая часть бессоюзного сложного предложения начинается со слова это. См. пункт 5 параграфа 130 «Полного академического справочника» под ред. В. В. Лопатина (М., 2006 и след.).
Использовать кавычки не нужно.
Пунктуация верна.
Дуэт Сергея Иванова и Владимира Васильева исполнил песню... Ответ на вопрос о грамматических свойствах слова дуэт можно найти в материалах словарей, размещенных на нашем портале.
Правильно: Хоть стой, хоть падай.
Верно: курорт Золотые Пески.
Корректно: звучит уже более 30 лет или звучит уже на протяжении 30 лет.
