Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.
Первый вариант общеупотребительный, стилистически нейтральный; вариант пенье характерен для разговорной и поэтической речи.
Запятую ставить не нужно.
Сейчас в значении "штраф" используется форма пени. Вариант пеня считается устаревшим.
Пишется пенис, произносится с мягким [п'].
Часть ново- в названиях может быть написана и слитно, и через дефис. О принятом написании каждого конкретного названия необходимо узнавать в администрации населенного пункта.
Вариант пеня, выплатить пеню (единственное число) в словарях сопровождается пометой устаревшее. Современный вариант – пени, выплатить пени.
Было не обособляется: Я даже решила было заняться хоровым пением.
