Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.
Первый вариант общеупотребительный, стилистически нейтральный; вариант пенье характерен для разговорной и поэтической речи.
Сейчас в значении "штраф" используется форма пени. Вариант пеня считается устаревшим.
Запятую ставить не нужно.
Пишется пенис, произносится с мягким [п'].
Вариант пеня, выплатить пеню (единственное число) в словарях сопровождается пометой устаревшее. Современный вариант – пени, выплатить пени.
Было не обособляется: Я даже решила было заняться хоровым пением.
В орфографических словарях такое наименование не закреплено. Если оно является постоянным специальным (терминологичным) наименованием исторического события, то правильно написание с прописной: Григорианская миссия.
