Пишется пенис, произносится с мягким [п'].
Сейчас в значении "штраф" используется форма пени. Вариант пеня считается устаревшим.
Русское словесное ударение
Вариант пеня, выплатить пеню (единственное число) в словарях сопровождается пометой устаревшее. Современный вариант – пени, выплатить пени.
Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.
Первый вариант общеупотребительный, стилистически нейтральный; вариант пенье характерен для разговорной и поэтической речи.
Корректно без запятой: деепричастие приближается по значению к обстоятельству образа действия (ср.: моментально отвечает, без запинки отвечает).
