Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.

Запятая между вводными словами и союзом в начале предложения обычно не ставится. Ее можно поставить при интонационном выделении вводных слов.

Во втором варианте знак процента стоит верно.

Да, можно. Однако такое употребление характерно для официально-делового стиля.

Существительное имущество является собирательным. Такие существительные обычно относятся к разряду singularia tantum, т. е. они имеют формы только единственного числа. Однако А. А. Зализняк в «Грамматическом словаре русского языка» писал: «Так наз. singularia tantum (бу­к­ва­ль­но: "име­ю­щие то­ль­ко ед. чи­с­ло"), на­п­ри­мер, еда́, дие́та, ней­т­ра­ли­те́т, го́рдость, го­ре́ние и т. д., при­з­на­ю­т­ся име­ю­щи­ми оба чи­с­ла; мн. чи­с­ло но­сит здесь по­те­н­ци­а­ль­ный ха­ра­к­тер: пра­к­ти­че­с­ки оно по­ч­ти ни­ко­г­да не упо­т­ре­б­ля­е­т­ся, но при не­о­б­хо­ди­мо­с­ти все же мо­жет быть по­с­т­ро­е­но и бу­дет пра­ви­ль­но по­ня­то». 

Существительное имущество в форме множественного числа действительно употребляется. Оно, в частности, входило в название дореволюционных и советских органов власти: Министерства земледелия и государственных имуществ, Народного комиссариата имуществ республики.

В современных текстах также можно найти примеры употребления слова имущество в форме множественного числа. Многие из них связаны с текстами законов, подзаконных актов, различных документов. Для разговорной речи такое употребление менее характерно.

Правило распространяется на наречия, образованные из сочетания предлога по и полных прилагательных или притяжательных местоимений (по-хорошему, по-моему, по-всякому). Один – особое слово, которое «совмещает в себе формальные признаки прилагательного с функциями количественного числительного» (определение академической «Русской грамматики»). Надо запомнить, что сочетание по одному в знач. 'поодиночке, следуя друг за другом' пишется раздельно: Кто хотит на Колыму – выходи по одному! Но: сделать сначала по-одному, затем по-другому.

В значении "после окончания" правильно: по окончании.

Наречие пишется через дефис: по-абазински.

Правильно: по достижении цели (в значении «после достижения»).

См. «Горячую десятку вопросов».