Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.
См. «Горячую десятку вопросов».
Варианты предлогов ко и во в данных сочетаниях возможны.
См. «Горячие вопросы».
См. «Горячие вопросы».
В значении "после окончания" правильно: по окончании.
Правильно: по достижении цели (в значении «после достижения»).
См. «Непростые слова».
Судя по всему – вводное сочетание. Вводные слова и сочетания обычно не отделяются знаком препинания от присоединительного союза, стоящего в начале предложения: Но судя по всему, на этом власти намерены поставить точку. Но запятая может быть поставлена, если вводное сочетание судя по всему выделяется интонационно. Окончательное решение принимает автор текста.
