См. здесь.
Правильно: по Дербенту, по городу Дербенту, по г. Дербенту.
Верно: задолженность по пене. В дательном падеже слово пеня имеет окончание -е. Обратите внимание, что в значении 'штраф' это слово обычно употребляется во множественном числе, корректный вариант: задолженность по пеням.
Запятая между вводными словами и союзом в начале предложения обычно не ставится. Ее можно поставить при интонационном выделении вводных слов.
Во втором варианте знак процента стоит верно.
В этом случае запятая не нужна, поскольку определение любой другой относится не непосредственно к подразумеваемому существительному пища, а к сочетанию милой сердцу [пищи]. Случай аналогичен примерам, приведенным в пункте 7 параграфа 10.1 справочника по пунктуации Д. Э. Розенталя: заячий наполовину потёртый воротник; большой собранный автором материал и т. п.
Пунктуация верна.
Согласно орфографическим правилам корректно написание с прописной буквы только первого слова наименования: "Сердце столицы".
В значении "после окончания" правильно: по окончании.
