Правильно: по счетам-фактурам.
Несклонение первой части (по Москва-реке) допустимо в разговорной речи, однако строгой литературной норме соответствует вариант по Москве-реке.
Если предлог по используется при обозначении действия, события, после которого что-либо совершается, происходит и т. п., то он по-прежнему употребляется с существительными в предложном падеже: по окончании, по прибытии, по прилете, по приезде. Другие варианты неверны.
В первых трех выражениях кавычки не нужны, хотя глагол завести заключить в кавычки можно, чтобы указать на стилистическую чуждость его контексту (глагол употреблен в разговорном значении).
Последний случай несколько сложнее. Если по контексту читателю будет понятно, в каком значении употреблено сочетание золотые перья, то кавычки не нужны. Если возникает двусмысленность, неясность, то лучше дополнить фразу, например, так: в редакции работали лауреаты конкурса «Золотое перо России».
Ряд однородных деепричастных оборотов нужно выделить запятыми. Д. Э. Розенталь давал такую рекомендацию: деепричастный оборот, в начале которого стоят частицы только, лишь, интонационно не отделяется от предшествующей части предложения (при чтении пауза перед ним не делается), но запятая перед ним обычно ставится.