Очевидно, название раздела Благодарности, в котором автор выражает признательность тем, кто способствовал работе над книгой или статьей,  — это перевод английского названия соответствующего раздела Acknowledgements. 

Правильно: выражаю благодарность, произношу слова благодарности.

Верно: Победе — километры благодарности.

Вполне возможно такое высказывание, но следует иметь в виду, что существуют иные, менее лаконичные варианты выражения благодарности и признательности.

Лучше: Розовые гвоздики - знак бесконечной благодарности. Как правило, их дарят матерям.

Постановка знака после этикетных формул приветствия и благодарности не кодифицирована в справочниках по пунктуации. Она представлена в других источниках, в частности в пособиях по деловой переписке, где в образцах (шаблонах) деловых писем после формул приветствия, обращения, благодарности поставлены восклицательные знаки. На практике сегодня наблюдается тенденция ставить точку после слов благодарности, приветственной фразы письма и т. д.

С исторической точки зрения оба знака в указанной позиции равноправны. О. И. Северская в статье «Семантический ореол знаков препинания при обращении и приветствии в переписке», опубликованной в научном журнале «Труды института русского языка им. В. В. Виноградова» (№ 3, 2021), констатирует, что в эпистолярном подкорпусе Национального корпуса русского языка, включающем тексты писем XVIII-ХХ веков, «точек и восклицательных знаков при обращениях примерно поровну», то есть на практике никогда не существовало единой нормы в этой области. 

При этом, отмечает исследователь, и знак точки, и восклицательный знак семантически амбивалентны: «Точка, с одной стороны, становится маркером как равноправных, деловых, дружеских или родственных отношений, так и диалога высшего с низшим, с другой стороны, точка маркирует негативные эмоции отправителя письма, его возмущение, тревогу, подавленность, а также воспринимается как знак грубости и неискренности адресанта. Восклицательный знак ведет себя как маркер уважительного отношения к адресату, широкого спектра положительных эмоций адресанта и одновременно воспринимается как крик, требование, манипуляция». Так или иначе, с точки зрения семантики ничто не препятствует каждому из этих двух знаков употребляться после этикетных формул.

Корректно: И в заключение хотелось бы выразить слова благодарности.

Возможна такая пунктуация: Не раз я слышал от него слова благодарности: «Спасибо» — или одобрения: «Умничка».

Орфографически корректно: памятники благодарности Красной армии.

В приведенных случаях два глагола (сочетания), вводящих прямую речь, относятся к одному фрагменту прямой речи. Это выглядит стилистической ошибкой — плеоназмом. В первом случае плеоназм устраним только удалением из текста фразы отмечал А. Во втором случае можно поставить точку вместо двоеточия, и тогда сочетание выступил со словами благодарности перестанет быть сочетанием, вводящим прямую речь: На собрании выступил А. со словами благодарности. «Текст», — сказал спикер.