Корректно: служба (чего?) экономической безопасности.
Согласны с Вашими аргументами. В указанном предложении верно: службу.
Считаем вариант возможным, однако с дательным падежом: служба здоровью.
Правильно: Благодарность Федеральной службы...
Сочетания с одной стороны и с другой стороны в подобных случаях не являются вводными, поскольку не указывают на сопоставление разных мнений, фактов и т. п. См. также наш «Справочник по пунктуации».