В этом случае правильно написание строчными, т. к. не приводится полное официальное название учреждения.

Обособление возможно. Подробнее о пунктуации при оборотах с производными предлогами см. в «Справочнике по пунктуации». Обратите внимание: в предложении допущена ошибка в сочетании министерством проводит. 

Само понятие "действующие правила русского языка" некорректно, таких правил просто нет в природе. Есть свод правил русского правописания, есть нормативные (академические) словари и грамматики.

В русском литературном языке существуют соотносительные пары предлогов в — из и на — с: в городе — из города, на улице — с улицы. С существительным министерство сочетается предлог в (верно в министерстве, а не «на министерстве») — соответственно, верно из министерства.

Министерство пишется с прописной буквы как первое слово официального названия: Министерство финансов Российской Федерации. При неофициальном употреблении верно написание со строчной (например, в газетном тексте: в министерстве финансов нам сообщили...). Сокращенное название Минфин тоже пишется с прописной.