В литературном языке существуют соотносительные пары предлогов в — из и на — с: в городе — из города, на улице — с улицы. С существительным министерство сочетается предлог в (верно в министерстве, а не «на министерстве») — соответственно, верно из министерства.

Такие сокращения уместны как раз для книжных стилей — научного и официально-делового.

За что — это союзное слово (с предлогом). В данном случае оно служит средством связи частей сложноподчиненного предложения особого типа. Вот что говорится о них в справочнике Е. И. Литневской: «В русском языке представлен еще один тип придаточных предложений, не нашедший отражения ни в одном из учебных комплексов. Это придаточные присоединительные. Их особенность заключается в том, что они не эквивалентны ни одному из членов предложения, к ним не может быть поставлен вопрос от главной части, что является причиной их выделения в отдельную группу».

Местоимение что, в том числе с предлогом за, в разных контекстах может быть вопросительным (За что его наказали?) или относительным, то есть союзным словом (Я не понял, за что его наказали — придаточное изъяснительное).