Орфографически правильно написание верхязьвинцы. Пишутся слитно существительные — названия жителей, образованные от имен собственных, пишущихся через дефис. Что касается разделительных знаков, то здесь действует такое правило: в сложных словах после основы на парный твердый согласный перед вторым корнем на е, ё, ю, я разделительные знаки не пишутся. Ср: Минюст, детясли, госязык, иняз.

От названия Усть-Язьва образуется название жителей устьязьвинцы.

Согласно действующим ныне орфографическим правилам после начальных частей сложносокращенных слов разделительный ъ по традиции не пишется, напр.: военюрист, госязык, детясли, партячейка, продярмарка, спецеда, хозединица, иняз, Инюрколлегия, Минюст.

При этом написания типа детясли, иняз, Минюст противоречат одному из основных принципов русского письма —  слоговому, в соответствии с которым буквы я, ю, е, ё в позиции после согласных букв (в пределах слитно пишущегося слова) не обозначают «йотированных» гласных и при этом служат обозначению мягкости предшествующего парного по этому признаку согласного. Таким образом, принятые сейчас написания неточно передают звуковой состав слов: в них не хватает сигнала прочтения е, ё, ю, я как сочетаний «йота» с гласными. При этом они могут порождать затруднения в чтении и опознавании слов, вызываемые опирающимися на слоговой принцип навыками чтения, а иногда и переносами типа Ми-нюст, гося-зык.

Поэтому проект корректировки правил русской орфографии, разработанный учеными на рубеже прошлого и нынешнего веков, включал и такое предложение: "распространить написания с ъ на сложносокращенные слова; писать: военъюрист, госъязык, детъясли, инъяз, метъявления, партъячейка, продъярмарка, спецъеда, спецъемкостъ, хозъединица, Инъюрколлегия, Минъюст". 

Однако этот проект утвержден не был. 

Минюст — существительное мужского рода.

Формальных ограничений на склонение нет, ср. Минздрав — в Минздраве, Минюст — к Минюсту. В неофициальной речи могут склоняться и названия Минрегион, Минкрым, Минкавказ, однако в официальной речи нужно использовать не сокращенные, а полные названия этих министерств. 

От официального названия Департамент здравоохранения возможно образование сложносокращенного слова Депздрав, поэтому сочетание Депздрав Москвы орфографически корректно. Однако официальным сокращенным названием, как, например, Минюст, Минтранс, это сочетание не является. От описательного оборота департамент здравоохранения образуется нарицательное слово депздрав (ср.: колхоз, исполком). Употребление оборота депздрав Москвы в качестве неофициального обозначения организации возможно. 

См. раздел «Официальные документы» нашего портала.

Такого органа – Федеральная служба юстиции – в нынешней структуре федеральных органов исполнительной власти Российской Федерации не существует. Есть Министерство юстиции Российской Федерации (Минюст России), в структуре которого – Федеральная служба исполнения наказаний (ФСИН России) и Федеральная служба судебных приставов (ФССП России).

Ни один из органов исполнительной власти России не имеет сокращения ФСЮ. Возможно, речь идет не о властной структуре? Или о властной структуре в какой-либо другой стране (не России)?

Корректно склонять.

Сокращенное название этого ведомства – Минюст