Это сложносокращенное слово, ср. с другими сложносокращенными словами: военюрист, госязык, продярмарка, спецеда, хозединица, иняз, Инюрколлегия, Минюст и т. п.

Орфографически правильно написание верхязьвинцы. Пишутся слитно существительные — названия жителей, образованные от имен собственных, пишущихся через дефис. Что касается разделительных знаков, то здесь действует такое правило: в сложных словах после основы на парный твердый согласный перед вторым корнем на е, ё, ю, я разделительные знаки не пишутся. Ср: Минюст, детясли, госязык, иняз.

От названия Усть-Язьва образуется название жителей устьязьвинцы.

Согласно действующим ныне орфографическим правилам после начальных частей сложносокращенных слов разделительный ъ по традиции не пишется, напр.: военюрист, госязык, детясли, партячейка, продярмарка, спецеда, хозединица, иняз, Инюрколлегия, Минюст.

При этом написания типа детясли, иняз, Минюст противоречат одному из основных принципов русского письма —  слоговому, в соответствии с которым буквы я, ю, е, ё в позиции после согласных букв (в пределах слитно пишущегося слова) не обозначают «йотированных» гласных и при этом служат обозначению мягкости предшествующего парного по этому признаку согласного. Таким образом, принятые сейчас написания неточно передают звуковой состав слов: в них не хватает сигнала прочтения е, ё, ю, я как сочетаний «йота» с гласными. При этом они могут порождать затруднения в чтении и опознавании слов, вызываемые опирающимися на слоговой принцип навыками чтения, а иногда и переносами типа Ми-нюст, гося-зык.

Поэтому проект корректировки правил русской орфографии, разработанный учеными на рубеже прошлого и нынешнего веков, включал и такое предложение: "распространить написания с ъ на сложносокращенные слова; писать: военъюрист, госъязык, детъясли, инъяз, метъявления, партъячейка, продъярмарка, спецъеда, спецъемкостъ, хозъединица, Инъюрколлегия, Минъюст". 

Однако этот проект утвержден не был. 

Минюст — существительное мужского рода.

Формальных ограничений на склонение нет, ср. Минздрав — в Минздраве, Минюст — к Минюсту. В неофициальной речи могут склоняться и названия Минрегион, Минкрым, Минкавказ, однако в официальной речи нужно использовать не сокращенные, а полные названия этих министерств.