Исторически сложилось, что вместо соединительных гласных о и е в некоторых разрядах сложных слов пишутся гласные, совпадающие с падежными и другими окончаниями слов, основы которых содержатся в предшествующей части слова. И таких слов довольно много:

я — в словах с первыми частями себя-;

а — в словах умалишённый, сумасшедший и других;

и — в словах с первыми частями, содержащими основы числительных от пять до двадцать, а также тридцать, пятьдесят и т. д.

Подробнее об этом можно почитать, например, в справочнике под ред. В. В. Лопатина, в разделе «Безударные соединительные гласные».

Присоединяясь к словам с дефисом, приставки пишутся через дефис, поэтому правильно: пра-финно-угорский язык. См. правила написания приставок в информационно-поисковой системе «Орфографическое комментирование русского словаря».

Все три выражения являются правильными. Отметим отличия, на которые и Вы обратили внимание. Оборот с предлогом по используется в качестве официального наименования территориального подразделения УМВД, а следовательно, предпочтителен в текстах, где важна номинативная точность. В двух других случаях сфера употребления оборотов намного шире, не стандартизирована, выбор конструкций может диктоваться смысловыми особенностями высказываний и стилистическими свойствами текстов.