Если говорить об орфографически правильном написании, оно было бы таким: ГУ «ВШЭ», Государственный университет «Высшая школа экономики».
Знак дефиса (орфографический) в официальном полном наименовании, конечно же, следовало бы заменить на пунктуационный знак тире. Дефис в аббревиатуре обосновать можно: аббревиатура – это единое слово.
Если ГУ означает государственное учреждение, то с точки зрения русского языка корректно: ГУ "Управление Пенсионного фонда..." (с кавычками). В этом случае склоняются только слова государственное учреждение, например: в государственном учреждении (или в ГУ) "Управление Пенсионного фонда..."
В деловом письме используют полное официальное наименование: Управление уголовного розыска ГУ МВД России по г. Москве (или его часть - Управление уголовного розыска). В публицистике аббревиатура склоняется.