См. ответ на вопрос № 306571.
С разделительным твердым знаком пишутся слова иноязычного происхождения с начальными частями аб-, ад-, диз-, ин-, интер-, кон-, об-, суб-, которые в языке-источнике являются приставками, а в русском языке в качестве приставок обычно не выделяются. Объект — одно из таких слов.
При образовании слов, начинающихся с и, при помощи приставок иноязычного происхождения гипер-, дез-, интер-, контр-, пост-, суб-, супер-, транс- буква и на ы не заменяется, напр.: гиперинфляция, дезинформация, дезинтеграция, контригра, постимпрессионизм, постинфарктный, субинспектор. Поэтому правильно: субинститут.
Написание этих слов подчиняется общему правилу о написании разделительного Ъ после приставок, оканчивающихся на согласный. Буква Ъ пишется в словах иноязычного происхождения с начальными частями аб-, ад-, диз-, ин-, интер-, кон-, об-, суб-, которые в языке-источнике являются приставками, хотя в русском языке в качестве приставок обычно не выделяются. Ср.: адъютант, инъекция, конъюнктура и т. п.
Гипер... может быть приставкой (тогда после нее пишется ъ) или первой частью сложного слова (тогда ъ не пишется). О причинах отсутствия ъ в слове гиперядро пишет ведущий научный сотрудник ИРЯ РАН, член Орфографической комиссии РАН Е. В. Бешенкова:
«Словарный формант гипер в абсолютном большинстве слов является приставкой, что соответствует его этимологии. Например, в слове гиперъяркий это приставка (‘гипер’+‘яркий’), поэтому здесь пишется буква ъ (после приставки на согласный перед йотированными буквами, передающими сочетание звуков «[j] + гласный»). А в слове гиперядро первая часть гипер является сокращением от гиперон, то есть это сложносокращенное слово, а не слово с приставкой (иначе оно означало бы ‘сверхъядро’). Поэтому по правилам разделительный твёрдый знак здесь не пишется (ср. госязык, детясли, иняз, Минюст, спецеда). В словах же гиперизм (ошибка, обусловленная гиперкорректным произношением), гиперон (ср. барион, протон…) гипер – это корень.
Вот такой многоликий гипер. Поэтому-то его и нельзя рассматривать как обычную иноязычную приставку (в ряду ад-, аб-, диз-, ин-, интер-, кон-, контр-, об-, пан-, суб-, супер-, транс-), после которой перед е, ё, ю, я следует писать ъ».