Проблема в том, чем является часть гипер-. Есть две точки зрения: гипер- в значении «над, сверх» относят к приставкам или считают первой частью сложного слова. Если это приставка, то перенос гипе-ринсулинемия допустим, как и гипер-инсулинемия. Ср. варианты из правил: бе-заварийный, беза-варийный, без-аварийный; ра-зоружить, разо-ружить, раз-оружить; по-дучить, поду-чить,  под-учить.

Если же гипер- – часть сложного слова, то согласную букву от первой основы отрывать нельзя, соответственно из двух приведенных вариантов правильным будет только второй.

Полагаем, что этот вариант переноса – как учитывающий морфемное членение – для длинного термина предпочтительнее: слово будет легче прочитываться. 

К сожалению (или к счастью), программы переноса пока не могут учесть все нюансы правил и сложности грамматики.

При образовании слов, начинающихся с и, при помощи приставок иноязычного происхождения гипер-, дез-, интер-, контр-, пост-, суб-, супер-, транс- буква и на ы не заменяется, напр.: гиперинфляция, дезинформация, дезинтеграция, контригра, постимпрессионизм, постинфарктный, субинспектор. Поэтому правильно: субинститут.