Корректно: транс-изомеры (см. словарную фиксацию), трансжиры, трансконфигурация (эти два слова не зафиксированы в академическом орфографическом словаре, но согласно словарной рекомендации о написании приставки транс- их следует писать слитно).
При образовании слов, начинающихся с и, при помощи приставок иноязычного происхождения гипер-, дез-, интер-, контр-, пост-, суб-, супер-, транс- буква и на ы не заменяется, напр.: гиперинфляция, дезинформация, дезинтеграция, контригра, постимпрессионизм, постинфарктный, субинспектор. Поэтому правильно: субинститут.
См. ответ на вопрос № 306571.