Нет, это не цельное словосочетание.
Верно: пойти в бассейн. В разговорной речи в значении "начать заниматься в бассейне" - пойти на бассейн.
Оба варианта отвечают литературной норме.
Глаголы пойти, уйти, прийти, выйти являются самостоятельными словами, а не формами одного слова. Это однокоренные глаголы, производные от глагола идти (корень -ид-); в производных глаголах пойти, уйти, прийти, выйти корень производящего глагола представлен вариантом (алломорфом) -й-.