В «Словаре географических названий» А. В. Суперанской (М., 2013) указано, что топонимы в сочетании с географическим термином бухта обычно не склоняются. Исключение составляют случаи, когда топонимы выражены именами прилагательными: в бухте Котор, но в Сиднейской бухте.
В толковых словарях русского языка слово пустить в таком значении не зафиксировано, поэтому приведенное Вами сочетание некорректно.