Корректно: в лицее "Бауманский", в Бауманском лицее.

Справочные пособия рекомендуют согласовывать с родовыми наименованиями названия озер и островов, выраженные полными именами прилагательными. См. «Справочник по правописанию и литературной правке» Д. Э. Розенталя (раздел «Согласование определений и приложений», параграф «Приложения – географические названия») и «Словарь географических названий» А. В. Суперанской (М., 2012).

В практике письма наблюдаются колебания. Так, Д. Э. Розенталь приводит два примера из одной статьи К. Симонова: Длина острова Даманского – полтора километра и Провокации происходили и около острова Даманский, и в тридцати километрах оттуда.

Астанский – устаревшая рекомендация. Название Астана относительно новое, и прилагательные от него образовывались разными способами. Эти колебания нашли отражение в словарях. Согласно словарю Е. А. Левашова «Географические названия» (СПб., 2000) от слова Астана образуются прилагательные астанинский и астанийский. Современный академический орфографический словарь фиксирует только вариант астанинский, который, по-видимому, получил более широкое распространение. Прилагательное астанайский закрепилось в церковной сфере. Официальные названия – Астанайская епархия и митрополит Астанайский.

Правило, на которое Вы ссылаетесь, – орфографическое. Оно регулирует только выбор гласной буквы в прилагательных на -нский, образованных от имен собственных.