Корректно: в лицее "Бауманский", в Бауманском лицее.

Образование относительных прилагательных от личных имен с суффиксами -ов- (это суффикс притяжательных прилагательных) и -ск- (суффикс относительного прилагательного) - системное явление в русском словообразовании. Дело в том, что две словообразовательные модели, по которым образованы соответственно слова Багратионовский и Бауманский (с притяжательным суффиксом и без него), являются конкурирующими. Да, в языке тоже есть конкуренция! Следует заметить, что названия городов обычно не могут образовывать относительные прилагательные с суффиксом -ов- (например, от слова Рим - римский, а не римовский; Кострома - костромской, а не костромовский). Ср. также: вашингтоновский (от фамилии Вашингтон), но вашингтонский (от Вашингтон, город); вашингтоновская эпоха, но вашингтонские газеты.