Нормативна и стилистически нейтральна именно такая конструкция: женщина-полицейский.
В профессиональном употреблении появились своего рода неизменяемые слова-морфемы, вокруг которых группируются серии составных наименований. Основные из них: альфа- (-активность, волны), блок- (-карта, -сигнал, -форма), вакуум- (-аппарат, -камера, -процесс), дизель- (-генератор, -мотор), пресс- (-инструмент, -накат).
Для обозначения лица, служащего в полиции, употребляется слово полицейский (в том числе и по отношению к женщине). При обращении к женщине тоже следует говорить Ты хороший полицейский.
Рекомендуем склонять как неодушевленное.
Статус начальной части противо... неоднозначен. Ее характеризуют как приставку или как первую часть сложных слов, см. ресурс «Проверка слова». А. Н. Тихонов в своем «Словообразовательном словаре русского языка» включил слово противогаз только в гнездо слова газ, определяя способ образования как приставочный.
