Корректно со строчной.
В орфографическом словаре рекомендовано написание: Совет безопасности, однако в «Кратком справочнике по оформлению актов Совета Федерации Федерального Собрания Российской Федерации» зафиксирован первый вариант (все слова с прописной).