Верно через дефис: экс-глава ФСИН.

Недопустимо слитное или дефисное написание с приставкой или первой частью сложного слова, если вторая часть содержит пробел, т. е. представляет собой сочетание слов. В этих случаях слитные или дефисные написания, рекомендуемые основными правилами, должны заменяться раздельными. Например, следует писать: лже доктор наук, псевдо произведение искусства, теле круглый стол, мини стиральная машина; экс Советский Союз, псевдо Ван Тог, пол рабочего дня, пол столовой ложки, пол Московской области.

При этом в сочетаниях экс-сотрудник ЦРУ, экс-глава ФСИН вторая часть сложного слова представлена одним словом (сотрудник, глава), т. е. возможно самостоятельное употребление сочетаний экс-сотрудник, экс-глава. Таким образом, правило о замене дефиса пробелом не распространяется на эти слова.

Правильно: экс главный редактор, но экс-министр обороны.

Подробные правила находим в информационно-поисковой системе «Орфографическое комментирование русского словаря», разработанной в Институте русского языка им. В. В. Виноградова РАН.

Приставка экс... со значением 'бывший' присоединяется дефисом, например: экс-губернатор (экс-губернатор области), экс-депутат (экс-депутат областного собрания), экс-чемпион (экс-чемпион мира), экс-советский, экс-чемпионский. Дефис сохраняется и в том случае, когда приставка присоединяется к слову, имеющему собственное дефисное написание, напр.: экс-вице-мэр, экс-вице-президент, экс-премьер-министр.

Приставка пишется раздельно со вторым компонентом, представляющем собой атрибутивное сочетание, напр.: экс первый вице-премьер, экс первая леди, экс первая ракетка мира (в теннисе).

А что делать, если экс присоединяется к сочетанию слов, первое из которых – не прилагательное, а существительное? Если это устойчивое сочетание слов, то экс пишется раздельно, напр.: экс доктор наук, экс кандидат наук. Если сочетание слов более свободное, то пишется дефис по общему правилу, напр.: экс-глава компании, экс-заместитель директора, экс-муж Петровой.