Это тот случай, когда деепричастный оборот, стоящий после союза а, невозможно «оторвать» от союза, изъять из предложения или переставить в другое место без разрушения структуры предложения. Подобные случаи представлены в параграфе 20.2 справочника по пунктуации Д. Э. Розенталя, например: Он начал приносить книги и старался читать их незаметно, а прочитав, куда-то прятал (М.Г.).
В Вашем примере «напрашивается» тире, поскольку наблюдается восстанавливаемая из контекста неполнота как в деепричастном обороте (пропущено слово мышцы), так и в основной части предложения (пропущено подлежащее червь или он), а кроме того, есть параллелизм частей. Однако и деепричастный оборот нужно закрыть, а другого знака, помимо запятой, для этого не предусмотрено. Из этого делаем вывод, что запятая перед тире ставится: Сокращая кольцевые мышцы, червь проникает между частицами почвы, а сокращая продольные, — раздвигает их в стороны.
Запятая перед или не нужна. Обратите внимание: лучше опустить слова в виде.