См. в «Справочнике по фразеологии».
Правильно: советская власть.
Слово можно заключить в кавычки, если необходимо подчеркнуть его стилистическую чужеродность, сниженность. Если в целом стиль речи разговорный, то кавычки не нужны.
Написание без кавычек (по аналогии с топонимами) корректно.
Во-первых, не нужно повторять нарицательное слово, достаточно одного. Во-вторых, сочетание нарицательного существительного с препозитивным прилагательным, если существительное сохраняет свое значение, может быть осмыслено пишущим:
а) как сочетание имени собственного, выраженного прилагательным, с нарицательным именем — тогда только определение пишется с прописной буквы, напр.: Скупой рыцарь, Снежная королева, Спящая красавица, Мертвая царевна, Шемаханская царица, Солунские братья, Белый генерал (о М. Д. Скобелеве), Великий комбинатор (об Остапе Бендере), Вечный жид, Маленький принц, Железный хромец (о Тамерлане — Тимуре ибн Тарагай Барласи), Зеленый рыцарь, Великий инквизитор, Орлеанская дева, Синяя птица, Железный дровосек;
б) как единое сложное имя — тогда все слова пишутся с прописной, напр.: Серый Волк (волк по прозвищу Серый Волк). Такое понимание встречается в основном в переводной литературе, напр.: Белый Кролик, Дикая Кошка, Скалистый Змей, Двуцветный Питон.
Прописная буква в нарицательном имени используется, если его значение в имени преобразуется, например: Прекрасная Дама, Орлеанская Дева, Синяя Птица — здесь и Дама, и Дева, и Птица становятся символами.
Если имеется в виду "те могут", то верно: Герцоги – те да!
В данном случае использование кавычек при употреблении глагола "ушли" для обозначения ироничного или необычного смысла вполне уместно.
