В разговорной речи выражение с пустого места обычно употребляется в описаниях чьей-либо созидательной деятельности и в сочетании с тематически близкими глаголами, такими как начать, приступать, организовать, формировать, например: с пустого места дело начали; начинать не с пустого места; приступаем к расследованию не с пустого места; с пустого места дело не поставишь; страна, возникающая в каком-то смысле с пустого места . Кроме того, выражение может быть использовано в рассуждениях о причинах (началах) чего-либо, часто в конструкции с отрицанием: не с пустого места что-то взять (взялось); уверенность бралась не с пустого места; с пустого места чуть не наклепал (в значении 'оговорил, ложно обвинил'). Возможно, встретившиеся Вам примеры отличаются от приведенных, но, увы, судить об этом нельзя, так как ни один из них не упомянут.

Словарные рекомендации противоречат друг другу.

В «Справочнике по русскому языку: правописание, произношение, литературное редактирование» Д. Э. Розенталя, Е. В. Джанджаковой, Н. П. Кабановой (М., 2010) указано, что официальные названия республик обычно согласуются со словом республика (т. е. склоняются), если оканчиваются на -ия, -ея (в Республике Болгарии, с Республикой Индией), и не согласуются, если оканчиваются на -а или имеют форму мужского рода (в Республике Куба, из Республики Панама, в Республике Вьетнам).

В то же время в «Словаре географических названий» А. В. Суперанской говорится, что в сочетании со словом республика названия республик женского рода обычно склоняются (независимо от окончания): в Республике Колумбии, из Республики Кубы. А вот названия республик мужского рода несклоняемы в функции приложения (здесь противоречия между справочниками нет): из Республики Нигер.

Впрочем, в официальных документах все названия республик, выступающие в роли приложения, часто остаются несклоняемыми.

Действительно, мы нередко определяем род несклоняемого иноязычного существительного по роду русского слова, которое рассматривается как синоним или как родовое наименование для данного неизменяемого существительного. Авеню женского рода, потому что слово улица женского рода, а пенальти мужского рода, потому что здесь влияет род слова (штрафной) удар. Но это скорее исключение, чем правило. Очень часто такая проверка не работает, внешний фонетический облик иноязычного слова оказывается более сильным фактором, и слово приобретает характеристику среднего рода. Среднего – потому что это общая закономерность для русского языка: несклоняемые иноязычные существительные, оканчивающиеся на гласный, обозначающие предмет, относятся к среднему роду. Ср.: пальто, кашне, метро, кафе  и т. д.

Вот и в данном случае решающее значение имеет облик иноязычного слова, а не его русский синоним. Несмотря на то что медресе – это школа, существительное медресе относится к среднему роду. Правильно: старейшее медресе.

«Русская фразеология. Историко-этимологический словарь» А. К. Бириха, В. М. Мокиенко, Л. И. Степанова (3-е изд., испр. и доп. М., 2005) выделяет три значения фразеологизма проливать / пролить свою кровь: «1. За кого, что. Погибать, умирать, защищая кого-либо, что-либо. 2. Сражаться, воевать. 3. Только в форме: ПРОЛИВАТЬ КРОВЬ чью, кого. Убивать, умерщвлять». Здесь же отмечается, что это выражение древнерусское, встречается в «Повести временных лет» в 1 и 3-м значениях, и приводится гипотеза его происхождения со ссылкой на статью Н. Т. Ходиной «Отражение поверий, предрассудков, обычаев во фразеологии» (Вопросы структуры и семантики германских и романских языков. Воронеж, 1975. С. 106.): «Смысл его, возможно, восходит к обычаю жертвоприношений: в глубокой древности часто приносили в жертву детей, главным образом первенцев. Позднее приношение в жертву первенца заменилось пролитием нескольких капель его крови или же закланием молодого животного».

В современном русском литературном языке есть два омонимичных глагола кантовать:

Кантовать 1 – 1) обшивать, окаймлять кантом; 2) обтесывать брус, доску, камень и т. п., образуя кант. Кант – 1) цветной шнурок, узкая полоска ткани (обычно другого цвета), вшитая по краям или швам одежды; оторочка; полоска, окаймляющая в виде рамки фотографическую карточку, рисунок, таблицу и т. п.; 2) ребро бруса, доски и т. п., обтесанных так, что в поперечном сечении получается прямоугольник.

Кантовать 2 – переворачивать заготовки, детали, изделия при обработке или груз при перемещении.

Глагол кантовать 2 более употребителен в речи: на упаковке какого-либо ценного груза часто можно встретить надпись-предупреждение: не кантовать! Именно на основе этого значения в разговорной речи прижилось шутливое выражение меня не кантовать 'не трогать, не беспокоить, не приставать' (обычно говорится, когда человек устал, собирается отдохнуть или поспать).

Корректна строчная буква, а вот вопрос об использовании кавычек спорен. 

Нужно иметь в виду, что одна из главных функций кавычек — выделительная, то есть, заключая то или иное слово или сочетание слов в кавычки, пишущий стремится обратить на них внимание. Поэтому, в частности, часто выделяются кавычками слова, употребленные в условном, ироническом, образном, необычном и т. п. значении. Однако по мере того как подобные выражения становятся обиходными (широко употребительными) в кавычки они заключаются всё реже. Например, стали писать без кавычек: часы пик; голосовать за и против; работать на отлично; живая газета и др.

На наш взгляд, условные наименования орудий пыток типа "стул ведьмы", "железная дева", "испанский сапог", "медный бык" следует заключать в кавычки, чтобы не возникало путаницы с такими же словосочетаниями в их прямом значении. 

Сочетание не спеша представляет собой пограничное явление. По форме это деепричастие, по функции — наречие. Как наречие не спеша охарактеризовано в «Русской грамматике» 1980 г. В правилах орфографии оно часто включается в перечень деепричастий (как форма глагола):

Отрицание не пишется раздельно в следующих случаях.

1. Со всеми формами глаголов (кроме полных причастий; о них см. § 150):

а) с инфинитивом и спрягаемыми формами, напр.: не знать, не знаю, не знаете, не знал, не знали, не торопишься, не торопимся, не торопись, не нравится, не повезло;

б) с краткими формами причастий, напр.: не использован, не накрахмалено, не откупорена, не разработаны, не закрыто, не занят, не выпито;

в) с деепричастиями, напр.: не желая, не отвлекаясь, не спеша, не шутя, не успев, не встретившись.

(Правила русской орфографии и пунктуации. Полный академический справочник / под ред. В. В. Лопатина. М. Любое издание)

Спешим Вас успокоить: правила никто не менял. Пунктуационное оформление, о котором идет речь, встречается не так часто, поэтому о нем не идет речь в учебниках русского языка, о нем не говорят в школе (в школе изучают не все правила правописания, ведь задача школы – заложить базовые сведения, а не подготовить профессионального корректора). Это правило приведено в пособии Д. Э. Розенталя «Пунктуация» (и было приведено в изданиях прежних лет), но это очень подробный справочник, в нем рассмотрены многие частные случаи, о которых не говорится в других справочных изданиях.

В том случае, когда слова автора, стоящие после прямой речи, представляют собой отдельное предложение (т. е. в них нет глагола речи сказал, закричал, воскликнул и т. д.) и когда прямая речь не заканчивается вопросительным знаком, восклицательным знаком или многоточием, точка после нее обязательна.

Мы при всем желании не дадим Вам короткого однозначного ответа на этот вопрос — такого, который охватывал бы все возможные случаи. Безусловно, прописная буква может служить сигналом необычного употребления слова, но злоупотреблять этим сигналом не следует, ведь выделительных средств много (кавычки, курсив, разрядка и мн. др.). В разных текстах и в разных ситуациях может оказаться уместным использование разных средств выделения.

Окончательное решение часто остается за автором, только он определяет границы имени собственного и решает, какой способ орфографического оформления выбрать. Но выбор автора должен оправдываться текстом и последовательно соблюдаться в тексте. Если говорить о прописных буквах, то орфографисты сейчас особо подчеркивают: характерная для современных текстов ситуация, когда авторы присваивают статус имени собственного любому словосочетанию и пишут каждое слово внутри сочетания с прописной, не отвечает традициям русского письма. 

Предложенный Вами вариант оформления (Радужных столбов; Столб) возможен.

Приведенное Вами высказывание вообще не является восклицанием. 

Риторическое восклицание ― это риторический прием, часто используемый в лирике и драме. Суть его заключается в использовании восклицательного предложения для передачи интенсивных, ярких чувств, переживаний, ощущений или впечатлений говорящего (восторг, восхищение, гнев, ярость, разочарование и др.):

Как верим верою живою,

Как сердцу радостно, светло!

Как бы эфирною струею

По жилам небо протекло!

(Ф. Тютчев)

Риторическое восклицание может служить для описания интенсивности переживаний и высокой степени концентрации внимания говорящего на объекте, привлекшем его внимание, или цели, полностью захватывающей его сознание.

«Всё равно победим!
Никогда, никогда
Коммунары не будут рабами!»

(Е. Евтушенко)

Как правило, риторическое восклицание сопровождается гиперболизацией, укрупнением масштабов происходящего.

Гора горевала о нашем горе —
Завтра! Не сразу! Когда над лбом —
Уж не memento, а просто — море!
Завтра, когда поймем.

(М. Цветаева)