Краеугольный камень. 1. Основание, фундамент чего-л. 2. Основа, главная идея чего-л.
Выражение из Библии: «Я полагаю на Сионе камень, камень испытанный, краеугольный, крепко утверждённый». В русский язык выражение пришло из старославянского, первоначальное значение -- «камень, лежащий в основании какой-л. постройки». Как писал шанский в 1985 году, в русских сёлах ещё и сейчас под угол дома кладут большие камни. Выражение заимствовано старославянским языком из древнегреческого, где оно было двусловным термином (от akron «вершина», «край, конец», «граница» и horia «угол») и восходит к строительному термину.

Корень слова камень -- камень. О корне читайте в пособии Е. И. Литневской (раздел «Корень»).

Сочетание мощеные камни некорректно.

Бортовой камень - это бордюрный камень?

Лучше: ...был заложен первый камень в основание будущей библиотеки.

Есть несколько версий происхождения. Одна из них: выражение держать камень за пазухой относят ко времени правления жестокого князя Дмитрия Шемяки, сравнивая его одновременно с античным изречением Плавта (Держать камень в одной руке, а хлеб - в другой). Последнее изречение встречается и в польских пословицах.

Такое употребление корректно.

Верно: об их.

О - об - обо

Выбор предлога зависит от того, с какого звука (гласного или согласного) начинается последующее слово и в какой падежной форме оно употребляется:

1) в винительном падеже перед словами, начинающимися согласными (кроме форм местоименных слов всё, всю, все, всех, что), употребляются предлоги о и об: споткнулся о порог и об порог; ударился о камень и об камень;

2) в винительном падеже перед словами, начинающимися гласными, употребляется только предлог об: споткнулся об острый камень;

3) в винительном падеже перед формами местоименных слов все, всё, всех, всю, что, а также что-либо, что-нибудь, что-то употребляется предлог обо: споткнулся обо все камни; Обо что ты споткнулся?

4) в предложном падеже перед словами, начинающимися согласными (кроме форм местоименных слов мне, всём, всей, всех), употребляется предлог о:  узнал о родственниках, вспомнил о невесте;

5) в предложном падеже перед словами, начинающимися гласными, употребляется предлог об: вспоминать об отце; задуматься об учебе;

6) в предложном падеже перед формами местоименных слов мне, всём, всей, всех употребляется предлог обо:узнал обо всех родственниках, вспомнил обо мне. Однако в художественной литературе возможно: о всем, о всей, о всех (Девушка пела в церковном хоре // О всех усталых в чужом краю... А. Блок).

Примечание. Нужно обратить внимание, что слова, начинающиеся с букв е, ё, ю, я, – это слова, начинающиеся с согласного звука [j]. Поэтому правильно: дискутировать о Европе, песня о ёлке, вспоминать о юных годах, говорить о «Яндексе» (не об).

Правильно склонять обе части: с рыбой-камнем.

Столица Урала, янтарная столица — это образные описательные выражения. Они не стали неофициальными названиями, не фиксируются в таком качестве словарями, в текстах устойчиво пишутся со строчной буквы.

Возможно, осмыслению сочетания столица Урала как названия препятствует структура — «столица чего» (ср. столица России, столица Белоруссии, столица Кузбасса, столица Калининградской области). Слово столица воспринимается исключительно как родовое.

Сочетания прилагательного со словом столица похожи на типичные географические названия с родовым словом (Московская область, Белое море, Приморский край, Васильевский остров), что располагает к их использованию как названий. Сочетание Северная столица давно закрепилось в таком качестве и отмечено словарями, Уральская столица употребляется реже, но вполне корректно, например в названии статьи «В Уральской столице презентовали новую книгу об императоре Николае II» [Vesti.ru, 20.07.2016].

Сочетание янтарная столица, по данным Национального корпуса русского языка, менее употребительно, чем столица Урала или уральская (Уральская) столица, и обычно вводится в текст не как название, а как характеризующий оборот, например:

Это правда, что вы хотите переселить в Россию 15 тыс. специалистов-янтарщиков из Польши и Литвы и таким образом в перспективе сделать Калининград янтарной столицей мира? [Елизавета Маетная. «Янтарный комбинат превратился в бизнес: «выкопай и продай посреднику» // Известия, 29.05.2012];

Я был в Доминиканской республике трижды, и сам искал эти камни и находил, и конечно это удовольствие подарить такой камень, так как Калининград — это янтарная столица мира, и естественно, здесь должен быть такой камень тоже [Музей янтаря получил подарок с острова Гаити // Vesti.ru, 03.03.2009].

Интересно, что сочетание Янтарный край вполне может претендовать на фиксацию в качестве неофициального названия: оно стало устойчивым обозначением Калининградской области в современных текстах.