Мягкий знак как таковой не означает звука. Поскольку он обозначает мягкость предшествующего согласного, то и относится к той же морфеме, что и согласный. В данном случае - к корню.

Мягкий К в абсолютном конце слова без мягкого знака – такое невозможно в принципе, поскольку в русском письме нет особых букв для обозначения твердых и мягких согласных. На мягкость парного согласного указывает следующая за ним буква (а именно: я, ю, е, ё, и), а на конце слова (или перед твердым согласным) – мягкий знак. Только непарные по твердости–мягкости согласные не нуждаются в обозначении твердости или мягкости с помощью следующей буквы. Т. к. согласный к парный (к – к'), обозначить его мягкость на конце слова можно только мягким знаком. (Отметим в скобках, что и слово на -кь подобрать затруднительно – такое буквосочетание на конце слова возможно лишь при передаче иноязычных имен собственных – и это не случайно, ведь очень долго в русском языке согласные к, г, х были твердыми.)

Мягкий знак обозначает мягкость предыдущего согласного, т. е. фамилии Баль, Хиль, Филь и т.п. оканчиваются на согласный звук. А значит, они подчиняются общему правилу: мужские фамилии, оканчивающиеся на согласный, склоняются, женские – нет.

Мужские фамилии Баль, Хиль склоняются следующим образом: Баля, Хиля; Балю, Хилю; Баля, Хиля; Балем, Хилем; о Бале, о Хиле.

Мягкий знак в слове гвоздь указывает на мягкость конечного согласного в слове. В словоформе гвозди эту функцию мягкого знака выполняет буква И (согласный перед И должен быть мягким), поэтому мягкий знак становится ненужным.

Теперь об отсутствии мягкого знака между буквами З и Д. Смягчение З в слове гвоздь происходит за счет мягкости последующего Д'. Такое явление называется регрессивной ассимиляцией согласного звука по мягкости-твердости. Проверить, что звук З не имеет собственной мягкости, можно, подобрав однокоренное слово с твердым Д, например гвоздодер. Исходя из принципа единообразого написания корней в однокоренных словах, мягкий знак не должен писаться и в словах гвозди, пригвоздить и т. п.

Правила нет, в спорных случаях следует обращаться к орфоэпическому словарю, например: Орфоэпический словарь русского языка / Под ред. Р. И. Аванесова. М., 2000. Кстати, согласно этому словарю, звук [з] в слове змея может быть как мягким, так и твердым.

Сам мягкий знак не произносится, он придаёт мягкость предшествующим согласным. Подробнее о произношении мягких согласных см. http://www.philol.msu.ru/rus/lena-1/vocal/palatal.html [здесь].