Мягкий знак в слове гвоздь указывает на мягкость конечного согласного в слове. В словоформе гвозди эту функцию мягкого знака выполняет буква И (согласный перед И должен быть мягким), поэтому мягкий знак становится ненужным.

Теперь об отсутствии мягкого знака между буквами З и Д. Смягчение З в слове гвоздь происходит за счет мягкости последующего Д'. Такое явление называется регрессивной ассимиляцией согласного звука по мягкости-твердости. Проверить, что звук З не имеет собственной мягкости, можно, подобрав однокоренное слово с твердым Д, например гвоздодер. Исходя из принципа единообразого написания корней в однокоренных словах, мягкий знак не должен писаться и в словах гвозди, пригвоздить и т. п.