Грамматически верно: УВД по городу Геленджику.
УВД, конечно же, неодушевленное существительное, но здесь мы наблюдаем метонимический перенос: организация – люди, работающие в этой организации. Другими словами, под УВД подразумевается "сотрудники УВД".
УВД по г. Москве. См. "Письмовник".
Верно: Совет ветеранов совместно с УВД проводит работу...
Правильно: Утерянный паспорт, выданный УВД города Ноябрьска Ямало-Ненецкого автономного округа Тюменской области.
Слово "первый" пишется строчными буквами.