Корректен вариант задержаться с приходом на работу.
Если придаточная часть состоит из одного союзного слова, то запятая не ставится.
Нет оснований начинать слово нефтяников с прописной буквы: В клубе нефтяников мне тоже пришлось задержаться... (если имеется в виду некий клуб, в котором собираются нефтяники или который принадлежит им). Если имеется в виду клуб с таким условным названием, то оно заключается в кавычки и с прописной буквы начинается его первое слово: В «Клубе нефтяников» мне тоже пришлось задержаться...
Гипотетически ситуация, в которой сочетание по приезду используется в значении по какому признаку (ср.: по его виду, по выражению его лица мы поняли, что...), возможна. Однако контексты типа по приезду Димы/сестры я понял недостаточно внятны, чтобы в них можно было бы усмотреть такое значение и не заподозрить грамматическую ошибку.
