Названия департаментов и отделов компаний, как и названия должностей начальников, директоров и руководителей, пишутся строчными буквами.
Оба слова можно использовать.
Наименование департамента, в котором использован предлог по, встречается еще в девятнадцатом веке; ср. департамент по ученой части. Современные названия, созданные на основе модели с предлогом по, объединяют самые разные департаменты: по работе, по развитию, по вопросам, по защите, по недропользованию, по транспорту и другие. Вывод: наименования департаментов неоднотипны с грамматической точки зрения.
Официально: Департамент культуры города Москвы.
Верно со строчной буквы: организованный департаментом природных ресурсов и охраны окружающей среды Курской области.
Корректно: 7-й Департамент...
Верно: директору департамента по экспертизе...
Слово департамент может употребляться как с предлогом, так и без предлога.