В приведенном примере правильно со строчной. С прописной корректно как первое слово в официальных названиях: Государственный исторический музей, Государственный реестр РФ. В остальных случаях, как правило, написание со строчной.

Правильно: государственный контракт.

Для принятия верного решения в таких случаях нужно обращаться к правоустанавливающим документам. В соответствии с ними корректно с прописной: Департамент ветеринарии Минсельхоза России. 

Верно: комитет Государственной Думы, Комитет Государственной Думы (далее - название комитета).

Департамент – (от фр. departement) в ряде государств, в том числе и в России, отдел министерства или иного правительственного учреждения.

Правильно: Государственный исторический музей, при неофициальном употреблении: Исторический музей.

Нет, правильно со строчной: проводились все виды испытаний, включая государственные.

Наименование департамента, в котором использован предлог по, встречается еще в девятнадцатом веке; ср. департамент по ученой части. Современные названия, созданные на основе модели с предлогом по, объединяют самые разные департаменты: по работе, по развитию, по вопросам, по защите, по недропользованию, по транспорту и другие. Вывод: наименования департаментов неоднотипны с грамматической точки зрения. 

Сейчас следует писать эту должность строчными буквами.