При официальном употреблении (например, в текстах официальных документов) правильно: Администрация Президента Российской Федерации. Ср. в Положении об Администрации Президента Российской Федерации: «Администрация Президента Российской Федерации является государственным органом...»
При неофициальном употреблении правильно написание строчными. Например, в газетной статье: В администрации президента заявили...
В «Словаре морфем русского языка» А. И. Кузнецовой и Т. Е Ефремовой в слове начать выделяется приставка (на-), корень (-ч-), суффикс -а- (показатель основ инфинитива и прошедшего времени, ср. формообразующий суффикс -н- в основе будущего простого времени: нач-н-ут) и показатель инфинитива -ть (может рассматриваться и как суффикс, и как окончание).
Такой разбор слова по составу (собственно морфемный анализ) представляется корректным и обоснованным, хотя может быть предметом дискуссии.