Правильно: Нестор Летописец. Слово летописец здесь, хоть и сохраняет свое прямое значение, входит в состав имени собственного и пишется с прописной. Ср.: Максим Грек, Николай Чудотворец, Феофан Исповедник и др. См. подробнее в «Русском правописании с комментариями».

В данном случае правила как такового нет. Можно говорить о синтаксических нормах современного русского языка, которые предполагают, что при нейтральном словопорядке в субстантивных словосочетаниях определяющее предшествует определяемому, что ярче всего проявляется в сочетаниях «прилагательное + существительное» (голубое небо, но не небо голубое). Та же тенденция реализуется и при сочетании личного имени с т. н. аппозитивным определяющим (приложением): художник Смирнов, сантехник Петров, президент Сидоров. Ср. утверждение из «Русской корпусной грамматики»: «В прототипических аппозициях с именем собственным типа поэт Иванов базовый порядок в русском языке предполагает предшествование сортового имени имени собственному» (раздел написан Н. Н. Логвиновой). При этом предполагается, что в прошлом случаи постпозиции приложения были гораздо более распространены, следами чего являются сочетания типа Максим Грек, Николай Чудотворец и т. п.