Оба варианта правильны.
Слово "первый" пишется строчными буквами.
Возможны оба варианта.
Правильно: в первый день по прибытии.
Дополнительные знаки препинания не требуются.
Внутри фразы - нет.
Принцип тот же: термины типа холм, ручей, озеро, село, деревня пишутся со строчной буквы, если относятся к объектам, соответствующим их языковому значению, и пишутся с прописной, если становятся частью названия, обозначая иные, не соответствующие их значению объекты, ср.: Кузнецкий мост и улица Кузнецкий Мост, Большое озеро и деревня Большое Озеро, Красное село и город Царское Село, гора Высокая и деревня Гора Услань. Есть редкие случаи, когда термин, сохраняя свое значение, становится частью официального названия, например в России довольно много деревень, называющихся Новая Деревня. Подробнее см. в правилах употребления прописных и строчных букв в географических названиях.
Это фраза из известного анекдота о Штирлице, ее употребление возможно в различных контекстах в разных значениях, в том числе для обозначения «секрета», который всем известен, для перехода к фразе с нецензурным словом, для намека на этот широко известный анекдот и в других целях. А вот сам анекдот:
В три часа ночи Борман просыпается от стука в дверь. Он, злой и сонный, идет открывать. Видит: на пороге стоит человек в телогрейке, заячьем треухе с красной звездой.
– Слоны идут на север, – сказал человек.
– Слоны идут на ... – со злостью ответил Борман, – а Штирлиц живет этажом выше.
