Слово первый не является в русском языке заимствованным, это исконно русское слово, относящееся к самому древнему – индоевропейскому пласту, оно имеет соответствия в корнях слов многих других индоевропейских языков.
Правильнее: дополнительный офис "Первый" ПАО "Ветер Банк" и дополнительный офис "Первый" "Ветер Банка".
Вполне допускаем существование текста, в котором речь идет о лидерах и порядке их упоминания, размещения, следования друг за другом. Иными словами, едва ли есть какой резон обсуждать стилистическую характеристику этого словосочетания без контекста.
Немногим позже, чем появилась письменность.
Все эти варианты используются.