Слово первоисточник употребляется во множественном числе, например: документальные первоисточники, знать из первоисточников. Перво- указывает на то, что какой-либо источник является первым, основным источником каких-либо сведений, знаний или основополагающим трудом в какой-либо области (такой труд может быть не единственным).
Оба варианта корректны, выбор зависит от смысла и контекста.
Первый вариант некорректен. Верно: ненавижу и первое, и второе.
Корректно: по Первой улице.
Корректно: (сидеть) в первом ряду.