Это написание обычно запоминают как исключение. Крыжовник пишется с буквой о, как и другие существительные на -овник, производные от прилагательных с суффиксом -ов- / -ев-, ср. грушовник (от грушевый), борщовник (борщовый) и др. Однако в современном русском языке суффикс в слове крыжовник уже не выделяется.
В словаре В. И. Даля зафиксировано с ударением на втором слоге: борще́вник.