Пишется слитно: гантели неразборные (как наименование). Но: Гантели не разборные! (как предупреждение, что разбирать нельзя).
Имеется в виду слово гантель? Правильно: в каждую руку по гантели.
Да, форма ед. числа – гантель, это существительное женского рода 3-го склонения. Форма творительного падежа – гантелью.