В современном языке оба слова содержат корень (балабол-, баламут-) и окончание. В этимологическом отношении слово баламут является результатом сложения части *bala-, обнаруживаемой в словах балагурить, балакать звукоподражательного происхождения (или производных от баять), и корня *mǫt- (ср. мутить, смута, смущение и др.). Слово балабол связано с балаболить, которое из звукоподражательного *bolboliti (ср. *golgoliti > диал. гологолить, *tortoriti > тараторить). У восточных славян *bolboliti должно было дать *болоболить, но глагол, видимо, изменил огласовку под влиянием глаголов баять или балакать.

Общепризнанной этимологии у слова балабол нет, поэтому однозначно ответить на вопрос, почему закрепилось написание с двумя а, невозможно. Слово балабол сопоставляется с русским диалектным балабон ‘пустозвон; колокольчик’, чеш. blabol ‘болтовня’. Предполагается влияние слова баять на возможное звукоподражательное болобол, связанное с удвоением корня *bol-bol-.

Такую проверку можно назвать исторической, так как указанные Вами слова не являются в современном русском языке однокоренными, но они исторически родственные. См. об этом здесь. 

В школе безударные гласные на конце глагольной основы перед -ть проверять не учат. Правила их проверки сформулированы были относительно недавно, и они достаточно сложные для применения. В школе сложилась методическая традиция обходиться без правила. Дети благодаря языковой интуиции чувствуют, какую гласную нужно писать перед -ть, и ошибки здесь возникают редко. Слов, в которых ошибки встречаются, немного.

Если мы не помним точно, какая гласная пишется в инфинитиве, то ее нужно проверить по словарю. При этом некоторые простые правила о гласных перед -ть запомнить можно. 

1. В инфинитиве после гласной о пишется -ить, например: стоить, строить, удостоить, присвоить. 

2. В инфинитиве после гласных а, е, у пишется -ять, например: лелеять, маяться. Исключения: драить, клеить.  

Слов, относящихся ко второму правилу, немного, поэтому некоторым удобнее запоминать не правило, а сложные глаголы: 

1) баять, веять, лаять, реять, сеять, таять, хаять (сниж.), чаять, чуять, блеять, лелеять, затеять, маяться, каяться, надеяться,

2) драить, клеить, 

3) кашлять.

Заучивая глаголы, важно помнить, что при присоединении приставки или постфикса гласная перед -ть не меняется: клеить — заклеить, клеиться.

3. Особую группу составляют глаголы с приставками обез-(обес-). Нужно научиться различать слова по значению: обессилить (лишить кого-то сил) — обессилеть (лишиться сил), обезводить (лишить воды) — обезводеть (лишиться воды).