В современном языке оба слова содержат корень (балабол-, баламут-) и окончание. В этимологическом отношении слово баламут является результатом сложения части *bala-, обнаруживаемой в словах балагурить, балакать звукоподражательного происхождения (или производных от баять), и корня *mǫt- (ср. мутить, смута, смущение и др.). Слово балабол связано с балаболить, которое из звукоподражательного *bolboliti (ср. *golgoliti > диал. гологолить, *tortoriti > тараторить). У восточных славян *bolboliti должно было дать *болоболить, но глагол, видимо, изменил огласовку под влиянием глаголов баять или балакать.
Общепризнанной этимологии у слова балабол нет, поэтому однозначно ответить на вопрос, почему закрепилось написание с двумя а, невозможно. Слово балабол сопоставляется с русским диалектным балабон ‘пустозвон; колокольчик’, чеш. blabol ‘болтовня’. Предполагается влияние слова баять на возможное звукоподражательное болобол, связанное с удвоением корня *bol-bol-.