В значении "вообще говоря" запятая ставится.

ВООБЩЕ, вводное слово и междометие

1. Вводное слово. То же, что «вообще говоря». Подробно о пунктуации при вводных словах и сочетаниях см. в Прил. 2.

Изнутри сарай не запирался, и, вообще, все эти сараи напоминают картонные ящики. В. Короленко, Дом № 13. В руках у него был небольшой кейс-дипломат, и, вообще, всей своей прекрасной внешностью он напоминал мне где-то виденную рекламу первого национального банка Америки. Ю. Визбор, Завтрак с видом на Эльбрус. 

2. Междометие. То же, что «ну и ну, вот это да!» Обособляется или оформляется как отдельное предложение-реплика.

Ну и дела у вас тут творятся! Вообще!

! Не смешивать с употреблением в роли члена предложения (в знач. «в целом, в общем; совсем, при всех условиях»).

Инсаров не любил распространяться о собственной своей поездке на родину, но о Болгарии вообще говорил охотно со всяким. И. Тургенев, Накануне. Поручик взглянул на него растерянно и с изумлением: как это можно так спокойно сидеть на козлах, курить и вообще быть простым, беспечным, равнодушным? И. Бунин, Солнечный удар. Человеку вообще незачем сидеть на краю обрыва. А. и Б. Стругацкие, Улитка на склоне.