Правильно - не склонять название этого государства.

Название Бангладеш рекомендуется использовать как несклоняемое существительное.

Обороты «по + имя собственное», указывающие, согласно чьему мнению, чьей точке зрения, теории и т. п. что-либо утверждается, обычно обособляются. Уточним, что обособляются они в случае, если играют роль вводных конструкций, указывающих на источник сообщения, например: По Аристотелю, не все блага равноценны: есть вспомогательные, а есть финальные. Однако такие обороты могут быть тесно связаны с какими-то словами в предложении — не только с глагольными формами, на что обычно указывают справочники, но и с существительными, о чём свидетельствуют Ваши примеры. В этих случаях оборот «по + имя собственное» не нуждается в обособлении. 

В приведенных примерах по Аристотелю играет роль несогласованного определения. Кстати, тот же смысл можно выразить с помощью прилагательного, т. е. согласованного определения: идеальное государство по Аристотелю = аристотелевское идеальное государство. Возможность такой замены служит дополнительным доказательством того, что по Аристотелю здесь не является вводной конструкцией.

В СМИ лучше всего писать президент Казахстана или просто глава государства, если из контекста понятно, о какой стране идет речь.

Первый вариант предпочтителен.

Возможны оба варианта. Единственное число указывает на совместность действия, множественное – на раздельность.