Выражение покушение на убийство вполне корректно, так как слово покушение используется здесь в значении "попытка сделать что-л. недозволенное, незаконное". Ср. формулировку ст. 30 УК РФ "Приготовление к преступлению и покушение на преступление". У этого существительного есть и более узкое значение: "попытка лишить жизни кого-л." (покушение на главу правительства).
Согласны, звучит странно. Дело в том, что покуситься означает "попытаться завладеть чем-либо" (например, покуситься на чужое добро). И в этом случае покуситься на взятку выступает как синоним неудачного сочетания "попытаться завладеть взяткой". Может быть, лучше будет так: подозревается в намерении получить взятку.