Можно гадать на чем-то и по чему-то, например, на кофейной гуще и по кофейной гуще. Оба сочетания верны, а в других конкретных случаях при выборе предлога принимаются во внимание способы и средства гадания, иные нюансы, о которых даже не беремся судить.
В предложении «Она умеет гадать на смерть» конструкция «на смерть» является существительным с предлогом.