Обособление не требуется. Правильно: по приходе. Таким образом, верно: Брюсов отмечал, что страсть к литературе постоянно возрастала. Даже направляясь в гимназию, он обдумывал новые произведения, которые по приходе домой начинал писать вместо уроков.
Правильно: по приходе. Предлог по в значении 'после' требует постановки существительного в форму предложного падежа.