Правильно: в грибе.
См. здесь.
Название гриба вешенка является общепринятым, поэтому кавычками не выделяется. Слово вешенка должно согласовываться с определяемым словом гриб: грибом вешенкой, о грибе вешенке. Ср. дерево береза, на дереве березе.
Правильно: проживать на такой-то улице, идти по улице.
Ударение переходит на окончание. Правильно: гриба, под грибом.
Корректно: по Первой улице.
Что именно ПО или НА улице Бабушкина? Идти - по улице, жить - на улице.
Правильно: на Арбате, на улице Арбат.
Корректно: дома на Советской улице.