Разница есть. Приведем фрагмент из учебного пособия Е. И. Литневской «Русский язык: краткий теоретический курс для школьников»:

В неопределённо-личных предложениях... главный член выражается глаголом в форме 3 лица множественного числа (настоящего и будущего времени в изъявительном наклонении и в повелительном наклонении), формой множественного числа прошедшего времени изъявительного наклонения или аналогичной формой условного наклонения глагола. Производитель действия в этих предложениях неизвестен или неважен:

Тебе звонят / звонили / пусть звонят / звонили бы.

Не являются неопределенно-личными такие предложения без подлежащего со сказуемым в указанных формах, в котором производитель действия известен из предыдущего контекста; см., например, второе предложение в следующем контексте:

Мы вышли из лесу и попытались сориентироваться на местности. Потом пошли по тропинке вправо.

Такие предложения являются двусоставными неполными.