Это фраза из известного анекдота о Штирлице, ее употребление возможно в различных контекстах в разных значениях, в том числе для обозначения «секрета», который всем известен, для перехода к фразе с нецензурным словом, для намека на этот широко известный анекдот и в других целях. А вот сам анекдот:

В три часа ночи Борман просыпается от стука в дверь. Он, злой и сонный, идет открывать. Видит: на пороге стоит человек в телогрейке, заячьем треухе с красной звездой.
– Слоны идут на север, – сказал человек.
– Слоны идут на ... – со злостью ответил Борман, – а Штирлиц живет этажом выше.

Оба варианта верны, однако между ними есть некоторые различия в значении. 

Форма множественного числа сказуемого показывает, что в роли подлежащего выступает все сочетание, т. е. действие приписывается двум взаимосвязанным равноправным субъектам, например:После обеда Лось с Русаковым пошли посмотреть склады и магазины (Т. Семушкин); Встали и Вбропаев с Корытовым (П. Павленко).

Форма единственного числа сказуемого показывает, что подлежащим является только существительное в именительном падеже, а существительное в творительном падеже выступает в роли дополнения, обозначая лицо, сопутствующее производителю действия, например: Граф Илья Андреевич в конце января с Наташей и Соней приехал в Москву (Л. Толстой); ...Пришел Разметнов с ДемкойУшаковым (Шолохов).

Выбор одной из двух возможных форм согласования сказуемого зависит от смысловой соотнесенности действия и его производителя. Иногда на решение этого вопроса влияет лексическое значение слов, входящих в сочетание, например: Мать с ребенком пошла в амбулаторию; Старший брат с сестренкой уехал в деревню. Ср.: И графиня со своими девушками пошла за ширмами оканчивать свой туалет (Пушкин).

В других случаях играет роль лексическое значение сказуемого, например: Мать с дочерью долго не могли успокоиться и вспоминали случившееся (оба действия могут производиться при равноправном участии субъектов действия); Коля с Петей поступили в одну и ту же школу; Брат с сестрой возвратились порознь. Ср.: Клычков с Чапаевым разъехались по флангам... (Фурманов).

Иногда играет роль порядок слов в сочетании. Ср.: Муж с женой пошли в театр. – Жена с мужем пошла в театр (обычно в рассматриваемых конструкциях при различной родовой принадлежности существительных на первом месте фигурирует более сильный в грамматическом отношении мужской род, например: отец с матерью, дед с бабкой, мальчик с девочкой; поэтому выдвижение на первое место существительного в форме женского рода подчеркивает его роль, а отсюда согласование с ним сказуемого).