Ехать зайцем – ехать в общественном транспорте без билета. Выражение, по одной из версий, – калька с французского aller (voyager) en lapin, где lapin 'кролик'. Смысл оборота в том, что безбилетный пассажир боится быть пойманным и оштрафованным (дрожит, как заяц): заяц традиционно является олицетворением трусости. По другой версии, выражение появилось в русском языке самостоятельно, в его основе лежит извечное свойство зайца –

...Ехать зайцем – ехать в общественном транспорте...

§ 6. Буква э пишется в начале корня для передачи гласного э (без предшествующего [j]): В начале следующих исконно русских местоименных слов и междометий: этот (эта, это, эти), этакий, эдакий, экий, этак, эдак; эва, эвон, эге, эгеге, эй, эк, эх, эхма, эхехе. В начале слов иноязычного происхождения (в том числе собственных имен), напр.: эврика, экспорт, экстренный, эллин, эпос, эра, этика, эхо, Этна, Эрик (с буквой э, передающей ударный гласный);

...§ 6. Буква э пишется в начале корня для передачи...