いろは松のわき道を北に入った旧中堀に面して立つ簡素な武家屋敷で、門前に碑が立っています。井伊直中の第14子として生まれ、5歳で生母を、17歳で父を亡くした井伊直弼（いいなおすけ）（1815-60）が、17歳から32歳までの15年間捨扶持わずか300俵の部屋住みの身として過ごしたところです。直弼は、ここで主に身心の修練に努め、禅の精神を茶の世界に学んだといわれます。「世の中をよそに見つつも、うもれ木の埋もれておらむ、心なき身は」と自身を埋木にたとえて詠んだ句にちなんで屋号がつけられたといわれます。邸内には茶室〓露軒（じゅろけん）が残っています。