街道に家屋を直面させる通常の形とは異なり、石垣と木塀で囲まれた遮蔽形をしている。間口33間（60m）、奥行き40間（73m）、面積は1,300坪（4,300㎡）の広大な敷地に本陣館（やかた）、土蔵、離れ座敷があった。現在は物見塔、本陣井戸、馬の水呑み場の石垣が残っている。
現在は東海道広重美術館、御幸亭、東海道由比宿交流館が併設される東海道由比本陣公園となっている。