ところで「遠山の金さん」が南町奉行として閑職の大目付から返り咲いた弘化2年、その年の武鑑、出雲寺万次郎の「大成武鑑4巻.[5]」のやはり小納戸にはまだ遠山金四郎(景纂)の名が見られるのですが(コマ番号40)、右側の屋敷の所在地は「すきやばし内」とあります。つまり南町奉行所の所在地である数寄屋橋内というわけで、父の「遠山の金さん」が南町奉行として南町奉行所で暮らしていた頃にはやはり、倅の金四郎(景纂)も親父の「金さん」と一緒に暮らしており、南町奉行所から父子同伴といったら変ですが、江戸城に登城していたのかも知れません。ちなみに「金さん」が北町奉行から大目付に左遷されていた頃の武鑑は生憎存在せず、ゆえにこれは小生の想像ですが、「金さん」は大目付へと左遷された以上は呉服橋内の北町奉行所に住むわけにもゆかず、当然、愛宕下にある屋敷(私邸)へと引っ越したものと思われます(菊川町の屋敷に引っ越したのは弘化3年で、それまでは愛宕下に屋敷があったものと思われます)。つまり「金さん」は大目付時代には愛宕下にある屋敷から倅の金四郎(景纂)と一緒に江戸城に登城していたのではないでしょうか。それが証拠に「金さん」がまだ公事方勘定奉行であった天保9年、金四郎(景纂)は西之丸の小納戸でして、その年の「大成武鑑4巻.[6]」のコマ番号14にあります小納戸の一人としてやはり遠山金四郎の名と共に左側にはしっかりと「あたごの下」の所在地があり、これは同[5]のコマ番号24にあります公事方勘定奉行の遠山左衛門尉景元の名の左側にあります「あたごの下」と一致することからも想像できます。まとめると、「金さん」が公事方勘定奉行から北町奉行へと栄転すると、「金さん」は倅の金四郎(景纂)を連れて愛宕下の私邸から呉服橋内の北町奉行所へと引っ越し、次いで北町奉行から大目付へと栄転(左遷)されるやいったん、愛宕下の私邸へと倅・金四郎(景纂)を連れて戻り、そして再び、今度は南町奉行に返り咲くや、やはり倅の金四郎(景纂)を連れて数寄屋橋内の南町奉行所へと引っ越したものと思われます。尚、「金さん」が南町奉行時代に遠山家の私邸が愛宕下から菊川町へと引っ越していることから考えて、もしかして奉行時代は妻子(次男以下と娘)は私邸に残していたのかも知れません(北町奉行時代も)。