翌年には筑陽館を売却し、東京市外戸塚町源兵衛179番地、高田馬場駅まで歩いて5分ほどの場所に下宿「緑館」を開業している。
大阪毎日新聞広告部にも勤めた乱歩がデザインしたチラシには「閑静ニシテ便利美室ニシテ低廉」とある。購入した当初は170坪の土地一杯に建った21室ほどの元社員寮であった。改築の際に下宿と同じ並びに、別棟を新築して、その2階が乱歩の書斎となる。この部屋は乱歩の設計になるもので、窓が少なく、昼でも薄暗い密室めいた部屋であった。
緑館の購入には8000円かかったが、この資金を稼ぎ出したのが、平凡社から刊行された『現代大衆文学全集』の「江戸川乱歩集」である。当時、装幀のしっかりした小説本は300ページくらいで2円という相場であったというが、この全集は約1000ページで1円だった。
これが16万部ほど売れ、1万6000円余りの印税を手にする。近い時期の総理大臣の月給は800円(1931年)だったというから、単純に計算すれば首相の給料1年半以上分の金額を1冊の本で稼いでいるようなもので、まさに円本ブームの恩恵である。
この緑館時代に書かれたのが乱歩中期の代表作『陰獣』である。「屋根裏の遊戯」や「B坂の殺人」などの作品を書いた大江春泥という探偵小説家が登場するこの作品は、セルフパロディという面ももつ。
乱歩が昼間でも雨戸を閉め切ってろうそくの光で仕事をしているという伝説は、この緑館の書斎から始まっていく。「陰獣」という言葉が猟奇殺人犯の代名詞となり、玉ノ井バラバラ殺人事件の犯人は乱歩だという怪文書が投書されるなど、メディアのなかで乱歩の作家イメージは増幅され、意図せざる方向にも膨れ上がっていった。
1931年、下宿人の抗議ストをきっかけに下宿を廃業すると、1933年に緑館を売却し芝区車町へ転居する。この家の土蔵造りの洋室にひかれたものの、東海道線と京浜国道の騒音がひどく、翌1934年に豊島区池袋3-1626(現豊島区西池袋3-34-1。立教大学江戸川乱歩記念大衆文化研究センター)へ移っている。
敷地300余坪、建坪42坪半、家賃月90円、立教大学正門前のこの家で、乱歩は亡くなるまでの31年間を過ごすことになるのである。
この家の玄関までの路の左手には梅林があり、広い庭にはビワ、柿、桜の樹が植えられている。玄関から入って右手に息子隆太郎、左手に母の部屋があり、正面に隆の部屋や居間、女中部屋となっている。玄関から1番離れた場所に有名な書庫兼書斎の土蔵があり、家族の居住空間と土蔵の間に乱歩の部屋があった。
古書が収められた土蔵について、乱歩は次のように書いている。
コレクションの中心は西鶴を中心とする和本であったが、その他の本は犯罪関係、変態心理関係のものを多く含む洋書や、日本語で書かれた古代ギリシャもの、心理学、犯罪学、法医学、探偵学などの書物、もちろん内外の探偵小説もあった。