به فاصله ۲۷ کیلومتری شهر برازجان و در شمال آن روستا/ شهر سعدآباد قرار گرفته است. ۷ کیلومتر بعد از سعدآباد، روستای زیرِآب قرار دارد که رودخانه دائمی شاپور در غرب آن از داخل تنگهای با دیواههای عمودی و مسیری به طول بیش از یک کیلومتر درون دیوارههای صخره جاری است. صخرههای این مسیر، دیوارهایی به ارتفاع ۲۰۰ متر دارند. در روزگاران گذشته شهر باستانی تَوَج در این مکان قرار داشته است که آثار خرابههای آن به خوبی دیده میشود. احتمالاً مردم شهر توج زمانی که در تنگنای حمله مهاجمین قرار میگرفتهاند، از دژصخره چله خانه برای دفاع از خود استفاده میکردهاند، این غارهای دفاعی بر روی دیواره عمودی ساحل غرب رودخانه، به فاصله حدود ۵۰ متری از کف، درون سنگهایی از جنس ماسه سنگ و رُس متراکم ساخته شدهاند.
این دژصخره در زمان آبادانی و پیش از فروریزی بخش بیرونی آن بر اثر فرسایش، دارای ۴۰ اتاق بوده است (چهل خانه) که این نام به مرور و برای آسان گویی درگرگون شده و به چله خانه تبدیل شده است. آب مورد نیاز ساکنان از راه چاه و کانال انتهای آن، که به رود شاپور متصل بوده، تأمین میشده است.
ساختمان
چله خانه دارای سه آشکوب است. آشکوب نخست ۹ دهانه آشکوب دوم ۷ دهانه، و آشکوب سوم یا بالایی دارای ۴ دهانه است. پشت دهانهها اتاقهایی با طول و عرض مختلف وجود دارند. بعضی از اتاقهای وسیع ستونی در مرکز اتاق دارند، بعضی اتاقها دارای تاقچهاند، و همه آنها محلهایی برای قرار دادن پیه سوز جهت روشنایی دارند. اتاقهای هر طبقه از طریق ایوانی باریک که جلو اتاقها قرار داشته به هم راه پیدا میکردهاند و طبقات به وسیله نردبان یا طناب به هم مرتبط میشدهاند. در جلوی دهانههای بیرونی ایوانهایی دیده میشوند، اینها باقی مانده اتاقهایی هستند که بخش جلویی آنها ریزش کرده و باقی مانده آنها به شکل ایوان درآمده است. اتاقهای نوزده گانه دارای حدود ۵۰۰ متر مربع مساحت اند که در مواقع تنگنا بیش از ۲۰۰۰ نفر پناهجو را در خود جای میدادهاند. البته سه مجموعه غار دفاعی دیگر در پایین دست و در ساحل شاپور وجود دارند که هیچ کدام به اهمیت چله خانه نیستند.
در زمان دایر بودن دژصخره و پناه گیری مردم در آن، آب مورد نیاز پناهجویان با بهره گیری از چاهی که تا کف رودخانه ادامه داشته، تأمین میشده است.
به علت قرار گرفتن دژ در کنار رودخانهای دائمی و پرآب و در نتیجه دسترسی به آب فراوان، در هیچ یک از بخشهای آن آب انبار وجود ندارد.
