يقع هذا القصر الذي بدأ تشييده في العام 1938 م في قلب مدينة تريم حاليا ويعتبر من المباني والقصور القليلة المحظوظة التي لم تطأها يد التأميم والإهمال، كما أنه من المباني التي بنيت متأخرا نوعا ما عن سابقتها من بيوت آل الكاف .أقام ولا يزال يقيم فيه منذ استكمال بنائه في النصف الأول من أربعينيات القرن المنصرم ورثه السيد عمر بن شيخ الكاف مؤسس القصر .يتميز قصر التواهي بمساحته الأمامية الواسعة جدا التي ظلت مدة من الزمن بمثابة ساحة للاحتفالات الاجتماعية والأنشطة التربوية والرياضية المختلفة .. تعتبر هذه المساحة شاهدة على زمن جميل عاشته هذه المدينة كما يقول المعمرون من أبناء المنطقة الذين يؤكدون أنه شارك في المسابقات والاحتفالات السنوية التي تقيمها مدرسة الكاف وذلك في خمسينات القرن العشرين .كما شهدت هذه الساحة الحفل الخاص الذي تم تنظيمه لتكريم السيد ابو بكر بن شيخ الكاف لمنحه وسام(dbe) وهو الحفل الذي كتبت عنه صحيفة ( الترجمان) التي يصدرها السيد محمد بن عقيل في اندونيسيا .