مكة، فكتب إليه عبدالملك: إنا لسنا من تلطيخ ابن الزبير في شيء، أما ما زاد في طوله فأقره، وأما ما زاد فيه من الحجر فرده إلى بنائه، وسد الباب الذي فتحه، فنقضه وأعاده إلى بنائه. في رواية: قال عبدالملك: ما كنت أظن أبا خبيب "يعني ابن الزبير" سمع من عائشة ما كان يزعم أنه سمعه منها، قال الحارث بن عبدالله: بلى، أنا سمعته منها، قال: سمعتها تقول ماذا؟ قال: قالت قال رسول الله صلى الله عليه وسلم: " إن قومك استقصروا من بنيان البيت ولولا حداثة عهدهم بالشرك أعدت ما تركوا منه فإن بدا لقومك من بعدي أن يبنوه فهلمي لأريك ما تركوا منه فأراها قريبا من سبعة أذرع ". في أخرى: قال عبدالملك: لو كنت سمعته قبل أن أهدمه لتركته على ما بنى ابن الزبير. فهذا ما جاء في بناء الكعبة من الآثار.
وروي أن الرشيد ذكر لمالك بن أنس أنه يريد هدم ما بنى الحجاج من الكعبة، وأن يرده على بناء ابن الزبير لما جاء عن النبي ﷺ وامتثله ابن الزبير، فقال له مالك: ناشدتك الله يا أمير المؤمنين، ألا تجعل هذا البيت ملعبة للملوك، لا يشاء أحد منهم إلا نقض البيت وبناه، فتذهب هيبته من صدور الناس. وذكر الواقدي: حدثنا معمر عن همام بن نبه سمع أبا هريرة يقول،: نهى رسول الله ﷺ عن سب أسعد الحميري، وهو تبع، وهو أول من كسا البيت، وهو تبع الآخر. قال ابن إسحاق: كانت تكسى القباطي ثم كسيت البرد، وأول من كساها الديباج الحجاج.
قال العلماء: ولا ينبغي أن يؤخذ من كسوة الكعبة شيء، فإنه مهدى إليها، ولا ينقص منها شيء. روي عن سعيد بن جبير أنه كان يكره أن يؤخذ من طيب الكعبة يستشفى به، وكان إذا رأى الخادم يأخذ منه قفدها قفدة لا يألو أن يوجعها. وقال عطاء: كان أحدنا إذا أراد أن يستشفي به جاء بطيب من عنده فمسح به الحجر ثم أخذه.