Pernah suatu ketika, sekitar 10 dukun mendatangi Habib Luthfi Yahya untuk ditantang keilmuannya. Habib Luthfi dengan tegas menolak tantangan tersebut. Beliau balik bertanya: “Untuk apa dan atas dasar apa kamu menantang saya?”
Salah satu dari 10 dukun itu menjawab: “Kami ingin tahu apa kelebihanmu, kok murid-muridmu banyak bahkan ada di mana-mana. Dan apa benar Habib ini wali Allah, kok sampai-sampai banyak yang menyukai dan mencintaimu.”
Habib Luthfi hanya tersenyum mendengar penuturan si dukun itu. Kemudian 10 dukun tersebut mulai komat-kamit tak jelas dan mengambil satu ‘keris legenda’, kata si dukun, lalu diletakkan persis di depan Habib Luthfi. Lantas dukun itu berkata: “Ambillah jika Habib mampu!”
Habib Luthfi pun hanya tersenyum sembari berjalan mengambil sapu lantai dan disapunya keris itu dengan mudahnya tanpa membuang-buang tenaga. Kagetlah 10 dukun itu, gumam mereka: “Kok bisa ya hanya dengan menyapu saja, padahal sudah saya buktikan tidak ada seorang pun yang dapat mengambil keris itu.”
Kemudian Habib Luthfi bin Yahya mencabut bulu rambut yang ada di kepalanya dan meletakkannya persis di depan 10 dukun itu. Beramai-ramailah dukun itu dengan sekuat tenaga mengambil satu helai bulu rambut Habib Luthfi. Tapi apa hendak dikata, tak seorang pun dari mereka yang dapat mengambil bulu rambut itu. Akhirnya 10 dukun itu segera meminta maaf kepada Habib Luthfi dan bahkan bersedia menjadi murid Habib Luthfi sampai saat ini.
(Diolah dari Pengky Sutarto, yang diceritakan langsung dari abdi dalem).