Beberapa kali Abdurrahman bin Auf menyaksikan Umar shalat sunah di rumahnya. Yang menarik perhatiannya, bukanlah tata cara shalatnya, melainkan sajadah yang biasa digunakan Umar. Seorang kepala kegara dengan wilayah kekuasaan yang membentang luas sampai Mesir, berhasil mengalahkan dua imperium besar, Romawi Timur dan Persia, justru shalat di atas sajadah yang usang. Timbul rasa bersalah dalam hati Abdurrahman. Ia ingin membelikan sajadah baru yang mahal dan indah untuk sang Amirul Mukminin.
Tetapi, Abdurrahman ragu, apakah Umar mau menerimanya. Dia tahu persis watak Umar yang tidak mau diberi hadiah apa pun walau hanya selembar sajadah.
Abdurrahman akhirnya memberikan sebuah sajadah melalui istri Umar, Ummu Abdillah. Melihat sajadah baru, Umar memanggil istrinya dan menanyakan siapa yang memberi sajadah ini.
"Abdurrahman bin Auf," jawab istrinya.
"Kembalikan sajadah ini kepada Abdurrahman. Saya sudah cukup puas dengan sajadah yang saya miliki." Begitulah watak Umar bin Khattab. Tidak hanya adil dan bijaksana, beliau dikenal dengan sifat zuhudnya, hidup sederhana. Tidak hanya untuk ukuran seorang kepala negara, bahkan bagi orang biasa sekalipun.
Suatu hari, Umar melakukan perjalanan dinas mengunjungi satu provinsi yang berada di bawah kekuasaannya. Gubernur menjamu Umar makan malam dengan jamuan yang istimewa, sebagaimana lazimnya perjamuan untuk kepala negara. Begitu duduk di depan meja hidangan, Umar kemudian bertanya kepada sang gubernur,
"Apakah hidangan ini adalah makanan yang biasa dinikmati oleh seluruh rakyatmu?"