Nama asli al-Yaman adalah Husail (atau Hisl) bin Jabir, dari suku Bani Abs (al-Absi). Ia mula-mula tinggal di Mekah, tetapi pergi setelah terlibat dalam pertikaian darah, lalu menetap di Yatsrib (Madinah), di mana ia menjadi sekutu (halif) Bani Abdul Asyhal dari kabilah Aus. Menurut sumber-sumber, gelar 'al-Yaman' berasal dari aliansi yang berasal-usul Yaman ini (dalam riwayat lain gelar itu dinisbatkan kepada leluhurnya, Jirwah bin al-Harits, yang dijuluki 'al-Yaman'). Ia dan putranya, Hudzaifah, masuk Islam sebelum Badar. Pada Perang Uhud (3 H / 625 M), meski telah lanjut usia ia memilih ikut bertempur, padahal semula ditempatkan di antara yang tidak ikut berperang bersama Tsabit bin Waqsy. Dalam kekacauan pertempuran, para pejuang Muslim yang menutupi wajah mereka dan tidak mengenalinya membunuhnya secara keliru, menyangkanya seorang musyrik. Diriwayatkan putranya, Hudzaifah, berteriak 'Itu ayahku!' tetapi seruan itu tak terdengar di tengah hiruk-pikuk. Dengan sedih namun sabar, Hudzaifah memaafkan para pembunuhnya seraya berkata, 'Semoga Allah mengampuni kalian, Dia Maha Penyayang di antara para penyayang'; ketika Nabi menawarkan diat, Hudzaifah menolaknya dan menyedekahkannya kepada kaum Muslimin yang miskin. Al-Yaman dimakamkan bersama para syuhada Uhud di medan pertempuran, di Pemakaman Uhud.