28 Mayısta yapılan ikinci turu yapılan Cumhurbaşkanı Seçiminin ardından kurulan kabinede Cumhurbaşkanı Yardımcısı görevini üstlenen Yılmaz, 1967de Bingölde dünyaya geldi.
ODTÜ Kamu Yönetimi Bölümünü birincilikle bitiren Yılmaz, yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde tamamladı.
Başbakanlık Devlet Planlama Teşkilatı Müsteşarlığı, AB ile İlişkiler Genel Müdürlüğü görevlerini yürüten Cevdet Yılmaz, Ulusal Ajans, ATAUM ve Sümer Halıda yönetim kurulu üyeliklerinde bulundu.
Yılmaz, 23, 24, 26 ve 27. Dönemlerde Bingöl, 25. Dönemde Diyarbakır Milletvekili seçildi. Parlamentolararası Birlik Türk Grubu Başkanlığı da yapan Cevdet Yılmaz, 60. Hükümette Devlet Bakanı; 61, 62 ve 64. Hükümetlerde Kalkınma Bakanı, 63. Hükümette Başbakan Yardımcısı olarak görev aldı.
AK Parti MKYK Üyesi, Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcılığı da yapan Yılmaz, TBMM Plan ve Bütçe Komisyonu Başkanlığı görevini yürüttü.
çok iyi düzeyde İngilizce bilen Yılmaz, evli ve 2 çocuk babasıdır.