Rudolf menggantikan Gubernur Sumatra Utara, Rizal Nurdin yang tewas karena pesawat yang ditumpanginya jatuh pada tanggal 5 September 2005. Sebelumnya ia adalah Wakil Gubernur Sumatra Utara. Dari September 2005 hingga 8 Februari 2006, jabatannya adalah pelaksana harian Gubernur Sumatra Utara. Melalui Keputusan Presiden No. 27/M tahun 2006, Ia dikukuhkan sebagai Gubernur.
Riwayat pekerjaan
. Board of Directory TD Pardede Holding Company tahun 1968-1972
. Ketua Hipmi (Himpunan Pengusaha Muda Indonesia) Sumatra Utara tahun 1969
. Direktur Hotel Danau Toba International tahun 1972-1974
. Direktur Pertekstilan TD Pardede tahun 1974-1976
. Ketua Umum Kesebelasan Pardedetex tahun 1978-1980
. Ketua Badan Pengawas Yayasan TD Pardede Fondation tahun 1992-1999
. Presiden Komisaris PT Berkat Kasih Karunia (BKK) tahun 1992-1999
. Presiden Komisaris Balai Hermina Jakarta tahun 1990-1999
. Aktivis Partai Demokrasi Indonesia (PDI) tahun 1982-1999
. Ketua Dewan Pimpinan Daerah (DPD) Partai Demokrasi Indonesia Perjuangan (PDIP) Sumatra Utara 2000-2005, 2005-2010
. Pimpinan Umum Harian Perjuangan Medan 1998-1999
. Anggota DPR RI tahun 1982-1987
. Anggota MPR RI Utusan Sumatra Utara 1999-2004
. Ketua Umum Dewan Pembangunan Gereja Injil Indonesia 1992-1999
. Ketua Dewan Pembina KKI Sumut tahun 2001
. Ketua Dewan Pembina Himpunan Abang Becak Sumatra Utara (Habsu) tahun 2002
. Ketua Umum Perhimpunan Lingkungan Hidup Indonesia tahun 2002
. Dewan Pembina Serikat Pengacara Indonesia tahun 2003