Родился ок. 1025/1030. Граф Рейнфельденский, противник Генриха IV и сторонник Папы Григория VII в борьбе за инвеституру.

В 1057 Рудольф получил герцогство Швабию и управление Бургундией от императрицы Агнесы, матери Генриха IV и вступил в брак с её дочерью Матильдой. Рудольф содействовал победе Генриха над саксонцами при реке Унструте в 1075, но затем перешёл на сторону противников Генриха.

На собрании князей в 1076 он участвовал в решении лишить Генриха престола, если тот в течение года не освободится от церковного отлучения. Несмотря на то, что Генрих получил в Каноссе отпущение грехов, князья, в отсутствие папских легатов, 15.03.1077 в Форхгейме выбрали Рудольфа германским королём, с тем условием, чтобы выборы епископов были свободны, а королевский сан ни в каком случае не был бы наследственным. 26 марта Рудольф короновался в Майнце.

7.08.1078 между Генрихом и Рудольфом произошла битва при Мелльрихштадте, с сомнительным исходом. При Флархгейме, 27.01.1080 Рудольф одержал победу, после чего Генрих повторно был отлучён от церкви. В битве при Гогенмользене в окрестностях Мерзебурга 15.10.1080 перевес опять был на стороне Рудольфа, но один из рыцарей Генриха во время битвы прорвался к Рудольфу, отрубил ему руку и нанёс тяжёлую рану в живот. Рудольф умер днём позже и был похоронен в Мерзебурге, где сохраняется отрубленная у него в битве кисть руки.

От брака с Матильдой (1048-1060) остался сын Бертольд (1060-1090) герцог Швабии. От второго брака (с 1062) с Адельгейдой (ок.1050-1079), дочерью графа Оттона I Савойского, сестрой императрицы Берты, остались три дочери, старшая из которых, Адельгейда (ум. 1090) с 1078 была замужем за королём Венгрии Ласло I Святым.