Родился 26.07.1678. Старший сын императора Леопольда I и его третьей жены Элеоноры, дочери Филиппа-Вильгельма Пфальц-Нойбургского.

Воспитывался под руководством герцога Дитриха Отто фон Сальма, изучил несколько языков. В 1687 был избран королём Венгрии, а 23.01.1690 — римским королём.

Вступив 5.05.1705 после смерти отца на императорский престол обратил серьёзное внимание улучшению финансов и администрации и удалил от власти сотрудников, находившихся под влиянием иезуитов. Финансовое управление он улучшил при помощи Грундаккера фон Штаремберга. Им также были приняты меры для облегчения положения крепостных крестьян.

Он энергично продолжал начатую его отцом войну за испанское наследство против Франции. Благодаря победам Евгения Савойского и английского герцога Мальборо ему удалось прогнать французов из Италии и Нидерландов и перейти даже к наступлению. Чтобы освободить себе руки для борьбы на Западе, Иосиф 31.08. 1707 в Альтранштедте заключил договор с королём Карлом XII Шведским, который, на пути из Польши в Саксонию, прошёл через Силезию.

По Альтранштедтскому миру Иосиф дал силезским протестантам свободу вероисповедания и возвратил им большую часть отнятых иезуитами церквей. В то же время он принудил Папу Климента XI признать его брата Карла королём испанским (в Испании принял имя Карла III).

В 1708 Иосиф объявил опалу курфюрстам Баварскому и Кёльнскому за сношения с Францией, но его желание соединить Баварию с Австрией встретило сильное противодействие как немецких, так и иностранных государств.

3.08.1708 в битве у Тренчина (Словакия) войско вождя венгерского национального восстания Ференца II Ракоци было рассеяно и 30.04.1711 (уже после смерти императора) Сатмарским миром господство в Венгрии Габсбургов было восстановлено.

Иосиф умер 17.04.1711, заразившись оспой. От брака с Вильгельминой-Амалией Брауншвейг-Люнебургской (1673-1742) остались две дочери:

Мария-Жозефа (1699-1757), которая в 1719 вышла замуж за короля Польши Августа III и

Мария-Амалия (1701-1756), которая в 1722 вышла замуж за Карла-Альбрехта (1697-1745), сына баварского курфюрста Максимилиана II Эммануила. В 1742 он стал императором Священной Римской империи (Карл VII).

Иосиф был государь образованный и умный, терпимый к иноверцам, один из наиболее энергичных среди немецких Габсбургов и Австрия при нём достигла большого значения в Европе.

Поскольку у Иосифа не было сыновей, престол перешёл к его младшему брату Карлу (1685-1740).