Родился 13.03.1741. Старший сын императора Франца I Стефана и Марии-Терезии эрцгерцогини Австрии.

После смерти отца в 1765 Иосиф был приобщён матерью к управлению австрийскими владениями. Эпоха их совместного управления ознаменовалась широкой преобразовательной деятельностью, так как необходимость реформ наглядно обнаружилась во время Семилетней войны, поставившей Австрию на край гибели.

Под влиянием Иосифа правительство Марии Терезии облегчило положение крестьян, укрепило государственную власть в ущерб клерикальным и феодальным элементам, упразднило орден иезуитов и отменило пытки. При этом Иосифу зачастую приходилось преодолевать сопротивление матери, придерживавшейся консервативной позиции.

После смерти матери (1780) политика Иосифа выражалась в стремлении к просвещённому абсолютизму. 13.10.1781 он издал указ о веротерпимости и упразднил те монастыри и духовные ордена, которые не способствуют делу просвещения и призрения больных.

Современник коронованных философов, Фридриха II Прусского и Екатерины II, Иосиф был одним из самых деятельных людей, когда-либо существовавших, и, не щадя ни себя, ни других, совершенно изнурял себя работой. Его бесчисленные путешествия были не триумфальными прогулками, а тяжёлым трудом добросовестного ревизора. Входя во всё самолично, он верил в своё призвание вывести Австрию из полудикого состояния путём реформ, идущих сверху.

Церковь была поставлена в тесную зависимость от государства и связь её с римской курией была значительно ограничена. Народное образование было поставлено под надзор государства, причём начальное обучение стало предметом особой заботы.

Католическая церковь осталась господствующей, но православным, лютеранам и кальвинистам были дарованы гражданские права, а евреи получили различные облегчения. С 1782 отступление от господствующей веры перестало считаться уголовным преступлением, но свободу совести правительство вводить не решилось. Право выбора вероисповедания было ограничено сроками и иными препятствиями, а к сектантам Иосиф относился иногда даже жестоко.

Его человеколюбивая деятельность простиралась на всех обездоленных, начиная с притеснённого крестьянства и кончая сиротами, больными, глухонемыми, незаконнорожденными.

Тем не менее, Иосиф был совершенно чужд сентиментальному и несколько отвлечённому благодушию чувствительного ХVIII века. При малейшем сопротивлении, он проявлял большую жестокость. А его внешняя политика представляла сочетание полнейшей нравственной бесцеремонности с ненасытной алчностью к земельным приобретениям.

Уничтожая привилегии магнатов и установливая равенство всех граждан перед законом, Иосиф признавал дворянство лишь как служилое сословие и допускал приток разночинцев в ряды чиновничества.

1.11.1781 Иосиф отменил крепостное право в Богемии, а затем и в других провинциях, причём поощрял выкуп крестьянских наделов. Заботясь о подъёме благосостояния сельского населения, он собирался установить равномерное поземельное обложение, возвещённое 20.04.1786, но ему не суждено было осуществить это намерение. Его политика возбудила всеобщее недовольство и разбилась о встречное сопротивление. Феодалы и клерикалы всячески тормозили дело реформ.

Все слои общества тяготились настойчивой, суровой и подчас бестактной регламентацией, манией бюрократического вмешательства во все проявления жизни, начиная с богослужения и похорон и кончая ношением корсетов.

Ненасытная жажда новых земельных приобретений для Австрии, а также повсеместное введение немецкого языка вызывыли недовольство различных слоёв населения и сословий.

Особые выгоды представляло для Австрии присоединение Баварии, которое обеспечило бы за ней преобладание в Германской империи. Иосиф надеялся достигнуть этой цели путём уступки австрийских Нидерландов, но его захваты и бесцеремонное обращение с мелкими владетелями сплотили против него союз германских князей во главе с Фридрихом II Прусским, так что пришлось отказаться от задуманного предприятия.

Нидерландская революция, вызванная отменой исторических вольностей и полнейшей ломкой учреждений в крае, который ещё недавно предполагалось обменять, как вещь, на другую страну, закончилась полным отложением Бельгии.

В Венгрии, где объединительная политика попирала исторические вольности, круто и насильственно вводила немецкий язык, а магнаты были испуганы спешными приготовлениями к введению поземельного налога, дела шли к тому же.

Больше всего ожидал Иосиф от союза с Россией, рассчитывая на раздел турецких владений на Балканах. В 1787 разгорелась русско-турецкая война. Надеясь славой побед восстановить свой пошатнувшийся авторитет, Иосиф не ограничился вспомогательной ролью союзника России, а двинул все свои силы против турок и сам стал во главе войска. Это роковое для него решение было плодом любви к военному делу, представлявшей, вместе с увлечением внешней политикой, основное противоречие в личности неутомимого реформатора.

Скоро военные неудачи и смертельная болезнь, схваченная в походе, принудили его вернуться в Вену, где император, видя безвыходность своего положения, при опасном внутреннем брожении, отменил все сделанные им распоряжения, кроме крестьянской реформы и закона о веротерпимости.

На смертном одре, несмотря на тяжкие страдания, он продолжал заниматься государственными делами до последнего дня и умер, 20.02.1790, с большим достоинством и твердостью.

6.10.1760 ещё будучи наследником австрийского престола Иосиф сочетался браком с Изабеллой Бурбон-Пармской, старшей дочерью испанского инфанта Филиппа, внучке короля Испании Филиппа V. Однако все дети, рождавшиеся в этом браке, умирали в младенческом возрасте, а 27.11.1763 от оспы умерла и сама Изабелла.

После смерти жены Иосиф не хотел вступать во второй брак, но мать принудила его жениться на Марии-Жозефе (1739-1767), дочери курфюрста Баварии Карла-Альберта, но Иосиф относился к ней с неприязнью и даже не пришёл на её похороны, когда вскоре она умерла от оспы.

Хотя Иосиф II был женат дважды, но умер бездетным, и преемником его стал младший брат Леопольд (1747-1792), а после короткого царствования последнего — племянник, Франц (1768-1835).