Родился 30.03.1326. Второй сын великого князя Московского Иоанна Даниловича Калиты. Получил то же имя, что и отец, но в честь другого святого — не Иоанна Крестителя, а Иоанна Лествичника (в день памяти которого он родился). Через три года после его рождения, в 1329, отец возвёл в Кремле церковь в честь Иоанна Лествичника.

В 1339 вместе с братьями Симеоном и Андреем был отправлен отцом в Орду. После смерти отца, в мае 1340 снова посетил Орду, сопровождая старшего брата Симеона в его поездке за ярлыком.

По духовному завещанию Иоанна Калиты его сыну Иоанну достались 23 города и селения, из них главные – Звенигород и Руза. Другая треть земель Московского княжества из завещания Иоанна Калиты (основные города Можайск и Коломна) позднее также перешла Иоанну Иоанновичу, поскольку вместе с Симеоном Иоанновичем в чуму умерли оба его сына. Треть часть (прежде всего Серпухов и Лопасня), завещанная Андрею Иоанновичу, также умершего во время чумы, перешла к его сыну — Владимиру Андреевичу Храброму.

В 1353, после смерти старшего брата Симеона Гордого, у Иоанна Иоанновича появился соперник на великое княжение — Константин Васильевич Суздальско-Новгородский, внук великого князя Владимирского Андрея Ярославича, но его старания были напрасны. Хан Золотой Орды Джанибек дал ярлык на великое княжение Иоанну, явившемуся в Орду вместе с князем Константином. 25.03.1354 Иоанн Иоаннович торжественно сел на стол во Владимире.

Великий князь был красив собой, отчего получил прозвище — "Красный", но государственными талантами не блистал: был тих, кроток и милостив. Осюда его второе прозвище — "Кроткий".

Период его правления был периодом относительного ослабления Москвы и усиления его соседей и противников. Великое княжество Литовское добилось поставления отдельного митрополита в Киев. Преемник Феогноста Алексий по приказу литовского князя Ольгерда в 1358 был арестован в Киеве, откуда смог убежать через два года. В 1356 Ольгерд захватил Брянское княжество и ходил на Можайск.

Ослабление великокняжеского авторитета сказалось в ряде междоусобиц среди тверских и муромских князей. Поначалу ни суздальцы, ни рязанцы, ни новгородцы не признавали его великим князем. Рязанцы захватили Лопасню и выгнали оттуда московского наместника. Впрочем, Иоанн восполнил потерю, захватив другие рязанские земли. Константин Васильевич Суздальско-Нижегородский примирился с Иоанном лишь в 1355, а война с новгородцами длилась ещё полтора года.

Иоанн Иоаннович возвысил тысяцкого Алексея Петровича Хвоста, который был изгнан Симеоном Гордым и которого Иоанн восстановил в должности вопреки своему обещанию старшему брату. Алексей Петрович имел большое влияние на государственные дела, но 3.02.1357 он был убит в результате боярского заговора.

Другим видным государственным деятелем при Иоанне Иоанновиче был Алексий, поставленный в 1355 митрополитом Киевским и всея Руси. Обладая исключительным умом и способностями, Алексий сохранял своё влияние и при преемниках Иоанна.

Иоанн Иоаннович умер 13.11.1359 и был погребён в Архангельском соборе московского Кремля. От первого брака с Феодосией, дочерью брянского князя Дмитрия Романовича детей не было. От второго брака с Александрой, (вероятно дочери тысяцкого Василия Вельяминова) остались два несовершеннолетних сына – Димитрий (1350-1389) и Иоанн, между которыми, по примеру отца, разделил московский удел. Во время эпидемии чумы в 1364 его супруга и сын Иоанн умерли.

После смерти Иоанна Иоанновича ярлык на великое Владимирское княжение оказался в руках Димитрия Константиновича Суздальского, и Димитрию Иоанновичу с помощью московских бояр пришлось возвращать великое княжение силой, а также используя противоречия между противоборствующими партиями в Орде.