При Романе II Иоанн выдвинулся как способный военачальник. Позже он сыграл видную роль в провозглашении императором Никифóра Фоки, приходившегося ему дядей по материнской линии. За эти заслуги Никифóр в 963 почтил Цимисхия званием магистра и сделал доместиком Востока. В 965 он дал ему достоинство дуки, но затем, заподозрив в измене, сослал в Халкидон.

Императрица Феофано уговорила мужа вернуть Иоанна из изгнания, а затем вступила с Цимисхием в заговор. С её помощью Иоанн со своими сообщниками проник во дворец и убил Никифóра.

Укрепив свою власть, Иоанн хотел венчаться на царство, но патриарх Полиевкт объявил, что не позволит ему войти в храм до тех пор, пока он не удалит из дворца Феофано и не отменит введённые императором Никифóром законы, направленные против Церкви. По требованию патриарха Иоанн наказал своих сообщников, обвинив исключительно их в убийстве Никифóра, сослал императрицу на остров Принкипос в Мраморном море и вернул синоду грамоту Никифóра. Только тогда Полиевкт допустил Иоанна в храм Св. Софии и венчал его.

Иоанн узаконил свое положение, женившись на Феодоре, дочери Константина Багрянородного, тете его подопечных. Этот шаг снискал ему популярность среди жителей Константинополя, так как означал сохранение власти Македонской династии. На ипподроме было устроено роскошное празднество, и таким образом Иоанн оказался весьма популярен в столице.

Однако в провинции Иоанну возникла оппозиция. Семья Варды была встревожена свержением и гибелью родственника и вынашивала планы по восстановлению своей власти. В лето после переворота Вард Фока – сын Льва, племянник злополучного Никифора II, сумел сбежать из ссылки в Амасии в феме Армениакон и добраться до владений своей семьи в Кесарии, где войска провозгласили его императором. Не имея возможности оставить Константинополь, Иоанн должен был возложить задачу подавления бунта на кого-то другого. Его покойная жена была из семьи Склир, другого мощного военного клана, и теперь Иоанн поручил её брату Варде Склиру командовать восточной армией. Весной 970 Склир окружил войско Фоки в крепости, заставил бунтовщика сдаться. Его постригли в монахи, а затем отправили в более надежную ссылку на остров Хиос. Все члены семьи Варды были схвачены, спешно посажены на корабли и отправлены на разные острова Эгейского моря. Брат Никифóра, Лев Фока, был сослан на Лесбос.

Затем император занялся делами милосердия и благотворительности, роздал всё своё имущество бедным, устроил больницу для прокажённых, которую очень часто посещал, сам перевязывая больным раны.

Смена власти увеличила тревожное состояние империи. Завоевания Никифóра на Востоке — в Киликии, Финикии и Келесирии — были почти потеряны; на Западе русь, призванная Никифóром против болгар, угрожала грекам; не прекращался голод, свирепствовавший уже третий год.

Энергичными мерами Иоанн Цимисхий избавил страну, прежде всего, от внутреннего бедствия; затем он обратился против киевского князя Святослава Игоревича, которому предложил удалиться из Болгарии. Однако Святослав потребовал выкуп за захваченные им в Болгарии города. В ответ император послал против Святослава магистра Варду Склира. Русские вторглись во Фракию, опустошили её всю огнём и грабежами и разбили свой лагерь неподалеку от Аркадиополя. Однако в большой битве с Вардой они были разбиты и отступили.

Весной 971 Иоанн сам выступил в поход против Святослава. Его армия вторглась в Болгарию через Балканы и внезапно напала на русских перед болгарской столицей Преславом. В упорном бою ромеи одержали верх благодаря отряду тяжёлой кавалерии (т.н. "бессмертных"). На другой день ромеи ворвались в Преслав и захватили огромную добычу: в руки к ним попала вся царская казна, а среди пленников оказался болгарский царь Борис. Оставшиеся в живых русы были оттеснены к царскому дворцу и здесь перебиты.

Тем временем сам Святослав с главными силами находился у Доростола. Император двинулся на него и через неделю уже подступил к городу. Иоанн построил свои войска, расположив одетых в панцири всадников по бокам, а лучников и пращников позади, и повёл фалангу в бой. Завязалась яростная битва, в которой обе стороны сражались с одинаковым успехом. Когда солнце стало клониться к закату, император бросил против русов всю конницу, оттесних их за стены города.

Укрепив лагерь Иоанн начал осаду Доростола. Русские постоянно совершали вылазки, то и дело происходили жаркие схватки. 21.07.971 Святослав вывел своих воинов на решительную битву. Натиск русов был такой силы, что ромеи стали поспешно отступать. Но император, видя отход своего войска, сам помчался на врага. Разразившийся в это время ураган нёс в сторону русов дождь и пыль. Это было на руку ромеям. Русские не выдержали натиска конной фаланги и обратились в бегство. Потеряв в сражении множество воинов, Святослав на другой день послал просить мира и Иоанн с радостью согласился и позволил оставшимся в живых уйти из Доростола и удалиться за Дунай. Но большинство русов так и не достигли Киева: они попали в засаду, устроенную на Днепре печенегами. Среди убитых оказался и князь Святослав. Болгария на время стала провинцией империи. Борис был лишён царской короны и регалий, которые затем поместили на алтарь Св. Софии. Бывший царь остался жить в Константинополе и получил титул, позволявший ему принимать участие в церемониях и процессиях.

Первая победа над арабами была одержана при Антиохии талантливым евнухом Николаем. Летом 972 Иоанн сам двинулся в Малую Азию. Переправившись через Евфрат, ромеи взяли Эдмет, Миефаркиму и стали наступать на Багдад, но трудности пути и недостаток воды заставили их отказаться от похода. Император повернул обратно в столицу.

В 975 Иоанн совершил новый поход, на этот раз в Палестину и Сирию. Poмеи штурмом взяли Апамею. Дамаск сдался Цимисхию без боя. Он перевалил через Ливан, занял сильную крепость Ворзо, потом проник в Финикию, где овладел Бейрутом.

На обратном пути Иоанн выразил своё неудовольствие проедру (председатель сената) евнуху Василию Лакапину (сыну императора Романа I), и тот, опасаясь опалы, замыслил устранить императора. Иоанну подали отравленный напиток. На следующий день члены его одеревенели, всем телом овладела слабость. Цимисхий поспешил вернуться в столицу. Он прибыл сюда уже обессиленный, с затруднённым, прерывистым дыханием, и умер 10.01.976.