Старший сын Людвига Немецкого и Эммы, дочери баварского графа Вельфа I.

В 856 получил в управление восточные мархии.

В 861 Карломан поднял восстание против своего отца, а в 863 к новому мятежу Карломана присоединились и его младшие братья Людвиг Юный и Карл Толстый. В 864 Людвиг Немецкий был вынужден уступить Карломану Баварию, а в следующем году он передал Саксонию Людвигу Юному, а Швабию Карлу Толстому.

Позднее Карломан примирился со своим отцом, и они вместе боролись за имперскую корону с императором Лдовиком II, правда неудачно.

В 877 умер король Западно-Франкского королевства и император Запада Карл II Лысый, что позволило сыновьям Людвига Немецкого предъявить претензии на его наследство. Карломан предпринял поход в Италию и в Павии в 877 был провозглашён королём итальянским.

Его младший брат Карл III Толстый стал императором.

Но уже в 879 Карломана разбил паралич, и, предчувствуя смерть, он решил разделить свои владения. Людовик Юный получил Баварию, а Карл Толстый — Италию.

Карломан не состоял в браке и не имел законных детей, однако от некой Лиутсвинды у него был незаконнорождённый сын Арнульф, которому он завещал Каринтию.

Карломан скончался 22.03.880.