Родился около 688. Незаконный сын Пипина Геристальского.

После смерти отца (714) был заключён в тюрьму своей мачехой Плектрудой, ставшей опекуном 15 летнего короля Дагоберта III и своего внука, 6 летнего Теодоальда, назначенного Пипином, несмотря на малолетство, майордомом Нейстрии.

Нейстрийцы, недовольные правлением женщины, а также назначением малолетнего майордома, подняли в 715 против неё восстание и выбрали в майордомы нейстрийца Раганфреда, а королём Нейстрии был выбран меровинг Хильперик II. Заключив союз с королём фризов Радбодом, франки с двух сторон напали на Кёльн, резиденцию Плектруды, которая была вынуждена откупиться от них отдав огромные богатства, накопленные Пипином.

Всеобщая смута позволила Карлу, которому историческая традиция дала вполне оправдывающее прозвище Мартелл ("Молот"), в авг. 715 совершить побег из тюрьмы. Найдя себе много приверженцев в Австразии, в 717 он одержал блестящую победу над нейстрийцами, затем принудил Плектруду сдать ему Кёльн, а два года спустя разбил Раганфреда, занял Париж и Орлеан. Плектруда вскоре умерла и в 718 Карл возвёл на престол Австразии Хлотаря IV, вероятно, сына Теодориха III.

Захватив майордомат в Австразии и в Нейстрии Карл Мартелл объединил под своей властью франкское королевство, ставя и поддерживая номинальных государей — Хлотара IV, Хильпериха, Теодориха IV (малолетнего сына Дагоберта Младшего), от имени которых он правил.

В 725 и 728 Карл Мартелл совершил два похода в Баварию, которая подчинилась ему, но сохранила своего герцога. В начале 730-х ему подчинилась и Аллемания.

В 733-734 Карл Мартелл построил сильный флот и предпринял походы против языческих фризов, живших у берега Северного моря, в устье Рейна. Результатом этих походов была потеря фризами самостоятельности и распространение среди них христианства.

Против язычников саксов он предпринимал удачные походы в 718, 720, 724 и 738, благодаря чему был несколько сдержан их разрушительный напор.

Чрезвычайно опасным было продвижение за Пиренейские горы мавров. В 719 они заняли Нарбонну, в 725 они заняли Каркассон и Ним. Абд эль-Рахман, вали Испании, входившей в это время в халифат Омайядов, весной 732 со значительным войском перешёл Пиренеи, разбил аквитанцев и взял приступом и разграбил Бордо.

Карл Мартелл с ополчением австразийцев, нейстрийцев и прирейнских племён, в 732 двинулся навстречу маврам, которые направлялись к Пуатье и Туру. В октябре произошла знаменитая битва при Пуатье, длившаяся целый день с значительным успехом для франков. Абд эль-Рахман был убит в бою, и мавры, потеряв своего предводителя и тысячи убитых, в следующую ночь бежали, бросив награбленное. После этого их дальнейшее проникновение в Галлию было остановлено.

Карл был единодушно признан борцом за христианство и правителем всей Галлии. Действуя с позиции силы, он поставил верных людей во главе епископств Тура, Орлеана и Осера. В 733 Лион и Бургундия были покорены. Частично власть над ними Карл передал своему сыну Пипину. Многие графства были розданы родственникам, либо верным людям майордома.

В 736 Карл совершил поход до устья Роны, в Арль и Марсель. Опустошения, нанесённые франками, вызвали единодушный протест провансальцев, которые пошли на союз с маврами и сообща напали на город Авиньон. В 737 Прованс был снова покорён. Авиньон был отнят у мавров. Вслед за тем мавры потерпели жестокое поражение при р.Берр, к югу от Нарбонны. На обратном пути франки сожгли города Агд, Безье, Мегалон, на несколько веков превратившиеся в развалины, а также Ним.

Новое восстание провансальцев в 739 потребовало ещё одной экспедиции, для проведения которой Карл обратился за помощью к лангобардам. Стремясь придать умиротворению окончательный характер, Карл подавил сопротивление с крайней жестокостью, прибегнув к огню, мечу и конфискациям. Затем он везде рассадил верных ему людей.

После смерти в 737 короля Теодериха IV, Карл Мартелл не назначил ему преемника и продолжал править, не провозгласив королём самого себя.

Духовенством Карл не был любим. Стремясь сломить оппозицию аристократии, в рядах которой было и высшее духовенство, он смещал некоторых духовных лиц с их кафедр, ставя на их место преданных ему светских людей. Церковные земли отдавались и прямо в прекарий светским лицам. Карл, не задумываясь, черпал из церковных имуществ в тех случаях, когда речь шла о борьбе с маврами и особенно о вознаграждении деятелей, которые в этой борьбе оказали существенные услуги государству.

Карл Мартелл умер 21.10.741 и был похоронен в пригороде Парижа в аббатстве Сен-Дени, которое начиная с похорон Дагобера I в 638 стало традиционным местом захоронения французских монархов.

От своей законной супруги Кродтруды Карл имел двух сыновей. По завещанию отца, старший, Карломан, должен был получить Австразию и власть над зарейнской Германией; младший, Пипин Короткий — большую часть Нейстрии, Бургундию, Прованс и довольно гипотетический контроль над Аквитанией.

Его побочный сын Грифон от Сванагильды, племянницы герцога Баварии Одилона, привезённой им из баварского похода в 725, получал несколько территорий, разбросанных в трёх королевствах — Австразии, Нейстрии и Бургундии. У него было ещё несколько незаконных сыновей и дочерей. Одна из них была выдана замуж за графа Фризии Аббу, помогавшему Карлу насаждать там христианство.

Карл Мартелл усердно покровительствовал распространению христианства. Папы Григорий II и Григорий III присылали ему подарки и почётные звания патриция и консула, надеясь привлечь его для борьбы с лангобардами, но Карл Мартелл на войну в Италии не решился, сохранил дружбу с лангобардами и только дипломатией помогал церкви. При нём Франкское королевство стало первым могущественным государством нового мира.