Родился в 995. Сын Харальда Гренландца, который правил несколькими фюльке в Норвегии после того как Хокон Сигурдссон стал ярлом. Праправнук Харальда I.

Олаф воспитывался своим отчимом, Сигурдом Свиньёй. Он рано возмужал, был хорош собой, среднего роста, коренаст и силен, за что получил прозвище Толстый. Олаф хорошо стрелял из лука, отлично владел копьём, хорошо плавал, был искусен в ремеслах и учил других. Олаф был упорен в играх и везде хотел быть первым, как и подобает человеку его происхождения. Говорил он складно и красиво. Все родичи любили его.

Олафу было двенадцать лет, когда он впервые отправился в поход. Они разорили прибрежные районы Швеции. Пытаясь отрезать Олафу путь к морю, король Швеции Олаф Шётконунг перегородил цепями протоку, соединявшую озеро с морем, и двинул на него своё войско. Но Олаф приказал прорыть новый канал и успел спастись.

На следующий год, разорив земли эстов и финнов, Олаф направился в Данию, а затем во Фрисландию и Англию, где правил Свен Вилобородый, победивший Этельреда. В 1013 в Нормандии Олаф был обращён в христианство, крещён в Руане и в этом году поступил на службу к английскому королю в изгнании Этельреду. 3.02.1014 Свен Вилобородый неожиданно умер, и Олаф помог Этельреду вернуть английский трон, после чего остался в Англии оборонять страну от Кнуда Великого, а затем отправился грабить страну франков.

В 1015 Олаф вместе с епископом Зигфридом направился в Норвегию. Там он хитростью захватил в плен ярла Хокона Эйрикссона, но отпустил его в обмен на обещание, что тот навсегда покинет Норвегию, после чего Хокон бежал в Англию к Кнуду, которому его отец Эйрик Хоконссон помогал в борьбе с Этельредом. Провозгласив себя королём Норвегии Олаф плавал вдоль побережья страны, и всюду собирал тинги, на которых люди признавали его власть.

Упорно преследуя приверженцев язычества и искореняя те древние обычаи, которые, по его мнению, противоречили христианской вере, Олаф провёл христианизацию страны. Тех, кого Олаф не мог уговорить принять христианство, он принуждал к этому силой. Вековое сопротивление народа новой вере было подавлено. Утвердив христианство, Олаф изменил законы страны согласно новым условиям жизни и составил церковное уложение.

Могущественные роды, пользовавшиеся при его предках полной независимостью, должны были покориться ему. Он уничтожил наследственность должностей лендерменов и верзиров. Даже звание ярлов было уничтожено. При нём ярлом стали называть ближайшего помощника короля на войне и в мирное время.

Олаф отстроил вновь Нидарос, основанный Олафом I и затем разрушенный, и сделал из него столицу государства.

В 1017 для урегулирования конфликта с Швецией было согласовано бракосочетание Олафа с Ингегердой, дочерью Олафа Шётконунга. В соответствии с достигнутыми соглашениями осенью 1018 Олаф прибыл на границу для свидания с невестой и её отцом, но оказалось, что шведский король выдал свою дочь за князя Ярослава Мудрого, который княжил тогда в Новгороде. Тогда Олаф женился на её сводной сестре Астрид.

В 1026 при поддержке шведского короля Анунда Якоба Олаф собрал ополчение, чтобы напасть на Данию. В это время Кнуд Великий был в Риме, оставив за себя в Дании малолетнего сына Хардекнуда и при нём ярла Ульфа. Олаф и Анунд разоряли Сканию, когда Кнуд узнал о нападении и срочно вернулся в Данию с большим войском. Хотя накануне битвы при Хельгео разбушевавшаяся стихия погубила многих его людей, оставшихся сил оказалось достаточно, чтобы победить объединённый норвежско-шведский флот и прогнать Олафа и Анунда.

В 1028 Кнуд собрал огромную армию и на 1200 кораблях отправился покорять Норвегию. Он легко захватил Тронхейм, собрал там тинг и провозгласил себя королём Норвегии. После он двинулся обратно на юг и, останавливаясь в каждом фюльке, тоже собирал тинги, на которых его признавали королём. После этого Кнуд вернулся в Данию, оставив в Тронхейме наместником ярла Хокона Эйрикссона. Олаф был вынужден покинуть Норвегию и бежать в Швецию, и затем дальше на Русь, в Новгород к князю Ярославу Мудрому. Бежал он туда вместе с малолетним сыном Магнусом, оставив в Швеции жену Астрид.

В 1029 ярл Хокон, правивший Норвегией, отплыл в Англию к Кнуду. Там он взял себе невесту и осенью стал возвращаться домой, чтобы там сыграть свадьбу, но попал в сильный шторм и утонул. После него Норвегией стал править ярл Эйнар Брюхотряс. Олаф, живший у Ярослава, решил вернуться. Но Ингегерда настояла, чтобы Магнус остался в Новгороде. Король Анунд дал Олафу людей, и он двинулся в Норвегию, но при Стиклестаде его встретила многочисленная дружина норвежской родовой знати и бондов. В состоявшемся 29.07.1030 сражении Олаф был разбит, а сам он умер от полученных ран.

Кнуд назначил наместником в Норвегию своего сына Свена, но невыносимые притеснения, которые норвежцам пришлось терпеть под датским игом, возбудили их раздражение, и все с горьким сожалением вспоминали об Олафе. Те же самые люди, которые убили его, привезли из Новгорода его 10-летнего сына Магнуса и провозгласили его королём.

Вскоре после смерти Олаф II прослыл святым и считается патроном Норвегии, хотя официально к лику святых он был причислен римской курией лишь в 1888. В России во имя Св. Олафа были освящены храмы в Новгороде, где он жил несколько лет, и Старой Ладоге, где он проездом гостил у посадника Рёгнвальда Ульвсона, родственника своей бывшей невесты Ингегерды