Родился ок. 1260. Сын Михаила VIII Палеолога.

В первые годы царствования Андроника натиск врагов на Византию ослаб и василевс занялся церковными делами. Он торжественно провозгласил отказ от крайне непопулярной в стране унии с западной (католической) Церковью, введённую его отцом. Патриаршую кафедру взамен низложенного сторонника унии Иоанна XI Векка снова занял сторонник православия Иосиф I. Но борьба церковных партий "иосифлян" — сторонников патриарха и "арсенитов", обвинявших Иосифа в узурпации власти, продолжала лихорадить общество. Для примирения неугомонных клириков пришлось созвать специальный собор в Адрамиттии.

Вообще Андронику не везло с патриархами. После скорой смерти Иосифа престол занял Григорий II Кипрский (1283-1289). Низложенный Векк развернул кампанию против нового владыки. Так как Иоанн был много образованней Григория, ему удалось обвинить последнего в невежестве, и тот со стыда оставил кафедру.

Новый патриарх Афанасий I (1289-1293 и 1303-1309) оказался чересчур суров. Он выслал в свои епархии всех провинциальных епископов, потребовал запретить работу в воскресные и праздничные дни мест излюбленных развлечений народа — кабаков и бань. Кроме того, Афанасий направо и налево раздавал строгие епитимьи. В конце концов между двором и патриархом назрел конфликт, и главой константинопольской Церкви в 1294 стал полуграмотный священник Иоанн XII Косьма. В 1303 он умер и на престол возвратился не изменивший своих убеждений Афанасий.

Полной противоположностью ему оказался Нифонт (1310-1314), человек не только совершенно необразованный (он не умел даже писáть), но вдобавок алчный, женолюб и горький пьяница. Влекомый ненасытной жадностью, высший иерарх православия сдирал с икон драгоценные оклады и продавал их. Нифонта с позором изгнали, но его преемник — культурный, образованный и спокойный Иоанн XIII Глика (1314-1318), бывший прежде логофетом дрома, скончался через четыре года. Полуглухой от старости Герасим I (1318-1321) и Исайя (1323-1332) прославили себя исключительно своими интригами в пользу врагов императора.

Андроник II предпочитал занятия литературой и музыкой грохоту сражений. Высшие государственные посты при нём занимали люди сугубо гражданские — например, астроном и физик Никифор Хумн и философ Феодор Метохит. Император покровительствовал наукам, открыл в Константинополе "Царскую школу" — подобие университета, при его дворе в чести были просвещенные люди. Делами армии заведовал его сын и соправитель Михаил IX Палеолог (1278-1320).

В 1297, продолжая политику присоединения к Византии Фессалии и Эпира, отделившихся в 1204 после Четвёртого крестового похода, византийцы заняли Диррахий, но это стало их последним военным успехом. Ок. 1300 византийцы вмешались в конфликт между Венецией и Генуей на стороне последней. Генуэзцы потерпели поражение, и Палеологу пришлось уплатить венецианцам значительную контрибуцию.

Из экономии средств Андроник уменьшил содержание морских и сухопутных вооружённых сил, в результате чего византийская армия оказалась не в состоянии справиться с набегами турок и сербов. Император решил нанять отряд каталонской тяжёлой пехоты, альмугаваров, славившихся по всей Европе высокими боевыми качествами. В 1303 рать каталонцев во главе с кондотьером Рожером де Флор, переправившись в Малую Азию, в нескольких сражениях уничтожили огромные силы турок и отбросили их на восток.

Однако Рожер де Флор стал буквально терроризировать императора требованиями денег и земель. Каталонцы фактически организовали своё самостоятельное государство на малоазиатских землях империи, где они творили всяческие насилия над греками. После убийства их предводителя между каталонцами и ромеями вспыхнула война. Несмотря на то, что альмугаваров было немногим более трёх тысяч, они разорили европейское побережье Пропонтиды (Мраморное море).

Наняв в помощь турок, каталонцы перебрались во Фракию и в короткий срок опустошили её. Ок. 1308 они направились в Среднюю Грецию, заняли Фессалию и ряд других византийских областей. Измученная этой войной, Византия не смогла спасти о-ов Родос, захваченный в 1310 рыцарями-иоаннитами, и Брусу, отнятую турками.

В начале XIV столетия у империи появился ещё один грозный враг — король Франции Филипп IV Красивый. Французский монарх замыслил организовать новый крестовый поход против Византии, и, хотя дальше планов не пошло, послушный его воле Папа Климент V в 1307 отлучил Андроника от Церкви.

Андроник продолжил политику своего отца по поддержанию византийско-монгольского альянса. Его дочь Мария стала женой хана Тохты. Однако сохранить мирные отношения с кочевниками ему не удалось. В конце его царствования монгольские набеги на балканские владения империи продолжились.

Свою лепту в разграбление страны вносили и императорские чиновники. Сбор и без того высоких налогов был отягощён многочисленными злоупотреблениями, и увозя из ограбленных сёл и городов деньги, сборщики налогов оставляли там людей, ненавидевших Андроника. При этом нехватка золота вынудила Андроника прибегнуть к порче монеты, снизив содержание золота в номисме до половины ещё в 1295.

К старости император стал подозрителен и жесток. Брата Константина он уморил в тюрьме, а в 1321 решил погубить и наследника престола, своего внука Андроника Младшего. Незадолго до этого последний стал виновником смерти Мануила, своего старшего брата, и косвенно своего отца, наследника престола Михаила IX, не пережившего этой потери.

Василевс пригласил Андроника Младшего на приём и в присутствии высших сановников государства обвинил его в тяжком грехе "неправославия". Однако императору сообщили, что дворец окружён солдатами одного из друзей внука — Иоанна Кантакузина. Андроник Старший со слезами стал обнимать наследника, убеждая его "исправиться", и превратил сцену обвинения в сцену прощения.

Тем не менее автократор не оставил надежды расправиться с родственником. Напрасно великий логофет Феодор Метохит убеждал его прекратить распрю. По вине строптивого деда конфликт между двумя Андрониками перерос в гражданскую войну, длившуюся семь лет. Эта война довела и без того истощённую страну до совершенно плачевного состояния.

В 1328, после окончательной победы Андроника Младшего, низложенный василевс был оставлен в столице. Год спустя экс-император ослеп, а ещё через год Андроник III заставил деда принять схиму во избежание козней с его стороны. Андроник II Палеолог скончался 13.02.1332 в крайней бедности, так как то немногое, что имел, успел раздать своим обнищавшим сподвижникам.

В царствование Андроника II в 1291 пала последняя цитадель крестоносцев в Палестине, крепость Акра (Сен-Жан д'Акре).