Родился 24 августа (5 сентября н.с.) 1817  в Петербурге в знатной дворянской семье. Родители разошлись сразу после рождения сына, и он воспитывался матерью и ее братом — писателем А. Перовским (псевдоним А. Погорельский). Детские годы прошли в имениях матери, позже дяди на Северной Украине. Получил хорошее домашнее образование.

В 17 лет он был зачислен в Московский архив Министерства иностранных дел, затем был на дипломатическую службу в Германии. В 1843 получил звание камер-юнкера.

Литературным творчеством Толстой занимался с раннего возраста, поощряемый своим дядей. Писал стихи, фантастические повести, и уже его первая опубликованная под псевдонимом "Краснорогский" в 1841 повесть "Упырь" была замечена Белинским.

В 1840-е годы он начал работать над историческим романом "Князь Серебряный", который был окончен в 1861. В этот же период написал ряд баллад и лирических стихотворений, получивших широкую известность и впоследствии положенных на музыку русскими композиторами ("Колокольчики мои", "Ты знаешь край, где все обильем дышит", "Курган", "Средь шумного бала..." и др.).

В 1854 вместе со своими двоюродными братьями Жемчужниковыми создал сатирическую литературную маску Козьмы Пруткова и сборник его сочинений, до сих пор популярный в России.

Служба при дворе (флигель-адъютант Александра II, затем егермейстер — заведующий егерями царской охоты) давала писателю возможность вступаться за близких ему людей (хлопотал о возвращении из ссылки Шевченко, об Аксакове, Тургеневе).

В 1861 он добился отставки ("Служба и искусство несовместимы...", — написал он царю) и все свои силы и время стал отдавать литературе.

В 1862 была опубликована драматическая поэма "Дон Жуан"; в 1866 — 1870 — историческая трилогия, включавшая трагедию "Смерть Иоанна Грозного", "Царь Федор Иоаннович", "Царь Борис".

В последние годы обратился к поэзии (писал баллады и политические сатиры в стихах).

Уйдя в отставку, в основном жил в своих имениях, уделяя мало внимания хозяйству, и постепенно разорился. Ухудшилось состояние его здоровья.

28 сентября (10 октября н.с.) 1875, в возрасте 58 лет, А. Толстой  скончался в имении Красный Рог Черниговской губернии.