Настоящая фамилия Аронов. Родился 1 (14) января 1911 в Чернигове, сын инженера. С 1919 жил с семьей в Москве. Окончил Московский институт иженеров транспорта (1934). Работал по специальности в разных городах страны, в годы Великой Отечественной войны прошел путь от рядового солдата до офицера.

Известность приобрел первыми же повестями, адресованными юным читателям, не одно поколение которых автор увлек захватывающим сюжетом, основанном на раскрытии «тайны», высоким романтическим настроем, соединенным с бытовой конкретикой, добрым юмором и лиризмом: повесть "Кортик" (1948; одноим. фильм 1954, реж. В.Я.Венгеров и М.А.Швейцер), где события разворачиваются в период Гражданской войны и нэпа в Москве, на Арбате – любимом месте действия многих героев Рыбакова, и ее продолжение "Бронзовая птица" (1956).

Живость повествования, психологическая убедительность, остроумие, проявившееся в названных произведениях, свойственны и повестям "Приключения Кроша" (1960) и "Каникулы Кроша" (1966), написанным от лица подростка.

Первый «взрослый» роман Рыбакова "Водители" (1950; Государственная премия СССР, 1951) посвящен людям, хорошо знакомым автору по прежней профессии инженера-автомобилиста, и принадлежит к лучшим образцам «производственной» прозы, подкупая достоверностью изображения, умелым воссозданием трудовых будней автобазы провинциального городка, тонкой индивидуализацией характеров.

Непростые проблемы взаимоотношений в коллективе волжских речников в центре второго «производственного» романа Рыбакова "Екатерина Воронина" (1955; одноим. фильм 1957, реж. И.М.Анненский).

В романе "Лето в Сосняках" (1964) напряженная жизнь большого предприятия показана писателем через призму психологического конфликта честного горемыки и тупого догматика, что отражало реальное взрывоопасное противоречие «застойного» времени.

Из-за непривычности тематики с трудом пробившийся в советскую печать и сразу принесший Рыбакову огромную популярность роман "Тяжелый песок" (1978) повествует о жизни еврейской семьи в 1910–1940-х годах в одном из многонациональных городков Западной Украины, о яркой и всепреодолевающей любви, пронесенной через десятилетия, о трагедии «Холокоста» и мужестве Сопротивления.

Это произведение стало вершиной творчества писателя, соединило все краски его художественной палитры, добавив к ним философичность, тягу к историческому анализу и мистическую символику (образ главной героини, прекрасной возлюбленной, затем жены и матери Рахили на последних страницах является как полуреальное олицетворение гнева и мести еврейского народа).

Основанный на личных переживаниях Рыбакова роман "Дети Арбата" (1987) и продолжающая его трилогия "Тридцать пятый и другие годы" (кн. 1, 1988; кн. 2 – "Страх", 1990; кн. 3 – "Прах и пепел", 1994) воссоздает судьбы поколения 1930-х годов, стремясь раскрыть механизм тоталитарной власти.

Среди других произведений писателя – повесть "Неизвестный солдат" (1970) и автобиографический "Роман-воспоминания" (1997).

Умер Рыбаков в Нью-Йорке 23 декабря 1998. Похоронен в Москве.