Ήταν γιος του Ρώσου καθηγητή φυσικής Ντμίτρι Ιβάνοβιτς Σάχαροβ και της ελληνικής καταγωγής Αικατερίνης Σοφιάνο-Σάχαροβα, κόρης του στρατιωτικού Αλεξίου Σοφιάνο. Ο πατρικός παππούς του ήταν ο Ιβάν ΖαχάρωφΣάχαροβ, διάσημος Ρώσος δικηγόρος και πολιτικός. Την παιδική ηλικία του την πέρασε στη Μόσχα. Ο Σάχαροβ έλαβε την πρωτοβάθμια εκπαίδευση στην οικία του. Άρχισε να φοιτά για πρώτη φορά στο σχολείο στην έβδομη τάξη (Α΄Γυμνασίου). Αφού αποφοίτησε το 1938, ο Σάχαροβ ξεκίνησε να σπουδάζει στο Τμήμα Φυσικής του [[Κρατικό Πανεπιστήμιο της Μόσχας|Κρατικού Πανεπιστημίου]] της Μόσχας, που λόγω του [[Β΄ Παγκόσμιος Πόλεμος|[Β΄Παγκοσμίου Πολέμου]] μεταφέρθηκε στο [[Τουρκμενιστάν]] όπου και αποφοίτησε. Γύρισε στη Μόσχα το 1945 για σπουδές στο Ινστιτούτο Φυσικής στη Σοβιετική Ακαδημία Επιστημών.
