Ήταν γιος του Ρώσου καθηγητή φυσικής Ντμίτρι Ιβάνοβιτς ΖαχάρωφΣάχαροβ και της ελληνικής καταγωγής Αικατερίνης Σοφιάνο-ΖαχάροβαΣάχαροβα, κόρης του στρατιωτικού Αλεξίου Σοφιάνο. Ο πατρικός παππούς του ήταν ο Ιβάν Ζαχάρωφ, διάσημος Ρώσος δικηγόρος και πολιτικός. Την παιδική ηλικία του την πέρασε στη Μόσχα. Ο Ζαχάρωφ έλαβε την πρωτοβάθμια εκπαίδευση στο σπίτι. Άρχισε να φοιτά για πρώτη φορά στο σχολείο στην έβδομη τάξη (Α΄Γυμνασίου). Αφού αποφοίτησε το 1938, ο Ζαχάρωφ ξεκίνησε να σπουδάζει στο Τμήμα Φυσικής του [[Κρατικό Πανεπιστήμιο της Μόσχας|Κρατικού Πανεπιστημίου]] της Μόσχας, που λόγω του [[Β΄ Παγκόσμιος Πόλεμος|[Β΄Παγκοσμίου Πολέμου]] μεταφέρθηκε στο [[Τουρκμενιστάν]] όπου και αποφοίτησε. Γύρισε στη Μόσχα το 1945 για σπουδές στο Ινστιτούτο Φυσικής στη Σοβιετική Ακαδημία Επιστημών.
