Η διπλωματική του καριέρα ξεκινά από το 1976. Το 1976 βρέθηκε στο σοβιετικό υπουργείο Εξωτερικών. Από το 1979 ως το 1984 και από το 1986 ως το 1997, ήταν ο πρέσβης της Ρωσίας στη Νότια Κορέα.
Την ίδια θέση κάλυψε και από το 2001 ως το 2006, όταν επέστρεψε στη Ρωσία για να αναλάβει τη θέση του Αναπληρωτή Γενικού Διευθυντή Προξενικών Υποθέσεων από το 2007 ως το 2013.
Ο Αντρέι Καρλόφ, ήταν παντρεμένος και είχε ένα γιο σύμφωνα με την ιστοσελίδα της ρωσικής πρεσβείας. Γεννήθηκε το 1954 στη Μόσχα και αποφοίτησε από το Ινστιτούτο Διεθνών Σχέσεων της Μόσχας το 1976.