1954’te Moskova’da doğan Karlov, 1976’da Moskova Devlet Uluslararası İlişkiler Enstitüsü’nden, 1992’de ise Diplomasi Akademisi’nden mezun olarak yüksek öğrenimini tamamladı. Karlov, 1976’dan beri diplomatik alanda çalışmalarını sürdürüyordu.
SSCB, Rusya Federasyonu Dışişleri Bakanlığı merkez teşkilâtının yanı sıra yurt dışı temsilciliklerinde, özellikle 1976-1981 ve 1984-1990 yıllarında SSCB’nin Kuzey Kore’deki büyükelçiliğinde, 1992-1997 yıllarında da Rusya’nın Güney Kore Cumhuriyeti’ndeki büyükelçiliğinde farklı görevlerde çalıştı. Karlov, 2001-2006 döneminde ise Kuzey Kore’de büyükelçi olarak görev yaptı.
Andrey Karlov, 2007-2013 döneminde de ülkesinin Dışişleri Bakanlığı Konsolosluk İşleri Genel Müdür Yardımcısı ve Genel Müdürü olarak çalıştı.
Büyükelçi Karlov, Temmuz 2013’ten bu yana Rusya’nın Ankara Büyükelçisi olarak görevini sürdürüyordu. Korece ve İngilizce bilen Karlov, evli ve bir çocuk babasıydı.
