Nagy Károly Kis Pippin (714-768. szeptember 28. uralkodott 751-től) és Laoni Bertrada (720-783. július 12.), Laoni Caribert és Cologne-i Bertha lányának, legidősebb fia volt. Megbízható források szerint két édestestvére Karlomann és Gisela voltak. Későbbi feljegyzések arról beszélnek, hogy Redburga, Egbert wessexi király felesége is Károly nővére (sógornője vagy unokahúga) volt. Ezen felül a legenda szerint ő volt a Roland-ének címszereplőjének nagybátyja, Lady Berthán keresztül.
Einhard ezt mondja Károly korai éveiről:
- Úgy gondlom butaság lett volna egy szót is írni Károly születéséről és csecsemőkoráról, vagy akár gyermekkoráról. Soha semmit nem írtak erről a tárgyról és nincs már életben senki, aki informáviót adhatna róla. Ennek alapján én ezt ismerelennek nyilvánítom és hogy előre haladjunk karakterének, tetteinek és életének más tényeinek feltérképezésében, amelyek előre mozdították életét, előszörbeszámolót kéne adnunk otthonáról és felmenőiről, majd karakteréről és törekvéseiről és végül intézkedéseiről és haláláról, semmit sem hagyva ki ami ismerhető.
Pippin halálakor a Frank Birodalmat felosztották, a hagyományok szerint, Károly és Karlomann között. Károly kapta a birodalom tenger felőli részét. Névszerint Neusztriát, nyugat Aquitániát és Austrasia északi részét, míg Karlomann kapta az alsó részt, dél Austrasiát, Septimaniát, kelet Aquitániát, Burgundiát, Provencet és Svábföldet és határos lett Itáliával. Talán Pippin elismerte Károly kitűnőbb hadi képességeit, de Karlomannt tartotta az érdemesebbenk a hatalomra, fiúként, de nem a hatalom birtokosaként, csak mint király.
