Rakovina kože aj pohreb manželky
V roku 2015 Carter priznal, že trpí rakovinou kože, ktorá sa rozšírila do pečene a mozgu. Podrobil sa sedemmesačnej liečbe, po ktorej snímky ďalšie známky choroby neodhalili.
V roku 2019 podstúpil operáciu hlavy a v rovnakom roku si pri páde vo svojom dome privodil zlomeninu panvy. Vlani vo februári oznámil, že odmietol ďalšie lekárske zákroky a nastúpil do hospicu, kde sa o neho starali. Tá sa obvykle ponúka pacientom v terminálnom štádiu života.
Od roku 1946 bol ženatý s Rosalynn Smithovou, narodili sa im traja synovia a dcéra. Najstarší Jack, obchodník a politik, sa v roku 2006 neúspešne pokúšal dostať do Senátu za štát Nevada. V roku 1976 pomáhal otcovi pri úspešnej prezidentskej kampani. Carterovi mali 11 vnúčat, Jason Carter v roku 2014 neúspešne kandidoval na guvernéra Georgie. Carterova žena Rosalynn zomrela vlani v novembri vo veku 96 rokov.
