Moin,
Es ist völlig normal dass die Seite langsam lädt wenn sie über Stunden nicht genutzt wird. In dieser Zeit laufen diverse Caches ab und müssen neu generiert werden.
DIVI braucht auch ca. 8 Sekunden, weil es alle paar Stunden Fonts aus dem Internet herunterlädt.
Nachtrag: du könntest dir den Query Monitor installieren, da siehst du eventuell das während der langen Wartezeit besonders lange SQL abfragen oder http api calls stattfinden 🙂