So direkt gibt es dafür keine Funktion.
Man kann sich aber über
Filter --> Zugangsprofile
eine solche Funktion "erschummeln".
Wenn du bisher keine anderen Zugangsprofile ausser "Standard" verwendest - wenn also alle Geräte das "Standard"-Profil nutzen - könntest du einfach bei Bedarf die Einstellungen des Standard-Profils ändern.
Klicke neben dem Profil "Standard" auf die Schaltfläche "bearbeiten" und ändere unter "Zeitraum" (wann mit diesem Profil der Internetzugang erlaubt ist) auf den Auswahlpunkt "nie".
Damit dürften schlagartig alle Geräte, die das Profil "Standard" nutzen, nicht mehr ins Internet kommen.
Deine FritzBox selbst bleibt natürlich mit dem Internet verbunden... ich konnte deiner Frage nicht 100%-ig entnehmen, ob es dir darum geht, die Internet-Verbindung an sich zu trennen oder nur den Geräten den Zugriff darauf zu verweigern.
Wenn du den Zugang für alle wieder aktivieren willst, gehst du wieder ins Standard-Profil und änderst "nie" zurück auf "immer".
Voilà!
Falls du noch andere Profile verwendest, müßtest du zum Umschalten in jedes der Profile einzeln rein und den Schalter umlegen... zumutbar, wenn du nicht 20 verschiedene Profile aktiv nutzt.
Der Vorteil bei diesem Ansatz: Die Fritz!Box bleibt online, und du könntest (bei aktiviertem Fernzugriff) diese Änderung sogar aus der Ferne vornehmen, ohne vor Ort sein zu müssen, was beim Lösungsansatz "DSL-Kabel rausziehen" nicht gegeben ist.