
Hausputz auf dem Webserver
Zu viele Dateien und zu viel Speicherplatz belegt. Es gab zwei nette Mails von meinem Provider. Es wurde also Zeit für einen Hausputz auf dem Webserver. Da lag doch einiges herum, was dort nicht hingehörte.
Problem 1: Zu große Datenmenge
Mein Paket erlaubt mir einen Speicherplatz von 100 GB. Jedes weitere Gigabyte Daten müsste ich zusätzlich bezahlen. Aber, so viele Daten möchte ich eigentlich nicht auf dem Server haben. Also habe ich mal nachgeschaut, welche Verzeichnisse den meisten Speicherplatz belegen. Eine Quelle für die Datenmengen ist dieser Blog hier, das ist bei 14.000 Fotos aber auch keine Überraschung.
Ein zweiter Speicherfresser war die Nextcloud-Installation auf dem Server. Diese nutzen wir hier, um gemeinsam Dateien zu bearbeiten und gewisse Daten immer im Zugriff zu haben. Dort hatte ich, warum auch immer, mal einige Videos (Tutorials) abgespeichert. Die haben da nichts zu suchen, also weg damit. Zusätzlich habe ich einige ältere Dateien aus der Cloud in unser privates NAS verschoben. Es reicht, wenn diese dort bereitliegen. Das hat am Ende die Speicherbelegung um 30 GB reduziert.
Problem 2: Zu viele Dateien
Kurz nachdem die oben genannten Probleme beseitigt waren, kam die nächste Mail. Auf dem Webspace würden fast 1 Millionen Dateien liegen.
WTF?
Ok, Speicherplatz war mir klar, aber diese Anzahl an Dateien habe ich nun nicht erwartet. Freundlicherweise standen direkt die beiden führenden Verzeichnisse mit in der Mail. Zuerst kam wieder der Hinweis auf den Upload-Ordner dieses Blogs. Über 220.000 Dateien. Ok, kein Wunder, kümmere ich mich später drum.
Richtig überrascht hat mich aber ein anderer Ordner aus der Nextcloud-Umgebung. Das System bekommt ja regelmäßig Updates. Dabei legt es jedes Mal ein komplettes Backup an, bevor das Update eingespielt wird. Tolle Sache. Allerdings werden diese Backup-Ordner anschließend nicht automatisch gelöscht. So hatten sich 14 Ordner mit Backups angesammelt, in denen in Summe 440.000 Dateien lagen.
Die habe ich dann alle gelöscht. Da das per ftp vermutlich Stunden gedauert hätte, habe ich dafür mal wieder meinen SSH-Zugang zum Webserver rausgekramt. Damit waren die riesigen Ordner dann in wenigen Sekunden gelöscht.
Dann ging es an den Upload-Ordner dieses Blogs. Erst mal habe ich einige verwaiste Ordner gelöscht, die gar nicht mehr im Einsatz waren.
Danach ging es dann an die Bilder. Da gibt es ja ein Problem. Von jedem hochgeladenen Foto werden einige verschiedene Auflösungen gespeichert. Drei Größen werden im Standard von WordPress erzeugt, mein Avada-Theme erzeugte noch weitere Abmessungen. Da habe ich erst mal überlegt, welche ich davon überhaupt benötige und dann die Anzahl reduziert. Von 12 Formaten bin ich somit auf 6 gekommen. Sprich, von jedem Foto werden zukünftig 6 Versionen erstellt.
Weiter hatte ich die Auslieferung der Fotos im WebP-Format aktiviert. Nachteil: Von den 12 Versionen im jpg-Format wurden noch einmal 12 im WebP-Format abgelegt. Am Ende existierten dann pro Fotodatei 24 Versionen plus das Original auf dem Server.
Die WebP-Varianten habe ich alle auf einen Rutsch per SSH entfernt und die Auslieferung des Formats auf dem Blog abgeschaltet. Hier gibt es jetzt nur noch JPG und PNG. Dabei habe ich natürlich auch noch weiteren Speicherplatz für Problem 1 freigeräumt.
Im zweiten Schritt muss ich nun noch alle Verzeichnisse durchgehen und die Varianten neu erstellen lassen. Dafür gibt es ein Plugin mit dem Namen „Force Regenerate Thumbnails“. Das werde ich in den kommenden Wochen immer mal wieder über einzelne Monatsverzeichnisse laufen lassen.
Fazit: Eine Menge Platz freigeräumt.
Die Ausgangswerte für die Optimierung waren rund 1.000.000 Dateien mit etwas über 100 GB Speicherplatz. Nach dem Hausputz liege ich jetzt bei 293.000 Dateien mit 46 GB Speicherplatz. Damit bin ich, und hoffentlich auch mein Provider, zunächst wieder zufrieden.
Ein paar gute Tipps zum Hausputz habe ich übrigens beim Oliver gefunden.
Sollte Euch irgendwo ein fehlendes Fotos auffallen, dann einfach den Finger heben und Bescheid sagen.
Newsletter
Newsletter bestellen und keinen neuen Beitrag mehr verpassen. Einmal pro Woche informieren wir über neue Beiträge auf dem Blog.
Wer schreibt hier?
Herr Tommi, 68er Jahrgang, aus dem schönen Mülheim an der Ruhr im Ruhrpott. IT-Mensch und Computer-Versteher, der gerne anderen Menschen aus der IT-Patsche hilft. Zusammen mit Frau Melli gerne auf Reisen in die weite Welt oder auf Fototour im schönen Ruhrpott anzutreffen. Bloggt seit 2009 mit großer Leidenschaft als Hobby auf dieser Seite. Dabei gibt es fast kein Thema, welches nicht angesprochen wird.
Tommi hat also Putzdienst. Fein gemacht. Ich könnte ja auch mal bei mir gucken. Da fällt bestimmt auch was an.
Danke für den Tipp.
Hatte ich so nicht auf dem Plan. Aber jetzt glänzt es wieder auf dem Server.
Wenn es doch auch so ein Programm für Fensterputzen und Staubsaugen gäbe. :D
Das wäre fein. :-)
Gelesen und Nix kapiert….Fazit: das Thema Bloggen usw. ist doch etwas umfangreicher als gedacht. Aber egal…wenns schlau macht ;-)
Achwas, so wild ist das nicht. Die Nextcloud hat mit dem Bloggen gar nichts zu tun. Und der Rest ist schon fortgeschrittenes Wissen, was ich auch nur habe, weil ich eh in der IT arbeite.
Im Nextcloud-Ordner liegen derzeit 212 GB mit „46055 files, 4663 folders“. Hauptsächlich, weil da viele Fotoordner sind, die noch nicht abgearbeitet und archiviert sind. Glücklicherweise auf dem NAS auf einem Volume, auf dem noch 4,3 TB frei sind.😊
Das eigene NAS würde natürlich einige Provider-Bremsen lösen. Aber ich konnte mich bisher nicht dazu überreden, mein NAS hier nach außen zu öffnen.
Ich habe nur Nextcloud über einen Reverse Proxy nach draußen geöffnet. Auf alles andere kann unser Haushalt über VPN zugreifen. Wir haben eine Fritzbox, die haben mit dem aktuellen OS Wireguard an Bord, das sich sehr einfach konfigurieren und nutzen lässt (Desktop + Smartphone).
Sehr schön, Tommi.
Bei welchem Provider bist du denn?
Lorenzo
Meine Seiten liegen bei Hetzner.
Aha, direkt bei Hetzner oder über einen Reseller?
Direkt bei Hetzner.