Performance durch Caching

Fabrizio BrancaSystem Developer bei AOE media

Mail: mail (at) fabrizio (minus) branca (dot) de

Twitter: @fbrnc

Blog: http://www.fabrizio-branca.de

Ein-führung

Agenda

Probleme und Optimierungen

Reverse Proxy Caching

mit Varnish

Ein-führung

Agenda

Probleme und Optimierungen

Reverse Proxy Caching

mit Varnish

Funktionsweise Cache

Mage::app()->getCacheInstance()Mage_Core_Model_Cache

Mage::app()->getCache() oderMage::app()->getCacheInstance()->getFrontend()Varien_Cache_Core

… extendsZend_Cache_Backend

Two-Level Cache

Mehr Details:http://www.fabrizio-branca.de/magento-caching-internals.html

Ein-führung

Agenda

Probleme und Optimierungen

Reverse Proxy Caching

mit Varnish

Alte Cache-Einträge entfernen

• Problem: Abgelaufene Cache-Einträge werden

nicht gelöscht und sammeln sich an.

• Je größer der Cache, desto langsamer der

Zugriff

• Lösung: Regelmäßig Cache aufräumenMage::app()->getCache()->clean(Zend_Cache::CLEANING_MODE_OLD);

• Modul: Aoe_CacheCleanerhttp://www.fabrizio-branca.de/magento-automatic-cache-

cleaner.html

• Github:https://github.com/fbrnc/Aoe_CacheCleaner

Alte Cache-Einträge entfernen

Alte Cache-Einträge entfernen

Probleme im Database Cache Backend:

• Fehlerhaftes SQL– Einige „?“ fehlen

• Tags werden nicht gelöscht– In 0.8.22 wurde ein Foreign-Key eingefügt, der die

Tags „on delete“ löscht. In 0.8.27 wurde der Key

wieder entfernt.

• Patch:https://gist.github.com/971318

Alte Cache-Einträge entfernen

• Wird innerhalb Magento sehr oft verwendet

• Wird vom APC Backend nicht unterstützt

• Kann extrem lange dauern, wenn das File Backend verwendet wird.

– Lösung: Cache-Commands abfangen, in eine Queue schreiben und asynchron abarbeiten.

– Beschleunigt außerdem auch den Import-Vorgang

– http://www.fabrizio-branca.de/magento-asynchronous-cache.html

– https://github.com/fbrnc/Aoe_AsyncCache

Problem: Tag-Basiertes Löschen

Bug: 1st-Level Cache Priorität

Bug: 1st-Level Cache Priorität

Bug: 1st-Level Cache Priorität

class Varien_Cache_Core extends Zend_Cache_Core {[…]public function save($data, $id = null, $tags = array(), $specificLifetime = false, $priority = 8) {

$tags = $this->_tags($tags);return parent::save($data, $id, $tags, $specificLifetime, $priority);

}[…]

}

class Zend_Cache_Backend_TwoLevels […] {

private function _getFastLifetime($lifetime, $priority, $maxLifetime = null) {[…]$fastLifetime = (int) ($lifetime / (11 - $priority));[…]return $fastLifetime;

}

}

$priority = 10

Bug: 1st-Level Cache Priorität

• Patch:https://gist.github.com/971320

• Fast cache wird immer neu geschriebenauto_refresh_fast_cache = true=> auto_refresh_fast_cache = false

• Kann inzwischen konfiguriert werden (default: false)

• Verzeichnistiefe des File Cachehashed_directory_level = 1=> hashed_directory_level = 3

• APC-Parameter (Größe, apc.stat, apc.ttl)http://www.fabrizio-branca.de/wenn-der-apc-cache-volllaeuft.html

Weitere Probleme

Ein-führung

Agenda

Probleme und Optimierungen

Reverse Proxy Caching

mit Varnish

Reverse proxy caching

Browser Magento(Apache + PHP + Mysql)

Request

Response

Reverse proxy caching

Browser Magento(Apache + PHP + Mysql)

Varnish

Reverse proxy caching

Browser VarnishNginx Magento(Apache + PHP + Mysql)

-Verschlüsselung / Entschlüsselung (SSL)-Kompression

Reverse proxy caching

Browser VarnishNginx Magento(Apache + PHP + Mysql)

Varnish

HTTP Accelerator

Caching Reverse Proxy

LoadBalancer

Failover system

„Varnish makes websites fly“

• Entwickelt von Poul-Henning Kamp

• Varnish Configuration Language (VCL)

– DSL, wird intern in C Code übersetzt und

dann compiliert

• Varnish überlässt die Thread- und

Speicherverwaltung dem Betriebssystem

• Weitere Tools: varnishtop, varnishlog,…

• Online-Dokumentation:

http://www.varnish-cache.org/docs/2.1/

Varnish

• In Ubuntu:sudo apt-get install varnish

sudo vi /etc/default/varnish

START=yes

sudo /etc/init.d varnish start

• Wird in Zukunft automatisch gestartet

• Läuft per default auf Port 6081

• Verwendet per default 127.0.0.1:8080 als Backend

• /etc/varnish/default.vcl

Installation

Request Lifecycle (vereinfacht)

Kompletter Workflow: http://www.varnish-cache.org/trac/wiki/VCLExampleDefault

• cms_index_index (Startseite)

• cms_page_view (CMS Seiten)

• catalog_product_view (Produkt-Singleviews)

• catalog_category_view (Produkt-Listen)(Muss ggf. an die Anforderungen und Besonderheiten des Shops angepasst

werden)

Cachebare Seiten

aller Page-Requests(geschätzt)

Dynamische (benutzerspezifische)

Inhalte

Platzhalter für dynamische Teile

<layout><default>

<reference name="right">

<block type="core/text" name="ph_cart" before="-"><action method="setText"><param><![CDATA[

<div id="cart_sidebar" class="placeholder" rel="cart_sidebar">Placeholder Cart</div>

]]></param></action></block>

<action method="unsetChild"><param>cart_sidebar</param></action>

</reference></default>

</layout>

• Sendet HTTP Header um Varnish zu

steuern.

• Bindet JavaScript ein, das die

dynamischen Inhalte holt und die

Platzhalter ersetzt.

• Controller, der die dynamischen Inhalte

ausliefert.

• https://github.com/fbrnc/Aoe_Static

• https://github.com/fbrnc/Aoe_StaticDemo

Modul „Aoe_Static“

Ablauf cachebare Seiten

Seite anfordern (HTTP Request)

Statische Seite wird ausgeliefert

Seite anfordern

Statische Seite wird ausgeliefert.Platzhalter für dynamische Teile.

Cache-Control Header

Ajax Request fordert dynamische Inhalte anund übermittelt gerade angesehenes Produkt

JSON Response mit dynamischen Inhalten

Platzhalter werden ersetztSession Cookie wird geschrieben

Seite wird gerendert

Browser Varnish Magento

Ablauf nicht-cachebare Seiten

Seite anfordern (HTTP Request)

Seite wird ausgeliefert

Seite anfordern

Seite wird gerendert

Browser Varnish Magento

VCL

sub vcl_recv {if (req.http.x-forwarded-for) {

set req.http.X-Forwarded-For =req.http.X-Forwarded-For ", " client.ip;

} else {set req.http.X-Forwarded-For = client.ip;

}if (req.request != "GET" && req.request != "HEAD" && req.request != "PUT"

&& req.request != "POST" && req.request != "TRACE" && req.request != "OPTIONS" && req.request != "DELETE") {/* Non-RFC2616 or CONNECT which is weird. */return (pipe);

}if (req.request != "GET" && req.request != "HEAD") {

/* We only deal with GET and HEAD by default */return (pass);

}if (req.http.Authorization || req.http.Cookie) {

/* Not cacheable by default */return (pass);

}return (lookup);

}

VCL

sub vcl_hash {set req.hash += req.url;if (req.http.host) {

set req.hash += req.http.host;} else {

set req.hash += server.ip;}return (hash);

}

VCL

sub vcl_fetch {if (beresp.status == 302 || beresp.status == 301 || beresp.status == 418) {

return (pass);}

if (beresp.http.aoestatic == "cache") {remove beresp.http.Set-Cookie;remove beresp.http.X-Cache;remove beresp.http.Server;remove beresp.http.Age;set beresp.grace = 2m;set beresp.http.X_AOESTATIC_FETCH = "Removed cookie in vcl_fetch";

}

if (!beresp.cacheable) {return (pass);

}

return (deliver);}

VCL

sub vcl_deliver {if (obj.hits > 0) {

set resp.http.X-Cache = "HIT";set resp.http.Server = "Varnish (HIT)";

} else {set resp.http.X-Cache = "MISS";set resp.http.Server = "Varnish (MISS)";

}}

Demo

Benchmarks

Magentoohne Cache

0,85 Seiten/Sekunde

2,4 Seiten/Sekunde

416,67 Seiten/Sekunde

Magento mit APC+File Cache

Magentomit Varnish

• Anstatt AJAX: Edge Side Includes „ESI“ (W3C)<esi:include src="phone/call/getBlock/id/cart_sidebar" />

– Nachteil: langsamer, aufwendiger

• Caching dynamischer Inhalte unter Berücksichtigung der Session-Id

– Nachteil: weniger Cache Hits

• „Purge“ um geänderte Inhalte zu aktualisieren

Erweitert

• Varnish (inkl. Dokumentation)

http://www.varnish-cache.org

• Poul-Henning Kamp über Varnish

http://vimeo.com/16676188

• http://www.fabrizio-branca.de

• https://github.com/fbrnc

Weitere Informationen

Fragen?

Mail: mail (at) fabrizio (minus) branca (dot) de

Twitter: @fbrnc

Blog: http://www.fabrizio-branca.de