Performances de Smarty 2.6, 3.0beta et Dwoo

Le but de ce test est d’évaluer quel moteur de template est le plus adapté dans un environnement professionnel. Ici je m’intéresse exclusivement à Smarty et Dwoo. Smarty est le gestionnaire de template que nous utilisons depuis déjà 3 ans, avec lequel l’équipe Emisfr est à l’aise. Dwoo quant à lui est un « fork » de Smarty mais orienté Objet. Smarty 3.0 est la version en cours de développement et qui a pour but de passer Smarty en PHP Objet, Smarty 2.x étant encore assez orienté PHP4, cette version 3.0 est la réponse aux problématiques PHP5 et PHP Objet. D’autres moteurs de template existent, comme Template Lite, également dérivé de Smarty.

Environnement :

dual core Athlon 4200+
Ram : 3.3Go
Apache : 2.2.13
Mod_PHP : 5.2.11 + APC
Apache Bench : 2.3

Les versions testées seront les suivantes :

Smarty 2.6.26 : actuellement stable
Smarty 3.0b7 : version beta précédente, elle nous permettra de voir l’évolution d’une beta à l’autre
Smarty 3.0b8 : dernière version beta
Dwoo 1.1.1 : actuellement stable

Les tests :

Rendu d’une page sans le cache du moteur de template activé. On ne parle pas ici de APC ou autre, mais bien du moteur de cache du moteur de template. Son but est de transformer le code « tpl » en code PHP.
On ressortira la mémoire maximum consommée (memory peak), et également le temps de rendu de cette page.

Ensuite on testera la montée en charge des moteurs, toujours avec et sans cache. Le test est effectué avec « ab » (apache bench) dont les paramètres sont : 1000 requêtes, 5 requêtes concurrentes. On ressortira le nombre de requêtes servies par seconde, le nombre de requêtes ayant amené à une erreur (Fail), et le temps moyen pour une requête.

Analyse du temps d’exécution

Execution time

Analysons le comportement des moteurs lorsque le cache est activé. On peut voir qu’à l’exeption de Dwoo, les moteurs sont en dessous de 15ms, avec un avantage pour Smarty 2.6 qui est à 9ms ce qui constitue le meilleur temps, mais suivis de très près par Smarty 3.0beta avec 13ms. La question qui se pose est pourquoi une fois compilé les pages PHP générées par Smarty 2.6 sont-elles plus rapides à charger. Pour avoir la réponse à cette question il faudra regarder dans le code source. On peut en déduire que c’est certainement le chargement du moteur en lui même qui est le plus long sur Dwoo et Smarty 3.0b.

Voyons quels sont les résultats lorsque l’on force la compilation. On peut voir que Dwoo et Smarty 2.6 sont les meilleurs avec respectivement 55ms et 27ms. Par contre les deux versions de Smarty 3.0b, sont trois fois plus lentes avec un temps supérieur à 100ms. On peut donc penser que l’équipe de Smarty n’a pas encore fait de phase d’optimisation sur la génération de template. Ces chiffres sont à relativiser, car la génération sans cache n’intervient qu’une seule fois : lors du premier accès à la page en question, ceci n’est donc pas problématique en soi, mais il faudra penser à ne pas forcer la compilation des templates (ce qui est normalement jamais le cas).

C’est danse les configuration « développement » et « production commune » que l’on obtien les meilleures temps avec moins de 15ms pour l’ensemble des participant. On peut alors se demander pourquoi avec le cache activé les performances ne sont pas les meilleures.

Taille des bibliothèques :
Smarty 2.6 : 74,7 Ko (2classes) + 44,1 (22 sysplugins) + 104.6Ko (45 plugins) = 223,4Ko (69 fichiers)
Smarty 3.0b7 : 19Ko (1 classe) + 511 Ko (134 sysplugins) + 97,8 Ko (42 plugins) = 627,8Ko (177 fichiers)
Smarty 3.0b8 : 26,6Ko (1 classe) + 511Ko (60 syspluigns) + 97,8Ko (42 plugins) = 635,4Ko (103 fichiers
Dwoo 1.1.1 : 42,5 (1 classe) + 223Ko (37 syspluigns) +130,7Ko (63 plugins) = 396,2Ko (101 fichiers)

On peut voir que Smarty 2.6 est la bibliothèque la plus légère. Et Smarty 3.0b la plus lourde (plus de 2 fois plus lourde). Dwoo est quand à lui 50% plus lourd que Smarty 2.6, cela explique certainement la différence de temps d’affichage d’un template compilé mais pas seulement. Le nombre de fichiers à lire est également important pour Dwoo est Smarty 3.0b, le temps d’accès au disque peut expliquer également cela. Il existe des versions « compilées » de Smarty et Dwoo (non utilisé pour ces tests) qui permettent le chargement d’un seul fichier, le temps d’accès disque ainsi que le parsing sont réduits. Cependant Smarty 2.6 restera plus rapide compte tenu de son faible poids.

Analysons maintenant l’empreinte mémoire de ces moteurs de template

Memory

Précédemment nous avons pu voir que l’avantage allait indéniablement à Smarty 2.6 qui s’avère être le plus rapide, voyons maintenant ce qu’il en est pour l’empreinte mémoire.

Quelle est la consommation de mémoire lorsque le cache est activé ? Lorsqu’une application est en production le cache est activé pour éviter de compiler les templates à chaque appel, cette valeur à donc une certaine importance.
Dans cette configuration, tous les moteurs sont en dessous de 850Ko, ce qui est un bon point, on remarquera que Smarty 2.6 est à 585Ko ce qui constitue le meilleure score. Dwoo et Smarty 3.0beta ont une consomation un peut supérieur à celle de Smarty 2.6 mais rien d’alarmant.

Lorsque le moteur de template est configuré sans cache, le moteur doit compiler entièrement le fichier template, pour cela il passe par plusieurs phases, comme l’analyse syntaxique, puis la transformation en code php à proprement parler. On peut voir que Smarty 3.0b consomme deux fois plus de mémoire que Smarty 2.6 avec 2,4Mo utilisés. L’explication est assez simple, lors de la compilation, le moteur analyse le code qui peut potentiellement utiliser des plugins, nous avons vu plus haut que Smarty 3.0b a une centaine de fichiers « plugins » et « sysplugins » qu’il doit charger pour compiler les templates ; ils représentent environ 600Ko, contre 140Ko pour Smarty 2.6 et 350Ko pour Dwoo. Intéressons nous maintenant aux bons élèves que sont Dwoo et Smarty 2.6. Dwoo est à 1,5Mo ce qui constitue un bon score, mais qui évidement s’il est revu à la baisse sera un atout. Smarty 2.6 est le moteur qui consomme le moins de mémoire avec 1,0 Mo. On peut expliquer cela par son faible poids, et des optimisations plus poussée.
Comme pour les tests sur le temps tout à l’heure, la consommation de mémoire lorsque le cache est désactivé n’est pas la valeur la plus importante car en production le cache est activé et on arrive dans cette situation uniquement lors du premier appel à la page.

En mode « développement » et « production commune », la consomation de mémoire est strictement identique. avec des valeurs en dessous de 760Ko. Comme toujours Smarty 2.6 est le plus légé avec 525Ko.

Dans cette première partie de tests nous avons pu voir que Smarty 2.6 est le meilleur moteur de template aussi bien en terme de consommation mémoire qu’en terme de rapidité de traitement, que le cache soit activé ou non. Dwoo est bien placé également. Smarty 3.0b a des résultats assez proches de ceux de son grand frère Smarty 2.6, mais il n’est malheureusement pas meilleur et a une consommation mémoire trop importante lorsque l’on force la compilation. Dwoo quant à lui a des résultats corrects et se situe entre Smarty 2.6 et Smarty 3.0.

Nombre de requêtes servies par seconde

Request per second

Voyons maintenant comment ces moteurs supportent la charge. En environnement de production certains sites à forte charge peuvent recevoir des milliers de requêtes il est important de connaitre le comportement de ces moteurs de template dans ce cas précis.

Nous allons nous intéresser dans un premier temps au nombre de requêtes servies par seconde, tout d’abord lorsque la compilation est forcée. Les courbes reflètent les résultats que nous avons pu analyser précédemment sur le temps d’exécution. Encore une fois Smarty 2.6 est en tête avec environ 60 requêtes par secondes. Dwoo le talonne avec environ 40 requêtes par seconde suivi de Smarty 3.0b avec moins de 20 requêtes par seconde.
Lorsque le cache est activé, on obtient des performances satisfaisantes, avec plus de 165 requêtes par seconde pour l’ensemble des concurrents. Smarty 2.6 est encore une fois le meilleur élève avec près de 250 requêtes par seconde. Dwoo et Smarty 3.0 sont à peu près équivalents aux alentours de 180 requêtes par seconde.
En mode « développement » (force check compile), les performances sont satisfaisantes avec environ 130 requêtes par seconde pour Smarty 3.0beta, mais Smarty 2.6 tire son épingle du jeu avec plus de 185 requêtes par secondes. Les résultats sont similaires lors que la vérification de compilation est désactivée. On peut d’ailleur se demander si elle a vraiment un intérêt.

Ces résultats reflètent donc exactement les mesures relevées lors de l’étude des temps d’exécution.

Temps moyen de traitement pour une requête

Time per request

Pour finir étudions le temps moyen nécessaire pour servir une requête.
Lorsque le la compilation est forcée, Smarty 2.6 est fidèle à lui même et prend la tête avec environ 80ms, il est suivi par Dwoo avec environ 135ms. Smarty 3.0b est largement à la traine avec plus de 290ms pour servir une requête soit près de 4 fois plus lent que son grand frère.
Lorsque le cache est activé les tendances sont bonnes avec un score inférieur à 30ms pour l’ensemble des concurrents. Smarty 2.6 est toujours en tête avec moins de 21ms pour générer une page, Smarty 3.0b et Dwoo sont à peu près équivalents avec 30ms environ.
Dans la configuration de « développement » avec la vérification de la compilation activé, les performances sont bonnes avec moins de 40ms pour l’ensemble des moteurs testé, Smarty 2.6 est toujours en tête. lorsque la vérification de la compilation est désactivé, les performances restent similaire à la configuration en « développement ».

Pour conclure, Smarty 2.6.26 est actuellement le meilleur moteur de template parmi ceux testés ici. Il est à la fois celui qui consomme le moins de mémoire et le plus rapide, que le cache soit activé ou non. Dwoo est une bonne alternative puisque ses performances talonnent très souvent Smarty 2.6. Smarty 3.0b est assez décevant en terme de consommation de mémoire lors de la compilation, mais mis à part celà, ses performances sont très bonnes et sont proches de celle de Smarty 2.6. N’oublions pas que c’est une version beta et que l’équipe de développement travaille activement, puisque l’on a droit à une nouvelle version beta toutes les trois à quatre semaines environ. Espérons qu’il feront une grosse passe d’optimisation en particulier sur la consommation mémoire. Ce test sera mis à jour au fil des évolutions de ces trois moteurs de template. A ce jour EmisFR continue d’utiliser Smarty 2.6.x en attendant de pouvoir passer sur Smarty 3.0. Dwoo est pour le moment écarté car non compatible avec les logiciels déjà produits, de plus le langage de template est un peu différent et étant donné que ses performances sont moins bonnes que celles de Smarty 2.6.x il présente peu d’intérêt de changer.

Freeway : un manque de pérennité

URL : http://www.openfreeway.org/
+ installation simple et bien faite
+ supporte la vente de services, il est possible par exemple de louer un cours de tennis à une heure précise, cela apparait sur un planning
- dernière version stable datant de septembre 2008
- version en développement inactive depuis novembre 2008
- peu utilisé

Freeway, est un logiciel de e-commerce écrit en PHP. Ce logiciel n’est plus actif depuis septembre 2008, il a donc été écarté malgré quelques fonctions intéressantes comme la « prise de rendez-vous », via un planning affichant les horaires disponibles. Il n’est cependant pas sérieux de proposer à des professionnels un logiciel qui n’est plus actif car cela signifie qu’il n’est pas possible de garantir que le logiciel sera mis à jour, et bénéficiera de patchs de sécurité. Enfin, ce logiciel est très peu utilisé, il est donc difficile de trouver des modules complémentaires.

VirtueMart : du site vitrine à la vente en ligne

URL : http://www.virtuemart.net/
+ Joomla
+ module de paiement Atos
+ traduction en Français
+ cache
- logiciel lié a Joomla dont le e-commerce n’est pas son métier
- sécurité

VirtueMart est un module pour Joomla ou Mambo. De part sa relation directe avec Joomla, cela en fait un outil moins attirant que ceux que nous verront plus loin, pour la simple et bonne raison que Joomla est à la base un CMS, et que VirtueMart transforme ce CMS en boutique en ligne, ce qui n’est pas son métier. VirtueMart dispose cependant de modules supplémentaires tel qu’un module de paiement Atos, mais aussi d’une traduction en français. Joomla disposant d’une fonction de Cache, VirtueMart en hérite. Cet outil est très ergonomique, on trouve rapidement ce que l’on cherche. Il conviendra pour une petite boutique en ligne, dont le site vitrine est déjà sous Joomla. Les utilisateurs de Joomla s’y retrouveront rapidement. Le développement est actif mais la dernière version date de janvier 2009. Enfin Joomla est régulièrement la cible d’attaques des pirates qui font suite à la découverte de failles de sécurité, il sera donc inévitable de se tenir au courant des dernières versions de Joomla afin de garantir la sécurité de la boutique.

Magento : la boutique qui monte mais en manque d’ergonomie

URL: http://www.magentocommerce.com/fr
+ système de cache
+ supporté par des grands nom (Samsung, 3M…)
+ bien programmé
+ communauté active
- modules de paiement Atos (beta)
- localisation en français imparfaite
- pas d’éditeur WYSIWYG
- ergonomie
- templates = mélange entre PHP et HTML

Magento, est un nouvel entrant sur le marché de la boutique en ligne. Il est déjà supporté par de grands noms, comme Samsung, 3M ou encore Nesspresso. Une large communauté est présente, et on trouvera rapidement une solution à un problème, en consultant les forums. Magento dispose d’un « Language Pack Français », mais celui-ci n’est pas maintenu officiellement, on trouvera donc quelques termes anglais après l’installation de celui-ci. Il dispose de plusieurs modules de paiement dont le module Atos mais en bêta, d’autres modules de paiement existent, certains d’entre eux sont payants.
Le système d’installation de module est très simple, mais directement lié au site de Magento, en effet pour installer un module il est nécessaire de copier/coller une « clef » et Magento s’occupe de télécharger le module et de l’installer, apparemment il y a une gestion des dépendances entre modules et le système avertit l’utilisateur lors de l’installation d’un module non stable (beta).
Magento dispose d’une option cache qui permettra d’accroitre les performances en limitant les accès à la base de données. L’interface graphique est plutôt attirante aussi bien du coté boutique que du coté arrière boutique (backoffice).
Par contre, l’ergonomie est à revoir, si certaines informations sont à portée de clic, d’autres demanderont à l’utilisateur de parcourir plusieurs menu et de vraiment chercher pour enfin trouver ce qu’il souhaite. Par exemple pour gérer les fournisseurs, il faudra aller dans l’édition des attributs de produits et choisir manufacturer, puis à l’intérieur, ajouter des fournisseurs.
Un système de personnalisation de l’interface graphique de la boutique est disponible au sein de la partie admin et permettra de préparer le pages « template ». Il faudra par contre que l’utilisateur revoit ses cours de HTML, car il n’y a pas d’éditeur wysiwyg. Les pages sont basées sur le classique « PHP-HTML » mix, qui n’est pas des plus simples, mais qui à le mérite de séparer en partie le code HTML du code PHP. Les webdesigners ne seront donc pas perdus. Il sera également possible de faire participer les visiteurs en proposant des sondages, le module étant installé par défaut. Un utilisateur de la communauté à développé un module de migration depuis osCommerce 2.2, mais il ne migre que les produits et catégories. La base de données est bien construite et possède des index. Le moteur utilisé est innoDB. Cet outil a donc de grandes qualités, même s’il y a encore des choses à améliorer, il pourra être proposé pour une utilisation professionnelle.

OsCommerce : Un dinosaure en peine de renouvèlement

URL : http://www.oscommerce.com/
+ installation rapide et simple (moins de 3minutes)
+ traduction en français
+ gestion du stock
+ cache
+ module de paiement Atos
+ quelques rapports
+ communauté
+ version 3.0 prometteuse
- thème graphique par défaut
- système d’installation des extensions
- qualité du code
- sécurité
- version proposée non stable

osCommerce, est le plus ancien outil de e-commerce, il a une large communauté autour de lui, et un nombre de modules impressionnant. Utilisé par plus de 12000 boutiques référencées, il pourrait être une valeur sure. Cependant le développement a un rythme assez lent, et les versions proposées pour la mise en production sont parfois des Release Candidate (des versions pas totalement finies). L’installation se fera en quelques minutes. L’interface graphique est ergonomique, et même les nouveaux venus trouveront rapidement leurs marques. Le thème graphique par défaut est vraiment horrible, mais des thèmes graphiques existent sous forme de contributions. Les nombreux modules pour osCommerce permettront de personnaliser la boutique, mais leur installation nécessitant bien souvent de modifier du code, il faudra avoir quelques notions de PHP. La version testée est une 2.2RC2a, le code est de type php3. Et c’est bien là tout le problème avec osCommerce. En effet le code spécifique php3 pose de très nombreux problèmes de sécurité et de maintien en production. De part son utilisation mondiale et ces problèmes de code, osCommerce connait souvent des découvertes de failles de sécurité qui sont alors exploitées. L’équipe de développement a tardé à prendre en compte ce problème avec la version 3.0 qui est en cours de préparation (en alpha5) et qui sera compatible PHP 5.2.x alors que PHP 5.2 est sorti en 2006… Le code de la version 3.0 est objet et on peut donc espérer que le passage à PHP 5.3 se fera en douceur. Dans l’état actuel des choses, il n’est pas recommandable d’utiliser la version 2.2, en particulier pour une nouvelle boutique, d’ici peu de temps cette version 2.2 sera complètement obsolète du fait de l’utilisation de fonctions supprimées, des register_globals et autre short_open_tags. L’équipe de développement de la version 3.0 prépare un script de migration, mais aucune date de sortie n’est encore prévue.

Prestashop : La boutique française bien pensée

URL: http://www.prestashop.com
+ installation en moins de 3minutes
+ traduction en Français disponible
+ jolis effets graphiques boutique et arrière boutique
+ sécurité (mot de passe + renommage du dossier admin et suppression du dossier install)
+ interface ergonomique
+ rapports et statistiques avancés agrémentés de graphiques
+ templates avec Smarty
- module de paiement Atos Payant (300euros)
- tous les modules complémentaires sont payant ou presque (compter 70 à 400euros)

Prestashop, est un nouvel arrivant sur la scène de la boutique électronique. Développé par des Français, l’outil regroupe déjà 30000 membres. Ce qui frappe avec Prestashop, c’est la qualité de la finition, l’interface graphique d’administration est agréable et ergonomique, elle est plaisante à utiliser. Les nouveaux utilisateurs trouveront ce qu’ils cherchent naturellement. Prestashop dispose de nombreux modules qui s’installent facilement via un système packages zip, le système s’occupe de télécharger, décompresser et installer le module. On trouvera par exemple le module de paiement Atos.
L’ensemble de l’application est parfaitement traduite en français (sauf dans la partie statistiques). L’équipe de développement à utilisé AJAX à bon escient ce qui est très agréable autant du coté client que du coté marchand. Le marchand appréciera les rapports agrémentés par des graphiques représentant les volumes de ventes, de visites, les articles les plus vendus et complété par un commentaire du graphique.
L’accent à été mis sur la sécurité, ainsi les mots de passe doivent contenir des lettres et des chiffres, et le dossier de la partie admin doit être renommé après l’installation.
Prestashop est basé des technologies éprouvées comme le système de template Smarty, qui ravira les webdesigners comme les développeurs, mais aussi des modules PEAR. Le code est de très bonne qualité avec un découpage par objet. On peut regretter qu’il n’y ait pas de système de cache autre que celui de Smarty qui cache ses templates, il aurait été intéressant de cacher également toute la partie boutique en HTML, de manière a ne pas reconstruire entièrement les pages. Cependant les performances semblent être au rendez-vous car les pages sont générées en général en moins de 1 seconde. La base de données a bien été pensée, des indexes sont présents et la taille des champs à été définie. C’est un outil parfaitement recommandable à des professionnels.

Nous l’avons vu qu’il existe des outils de plus ou moins bonne qualité suivant le type de boutique que l’on souhaite mettre en place. Les deux boutiques sortantes sont Magento et PrestaShop qui, développés récemment (depuis 2007-2008) ont su répondre aux problématiques web 2.0 et programmation Objet. Cela assure à ces projets une ergonomie, mais surtout une pérennité. La programmation objet permet à un projet d’être canalisé et rationnel, elle permet de centraliser les fonctions et donc de simplifier la tâche des développeurs. Il reste a savoir si ces solutions arriveront à s’imposer en particulier face à osCommerce qui détient près de la moitié du marché français, l’un des enjeux pourra donc être de proposer une procédure de migration depuis osCommerce, ce que pour le moment ni Magento, ni PrestaShop ne proposent. Il se pourrait même qu’EmisFR soit déjà sur le coup …

Part de marché français pour les boutiques en ligne (source des données http://www.e-komerco.fr/ octobre 2009)

Cédric FERRY – EmisFR

Vous trouverez ici essentiellement des tests et des tutos sur des technos ou des logiciels que l’ont à mis en place au sein de Emisfr.

Développeur depuis bientôt 3ans pour le compte d’Emisfr, nous utilisons principalement les technologies suivantes Apache, PHP, CSS, JavaScript couplé à MySQL et PostGreSQL. Comme vous le remarquez essentiellement des logiciels libres.

Je vous invite donc a découvrir ces technologies et leur écosystème tout au long de mes futurs posts !

à très bientôt

Cédric