Voyager avec play scala

Voyager avec Play 2

Nicolas [email protected]

@nmartignoleScala.IO - 24/25 octobre 2013, Paris

samedi 26 octobre 13

mailto:[email protected]


Votre plan de vol

ZapTravel

WhatWhyHow


Avant de commencer...

Current status


ZapTravel


We search destinations & dates, then find the best price, hotel and

transport, so you don’t need to


We search destinations & dates, then find the best price, hotel and

transport, so you don’t need to

filter, map, reduce


ZapTravel





MobileAPI REST






RomanceShow medeals


FamilyShow medeals



</zaptravel>samedi 26 octobre 13

“There are known knowns; there are things we know that we know.There are known unknowns; that is to say, there are things that we now know we don't know.But there are also unknown unknowns – there are things we do not know we don't know.

”—United States Secretary of Defense, Donald Rumsfeld


http://en.wikipedia.org/wiki/United_States_Secretary_of_Defense

http://en.wikipedia.org/wiki/United_States_Secretary_of_Defense

http://en.wikipedia.org/wiki/Donald_Rumsfeld

http://en.wikipedia.org/wiki/Donald_Rumsfeld

Aware

KnowDon’t know

Not aware


Aware

KnowDon’t know

Not aware


Quelques chiffres

• 159 000 hôtels

• 1383 destinations

• 840 000 transports (avions/trains)

• 1.4To images sur S3

• 20600 prix chambres hôtels


redis 127.0.0.1:6379> hlen Hotel:Content:Short(integer) 158 041


Ce que je savais


Ce que je savais

• Play! Framework


Ce que je savais

• Play! Framework

•Web development


Ce que je savais

• Play! Framework

•Web development

•Hiring and training developers


Ce que je savais

• Play! Framework

•Web development

•Hiring and training developers

• Kiss-ass project managment


EquipePlay2 ScalaHTML CSS ScalaJavaZe Boss


Equipe

0

1,25

2,5

3,75

5

Mai 2012 Ete 2012 Sept 2012 Oct 2012 Nov 2012 Jan 2013 Oct 2013

Play2 ScalaHTML CSS ScalaJavaZe Boss



Comment apprendre Scala

(et désapprendre Java)


Scala et Zaptravel

• Scala => recrutement

• Facile à apprendre

• Scala c’est simple


Ah tu fais du Scala


Paradigme objet ET fonctionnel

http://parleys.com/p/51c1994ae4b0d38b54f4621b




Ce que j’ai évité

- 18


SBT


SBT

ScalaZ


Les choses que je ne savais pas

• Faut être gonflé

• Communauté

• Parallélisme, Reactivité

• Play2/Scala/Redis en PROD ???

• SEO

• JSON+Redis

• Typesafe / refactoring



Communauté Scala

Place de Scala, la communauté, par rapport à Java


94 516 VUEs

Scala Days 2013 on parleys.com


Parallélisme et concurrence

It’s the web, stupid

Response[HTML] = Fx(Request)


Typesafe

•HTML template•routes•config•LESS


Play2 -> ReactiveReactive In Practice


Play2 -> ReactiveReactive In Practice


août - sept 2012R.I.P

Iteratee, Enumeratee and Enumerator on Zaptravel


BusinessExceptionIteratee/Enumeratee/Enumerator c’est cool, mais nous n’en n’avons pas besoin pour le moment.


/**

* Server sent event streaming controller.

* Date: 06/08/12

* Time: 12:16

*/

object Streaming extends Controller {

// Streaming using server sent event

def stream(requestId: String) = Action {

// Define an implicit EventNameExtractor wich extract the "event" name from the Json event so that the EventSource() sets

the event in the message

implicit val eventNameExtractor: EventNameExtractor[JsValue]=EventNameExtractor[JsValue](eventName = (zepEvent)=>zepEvent.\

("event").asOpt[String])

// Streams.events is a composition of HotelPrice and AirfarePrice.

Ok.feed(Streams.events(requestId) &> EventSource()).as("text/event-stream")

}

implicit val eventNameExtractor: EventNameExtractor[JsValue] =EventNameExtractor[JsValue](eventName = (zepEvent)=>zepEvent.\("event").asOpt[String])


Akkafaukon


Akka•Cron Jobs

• Emails (Mailjet/Mailchimp)

• Facebook

• ElasticSearch index (proto)

• Sitemap

•Generate content (R.I.P.)


Akka


Dev ?

EC2 m2.2xlarge

Play2

Redis

RedisPrices

Prix Hotels, Avions,Voitures, Trains, Rating Hotel

27GB870k obj

EC2 m2.xlarge

Lieux, Destinations,Contenu, Routage, URLs, Places, Tags,

Webuser

1.2 GB450k obj

RedisStatic

slave-of

read-only

read/write

S3


Prod ?

Cloudfront ELBRoute53

EC2 c1.medium

wwwredis prices

EC2 m2.2xlarge

redis static

EC2 m2.xlarge

SimpleDB

logs

CloudWatch

S3

redis backup


Play2 + AWS


Idéal : c1.medium

2 vCPUs1.7 GB mémoire


Redis


Ce qu’il faut retenir

• IaaS versus PaaS pour Zaptravel

2300 USD / mois


Boarding...


Des cas d’usages


Fonctionnalités


Fonctionnalités• API REST



• Facebook



• Facebook

• Weather



• Facebook

• Weather

• GeoIP



• Facebook

• Weather

• GeoIP

• Semantic Search



• Facebook

• Weather

• GeoIP

• Semantic Search

• Cache Redis



• Facebook

• Weather

• GeoIP

• Semantic Search

• Cache Redis

• Mobile Web version



• Facebook

• Weather

• GeoIP

• Semantic Search

• Cache Redis


• Authentification



• Facebook

• Weather

• GeoIP

• Semantic Search

• Cache Redis



• Statistiques/Parcours visiteur



• Facebook

• Weather

• GeoIP

• Semantic Search

• Cache Redis



• Statistiques/Parcours visiteur


Quelques exemples

ZapTravel


Charger une donnée venant de Redis

ZapTravel


Architecture

LB

Web

Web

Web

HTTPHTTPS

RedisAir/Hotel/Cars/Ac

RedisResa/Users

RedisWeb Content

ZapTravel


Architecture

LB

Web

Web

Web

HTTPHTTPS

RedisAir/Hotel/Cars/Ac

RedisResa/Users

RedisWeb Content

Web

redis

ZapTravel


Cas d’usage

ZapTravel

Donne moi le label qui correspond à originId =380


Cas d’usage

ZapTravel


def getSlug(originId: Long): Option[String] = Redis.pool.withClient { client => Option(client.hget("Url:From:Rev", originId.toString))}


Cas d’usage

ZapTravel




Cas d’usage

ZapTravel



Driver Sedis https://github.com/pk11/sedissamedi 26 octobre 13

https://github.com/pk11/sedis

https://github.com/pk11/sedis

Un mot sur les Tests


https://gist.github.com/nicmarti/5064048

package models import org.specs2.mutable._ import play.api.test._import play.api.test.Helpers._ class OriginSpecs extends Specification { "An Origin" should { "returns the slug for a valid origin" in { running(FakeApplication()) { Origin.getSlug(380) mustEqual Some("from-london") Origin.getSlug(1) mustEqual Some("from-paris") Origin.getSlug(-9999) mustEqual None } } }}




Charger un objet

ZapTravel

Charge moi un Objet «Londres»


Charger un objet Origin

ZapTravel

def getOrigin(originId: Long): Option[Origin] = Redis.pool.withClient { client => Option(client.hget("Url:From:Rev", originId.toString)).map{ slug=> Option(client.hget("Places:Place:"+originId, "display").map { .... ... } }}

1) charger from-london


Code smells

ZapTravel

2) charger display...

def getOrigin(originId: Long): Option[Origin] = Redis.pool.withClient { client => Option(client.hget("Url:From:Rev", originId.toString)).map{ slug=> Option(client.hget("Places:Place:"+originId, "display").map{ .... ... } }}


Cas d’usage

ZapTravel

def getOrigin(originId: Long): Option[Origin] = Redis.pool.withClient { client => for(slug<-Option(client.hget("Url:From:Rev", originId.toString)); display<-Option(client.hget("Places:Place:"+originId,"display") )) yield Origin(originId,display,slug)

}}

2) charger display...

for-comprehensionhttps://gist.github.com/nicmarti/5064066




La Tour Eiffel

ZapTravel

1. Charger du JSON à partir de Redis2. Interpréter et retourner un objet PointOfInterest


{"name":"Eiffel Tower","address":"","latitude":"48.8582493546","longitude":"2.2945117950","website":"www.tour-eiffel.fr","rank":3,"photo":{"r":"eiffel-tower-paris-france","k":"6b56","e":"jpg","w":2406,"h":1600,"a":"Mirari Erdoiza","l":"http:\\/\\/www.fotopedia.com\\/items\\/anboto-RiKxAA3gE6I"},"sentences":{"gbs":[{"d":"The Eiffel Tower is one of the most famous monuments in the world (324 metres, 10,100 tonnes).","a":"Paris","l":"http:\\/\\/www.paris.com\\/paris_landmarks\\/monuments\\/eiffel_tower_paris"},{"d":"This is without doubt one of the most recognizable structures in the world.","a":"Frommers","l":"http:\\/\\/www.frommers.com\\/destinations\\/paris\\/A25288.html"},{"d":"If the Statue of Liberty is emblematic of New York, Big Ben is London, and the Kremlin is Moscow, then the Eiffel Tower is the symbol of Paris.","a":"Fodors","l":"http:\\/\\/www.fodors.com\\/world\\/europe\\/france\\/paris\\/review-97417.html"},{"d":"When it was built for the 1889 Exposition Universelle (World Fair), marking the centenary of the Revolution, the Tour Eiffel faced massive opposition from Paris' artistic and literary elite.","a":"Lonely Planet","l":"http:\\/\\/www.lonelyplanet.com\\/france\\/paris\\/sights\\/famous-landmark\\/eiffel-tower"}],"tips":[{"d":"It's pretty high!.","a":"annawelford","l":"http:\\/\\/www.lonelyplanet.com\\/france\\/paris\\/sights\\/famous-landmark\\/eiffel-tower","s":"Lonely Planet"},{"d":"Bigger than you think.","a":"anomolly","l":"http:\\/\\/www.lonelyplanet.com\\/france\\/paris\\/sights\\/famous-landmark\\/eiffel-tower","s":"Lonely Planet"},{"d":"Overcrowded.","a":"anshjain","l":"http:\\/\\/www.lonelyplanet.com\\/france\\/paris\\/sights\\/famous-landmark\\/eiffel-tower","s":"Lonely Planet"},{"d":"The restaurant on the first floor is an amazing experience!.","a":"ansofie","l":"http:\\/\\/www.lonelyplanet.com\\/france\\/paris\\/sights\\/famous-landmark\\/eiffel-tower","s":"Lonely Planet"}]},"tags":["Landmark","Memorials\\/Monuments","Sights","Famous landmark"]}

HGET Pois:PoisHash 52511


http://www.tour-eiffel.fr




http://www.fotopedia.com

http://www.fotopedia.com

http://www.paris.com

http://www.paris.com

http://www.frommers.com

http://www.frommers.com

http://www.fodors.com

http://www.fodors.com

http://www.lonelyplanet.com










Play 2.1

• Définir une case class POI

• Définir un implicit Json.format[POI]

•C’est tout... ou presque


Play 2.0

case class POI(name: String, address: String, latitude: String, longitude: String, website: Option[String], photo: Option[SightPhoto] = None, sentences: Sentences, tags: Option[List[String]])

POI = Point of Interest = notre Tour Eiffel


Play 2.0


Play 2.1


Play 2.1(Parser lorsque le JSON stocké sur Redis utilise une déclaration différente

de la case class)


Appel Redis et interprétation JSON


Afficher une listeZapTravel


Afficher une liste

ZapTravel


Aller sur Redisdef allOrigins: List[Origin] = Redis.pool.withClient { client => // ... // ... }

Modèlesamedi 26 octobre 13

Préparer une listedef allUrlOrigins: Seq[(String, String)] = { Origin.allOrigins.map{ origin => (origin.slug, origin.label) }.sortBy(_._2)}

Contrôleursamedi 26 octobre 13

Envoyer la liste au template

<label for="location">Your travel origin is :</label>

@select( userForm("originCity"),

FolioCriteria.allUrlOrigins , '_label -> "Travel from origin", '_showConstraints -> false)

Code dans la page HTML

Vuesamedi 26 octobre 13

Afficher une liste

ZapTravel


Gérer l’authentification


Comment protéger l’accès à une ressource ?

My Info


Comment protéger l’accès à une ressource ?

My Info


Dans le Controllerobject Application extends Controller { def index = Action { implicit request => val username="test" Ok(html.index(username)) }

}


Dans le Controllerobject Application extends Controller with Secured { def index = ActionSecure { username => implicit request => Ok(html.index(username)) }

}


trait Secured {

def username(request: RequestHeader) = request.session.get(Security.username)

def onUnauthorized(request: RequestHeader) = Results.Redirect(routes.Auth.login)

def ActionSecure(f: => String => Request[AnyContent] => Result) = { Security.Authenticated(username, onUnauthorized) { user => Action{ request => f(user)(request) } } }

} Result

HTMLString Request[AnyContent]


Play2 et Sécurité

• Simple

•Composable

• Facile à tester


Optimiser l’indexation et le référencement


Indexation et référencement

•URLs propres et pondérées

•Mots clés

• Liens et Sitemap

•Microformat (Hotel, Avion, Lieux)

•Contenu non répété



routes

Compilé et validé


URL

GET /$origin<from-(.*)>/:classifier controllers.Frontoffice.home(origin:String, classifier: String)

/from-boston/quality

http://www.zaptravel.com/romance/weekend-deals/from-paris/to-athens/12-Apr-2013-to-14-Apr-2013/elite-athens-greece


http://localhost:9000/romance/weekend-deals/from-paris/to-athens/12-Apr-2013-to-14-Apr-2013/elite-athens-greece#/




Play2

• La séparation entre la partie routage et la partie contrôleur permet de créer des URLs «propres»


Sitemap

• Déclarer la table des matières de son site

•Optimise le référencement

• Permet de mettre en cache les pages

curl http://www.zaptravel.com/sitemap.xml



Problème : construire le sitemap de façon asynchrone


Solution : Async

Akka / Play2


def sitemap = Action { implicit request => val longCall = Akka.future { val today = ZapFormats.formatForJson(new DateTime()) val listOfSEOCards = FolioCard.allForSEO().flatMap { seo => val localURL = routes.Frontoffice.showFolioDynamically(seo.category, seo.duration, seo.origin, seo.destination, seo.dateRange, seo.segment).absoluteURL(secure = false) val updatedUrl = (for (l <- localAddress; p <- publicAddress) yield localURL.replaceAll(l, p)) updatedUrl } Ok(views.xml.Application.sitemap(today, listOfSEOCards)).as("text/xml") } Async { implicit val timeout = akka.util.Timeout(60 seconds) longCall } }


def sitemap = Action { implicit request => val longCall = Akka.future { val today = ... // some other code val listOfSEOCards = FolioCard.allForSEO().flatMap { seo => val localURL = routes.Frontoffice.showFolioDynamically(seo.category, seo.duration, seo.origin, seo.destination, seo.dateRange, seo.segment).absoluteURL(secure = false) val updatedUrl = (for (l <- localAddress; p <- publicAddress) yield localURL.replaceAll(l, p)) updatedUrl } Ok(views.xml.Application.sitemap(today, listOfSEOCards) ).as("text/xml") } Async { implicit val timeout = akka.util.Timeout(60 seconds) longCall } }


def sitemap = Action { implicit request => val longCall = Akka.future { val today = ZapFormats.formatForJson(new DateTime()) val listOfSEOCards = FolioCard.allForSEO().flatMap { seo => val localURL = routes.Frontoffice.showFolioDynamically(seo.category, seo.duration, seo.origin, seo.destination, seo.dateRange, seo.segment).absoluteURL(secure = false)

val updatedUrl = (for (l <- localAddress; p <- publicAddress) yield localURL.replaceAll(l, p))

updatedUrl } Ok(views.xml.Application.sitemap(today, listOfSEOCards)).as("text/xml") } Async { implicit val timeout = akka.util.Timeout(60 seconds) longCall } }









Bref...curl http://www.zaptravel.com/sitemap.xml


Gestion du cachesamedi 26 octobre 13

Comment améliorer les performances ?


Eviter de recharger la même page,

utilisez code 304 NotModified

Note: @rosstuck a fait une session sur HTTP à Confoo mercredi dernier


Exemple sur /from-paris/quality

Navigateur Play2

GET /from-paris/quality


Exemple sur /from-paris/qualityNavigateur Play2

OK

HTTP/1.1 200 OKContent-Type: text/html; charset=utf-8ETag: 11299930771Cache-Control: max-age=600, s-maxage=600, must-revalidateContent-Length: 103586......

ce n’est pas une erreur


Recharge /from-paris/quality

Navigateur Play2

GET /from-paris/qualityIf-None-Match: 112999307771

304 Not ModifiedContent-Length: 0


Optimisation 1

• Evitez de faire travailler votre serveur pour rien

• Déterminez des ETags «métiers»

• Attention à la gestion du cache et des serveurs mandataires.


Optimisation 2

Faire de la gestion de cache applicative


Cache applicatif ?


2 types de cacheCache technique type Varnish

Cache de Play2 ou Redis

- Process à part- Cache HTTP

- Code applicatif- utilise la mémoire de Play2 ou Redis


2 types de cache

• Facile à installer

• Evite de solliciter Play2

• Scalable

• Configurable

Cache technique type Varnish


2 types de cache

• Prend en compte le métier

• Permet de garder les pages «authentifiées»

• Pas aussi performant que la solution Varnish

Cache applicatif Play2/Redis


Sur Zaptravel• Page d’accueil

optimisé avec Cache de Play2

• Page Folio, section top Deal avec cache Play2

• Page Deal, cache avec Redis


Et pour terminer


Merci

[email protected]

@nmartignole




Technology

Voyager avec play scala