Polyglot on the JVM with Graal (Japanese)

PolyglotontheJVMwithGraal

Akihiro Nishikawa

May 20, 2017JJUGCCC2017Spring

SafeHarborStatementThefollowingisintendedtooutlineourgeneralproductdirection.Itisintendedforinformationpurposesonly,andmaynotbeincorporatedintoanycontract.Itisnotacommitmenttodeliveranymaterial,code,orfunctionality,andshouldnotberelieduponinmakingpurchasingdecisions.Thedevelopment,release,andtimingofanyfeaturesorfunctionalitydescribedforOracle’sproductsremainsatthesolediscretionofOracle.

ProgramAgenda

What’sGraal?What’sGraal VM?

PolyglotinGraal VM

Howtouse

Appendix

What’sGraal?What’sGraal VM?

GraalとGraal VM

• speculative optimizationを得意とする、Javaで記述されたJITコンパイラ– HotSpotベース–種々の言語の実行パフォーマンス向上を目指して設計– JVMCI (Java-LevelJVMCompilerInterface、 JEP243)準拠– Java 9には実験的機能として搭載

GraalとGraal VM

• GraalやTruffle、その他の言語がバンドルされたJVM

Graal VM

GraalとGraal VM

HotSpot

Compiler Interface

Client Server

HotSpot

HotSpotVM Graal VM

Compiler Interface

Client

PolyglotinGraal VM

TheOneVMConceptHighperformancepolyglotvirtualmachine

TheRubyLogoisCopyright(c)2006,YukihiroMatsumoto.ItislicensedunderthetermsoftheCreativeCommonsAttribution-ShareAlike 2.5agreementJSLogoCopyright(c)2011ChristopherWilliams<chris@iterativedesigns.com>,MITlicence

YoucandistributetheRlogounderthetermsoftheCreativeCommonsAttribution-ShareAlike 4.0Internationallicense(CC-BY-SA4.0)or(atyouroption)theGNUGeneralPublicLicenseversion2(GPL-2).

Impl Impl Impl Impl

VM VM VM VM

Impl Impl Impl Impl

• JavaScript– ECMAScript2016のスコアはV8より良好–パフォーマンスもV8と同等– node.jsのフルサポート

• R–統計解析向けのプログラミング言語及びその開発実行環境

• Ruby– JRubyのフォーク– 5〜10倍ほど高性能

• C、C++、Fortran– LLVM（Sulong）を使ってNativeLanguageをサポート

GraalVMPolyglot

HotSpot

Truffle

LLVM(Sulong)RRubyJavaScript

Truffle

• Graalコンパイラと一緒に使うことで、Truffleインタプリタは自動的にJITコンパイルされ、通常のJavaのパフォーマンスを出すことができる

•実行時に自己最適化を実行する抽象構文木（AST）インタープリタを構築するための基本的な基盤ならびにツール（TruffleDSL）を提供

シンプルなインタプリタとして言語を実装するためのフレームワーク

ネイティブモジュールを含めて互換性を担保

Graal.jsのアーキテクチャ

C++JavaScript Java

nodeモジュール（Javaスクリプトのみ）

node標準ライブラリ

V8API Thread pool(libeio)

Event loop(libev)

DNS(c-ares)

crypto(OpenSSL)

Graal.js JavaScriptEngine

AdapterV8APItoGraal.js (viaJNI)

Nativeextensions nodebindings(socket,http,…)

nodeモジュール（Nativeextension)

• Goal:RのためのTruffleスタックのメリットを認識すること– CやC++といったNativeLanguageを使わなくても優れたパフォーマンス–データの重いアプリケーションと並列アプリケーション向けに設計– CRAN/Bioconductorリポジトリのサポート

• GNURの「段階的な改善」ではない– Truffleベースの新しい実行エンジン– GNURの置換エンジンとして設計

•最新のGNURインタプリタよりも高速（2〜10倍）

https://github.com/graalvm/fastr

JavaScriptinGraal VM

標準への対応

ECMAScript2015(ES6)(16298tests/16417tests)

テストが通らなかった大部分はUnicode正規表現

93.4%ECMAScript2016(ES7)累乗演算子やArray.prototype.includes()にも対応

テストが通らなかった部分は、ブロックレベル関数定義や、スプレッド演算子での特殊な条件でのテストなど

Octaneベンチマークの結果

V8(5.4.500.6) Graal.js

RubyinGraal VM

言語とコアライブラリの標準への対応

Ruby言語JRubyは 94%

96% RubyコアライブラリJRubyは 95%

ベンチマークの結果

45GraalVMJRuby+invokedynamicRuby

Rubyを基準としたパフォーマンスの比較（大きいほど高パフォーマンス）

このテストは、AlocationやBigIntegerのパフォーマンスによって制約を受ける

“But,it’seasytooptimizethatkindofcode!”

単純なローカル変数

ベクトル化してない

単純な浮動小数点の計算

基本的なループ

演算子以外使っていない（メソッド呼び出しがない）

数値型もしくはBoolean型しか使っていない

“RealRubyismuchmorecomplex!”

ループを使わずにSmalltalkスタイルのブロックを利用

ループの境界条件は単純な値ではなくオブジェクト

インスタンス変数

メソッドに隠れたロジック

配列の利用

コアライブラリを使って計算中間オブジェクト

別の配列を使って、配列の配列にハッシュをマップし、変換してハッシュに戻す

r,g,bのハッシュとして内部ループのPixcelを表現

ローカル変数を使わず、メソッド呼び出しのみ

メタプログラミング送信動的に作成されるシンボル

実際のロジックメソッドの動的メソッド呼び出し

ChunkyPNGkernels

1000 GraalVMJRuby+invokedynamicRuby

Rubyを基準として比較

これらのベンチマークは、GraalVMが完全に最適化

PSD.rb kernels

1000 GraalVM JRuby+invokedynamic Ruby

Rubyを基準として比較

Polyglot

RESTpublicinternet

RESTprivateintranet

RESTpublicinternet

HowwedopolyglotinGraal VM

RubyTruffle::Interop.eval('application/language', source)

value = Truffle::Interop.import(name)

Truffle::Interop.export(name)

JavaScriptInterop.eval('application/language', source)

value = Interop.import(name)

Interop.export(name)

// Returns 20Interop.eval('application/javascript', '14 + 6')

JavaScriptinRuby

puts Truffle::Interop.eval('application/javascript','14 + 6')

Thisreturns20

JavaScript Ruby

JavaScriptinRuby

Truffle::Interop.eval('application/javascript', "function add(a,b) {

return a + b;}Interop.export('add',

add.bind(this));")

add = Truffle::Interop.import('add')

puts add.call(14,2)

UsesfunctiondefinedinJavaScriptfromRuby

JavaScript

Performance

ウォームアップ後、秒単位でのIterationをレポート

乱数入力があると最適化が効かない

010000002000000300000040000005000000600000070000008000000900000010000000

GraalVM JRuby+invokedynamic Ruby

nsPerSecon

JavaScript(V8)JavaScriptに書き換え、 V8と組み合わせてみた

Ruby+JavaScript(V8)

100000

150000

200000

250000

300000

350000

Ruby(justRuby) Ruby(Ruby+JSwithV8)

nsPerSecon

V8からRhinoへ変更

JRuby +JavaScript(Rhino)

100000

200000

300000

400000

500000

600000

JRuby+indy(justRuby) JRuby+indy(Ruby+JSwithRhino)

nsPerSecon

Nashornで試す

JRuby +JavaScript(Nashorn)

100000

200000

300000

400000

500000

600000

JRuby+indy(justRuby) JRuby+indy(Ruby+JSwithRhino)

JRuby+indy(Ruby+JSwithNashorn)

nsPerSecon

Graal VM

Ruby+JavaScript(Graal VM)

010000002000000300000040000005000000600000070000008000000900000010000000

GraalVM(justRuby) GraalVM(Ruby+JS) JRuby+invokedynamic Ruby

nsPerSecon

010000002000000300000040000005000000600000070000008000000900000010000000

GraalVM(justRuby)

GraalVM(Ruby+JS)

JRuby+indy(justRuby)

JRuby+indy(Ruby+JSwithRhino)

JRuby+indy(Ruby+JS

withNashorn)

Ruby(justRuby)

Ruby(Ruby+JSwith

nsPerSecon

100000

1000000

10000000

GraalVM(justRuby)

GraalVM(Ruby+JS)

JRuby+indy(justRuby)

JRuby+indy(Ruby+JSwithRhino)

JRuby+indy(Ruby+JS

withNashorn)

Ruby(justRuby)

Ruby(Ruby+JSwith

nsPerSecon

HowGraal achievesthis

Hotspot

JITGraal

Truffle

BasicsofTruffleandGraal

BasicConcepts• プログラムの表現を共通化

•意味を失わないようにそのままに

•表現の最適化も共通化

x + y * z

load_local xload_local yload_local zcall *call +

pushq %rbpmovq %rsp, %rbpmovq %rdi, -8(%rbp)movq %rsi, -16(%rbp)movq %rdx, -24(%rbp)movq -16(%rbp), %raxmovl %eax, %edxmovq -24(%rbp), %raximull %edx, %eaxmovq -8(%rbp), %rdxaddl %edx, %eaxpopq %rbpret

Node Rewriting for Profiling Feedback

AST InterpreterRewritten Nodes

AST InterpreterUninitialized Nodes

Compilation usingPartial Evaluation

Compiled Code

Node Transitions

Uninitialized Integer

Generic

DoubleString

T.Würthinger,C.Wimmer,A.Wöß,L.Stadler,G.Duboscq,C.Humer,G.Richards,D.Simon,andM.Wolczko.OneVMtorulethemall.InProceedingsofOnward!,2013.

Compiled Code

Node Transitions

Generic

DoubleString

Compiled Code

Node Transitions

Generic

DoubleString

Deoptimizationto AST Interpreter

Node Rewriting to Update Profiling Feedback

Recompilation usingPartial Evaluation

Deoptimizationto AST Interpreter

Node Rewriting to Update Profiling Feedback

Recompilation usingPartial Evaluation

呼び出していたら…

高頻度で呼び出している場合…

異言語で作成していても

高頻度で呼び出している場合…

Lookingathoweffectivethisis

HowtouseGraal VM

•含まれているもの– JVM(REと DK)– Java– JavaScript– Ruby– R–その他は将来追加予定

•バイナリをtarballとして提供• macOS用もしくはLinux用

Graal VM– everythinginonepackagetoday

Java 8のGraal VMとは異なり、素のJVMを利用Java9では、JVMCIを使って連携

Hotspot

Truffle

JS others…Ruby

JVMCI(JVMCompilerInterface)

Java 8のGraal VMとは異なり、素のJVMを利用Java9では、JVMCIを使って連携

Hotspot

Truffle

JS others…Ruby

Mavenなどを利用

Java 9

Appendix

http://www.oracle.com/technetwork/oracle-labs/program-languages“Graal OTN”で検索

https://github.com/graalvm“GitHub GraalVM”で検索

AcknowledgementsOracleDaniloAnsaloniStefanAnzingerCosminBascaDanieleBonettaMatthiasBrantnerPetrChalupaJürgenChristLaurentDaynèsGillesDuboscqMartinEntlicherBrandonFishBastianHossbachChristianHumerMickJordanVojinJovanovicPeterKesslerDavidLeopoldsederKevinMenardJakubPodlešákAleksandarProkopecTomRodriguez

Oracle(continued)RolandSchatzChrisSeatonDougSimonŠtěpánŠindelářZbyněkŠlajchrtLukasStadlerCodrutStancuJanŠtolaJaroslavTulachMichaelVanDeVanterAdamWelcChristianWimmerChristianWirthPaulWögererMarioWolczkoAndreasWößThomasWürthinger

JKULinzProf.HanspeterMössenböckBenoitDalozeJosefEislThomasFeichtingerMatthiasGrimmerChristianHäublJosefHaiderChristianHuberStefanMarrManuelRiggerStefanRumzuckerBernhardUrban

Universityof EdinburghChristopheDubachJuanJoséFumero AlfonsoRanjeet SinghToomas Remmelg

LaBRIFloréal Morandat

Universityof California,IrvineProf.MichaelFranzGulfemSavrunYeniceriWeiZhang

Purdue UniversityProf.JanVitekTomasKaliberaPetrMajLeiZhao

T.U.DortmundProf.PeterMarwedelHelenaKotthausIngoKorb

Universityof California,DavisProf.DuncanTempleLangNicholasUlle

Universityof Lugano,SwitzerlandProf.WalterBinderSunHaiyangYudiZheng

OracleInternsBrianBellevilleMiguelGarciaShamsImamAlexeyKaryakinStephenKellAndreasKunftVolkerLantingGeroLeinemannJulianLettnerJoeNashDavidPiorkowskiGregorRichardsRobertSeilbeckRifatShariyar

AlumniErikEcksteinMichaelHauptChristosKotselidisHyunjinLeeDavidLeibsChrisThalingerTillWestmann

SafeHarborStatementTheprecedingisintendedtooutlineourgeneralproductdirection.Itisintendedforinformationpurposesonly,andmaynotbeincorporatedintoanycontract.Itisnotacommitmenttodeliveranymaterial,code,orfunctionality,andshouldnotberelieduponinmakingpurchasingdecisions.Thedevelopment,release,andtimingofanyfeaturesorfunctionalitydescribedforOracle’sproductsremainsatthesolediscretionofOracle.

Polyglot on the JVM with Graal (Japanese)

Technology

The Graal Code

GRAAL AGREG - geco-medical.org

Polyglot JVM

Perceval, Graal and Arthur

Graal : going deeper in the JVM using Javawiki.jvmlangsummit.com/images/4/4e/2012-07-30_GraalJVMSummit2012... · Graal APIs meta –Lazy Reflection (read only) –Profiling code –native

Polyglot heaven

The Graal collaboration

Creating polyglot and scalable applications on the jvm using Vert.x

Polyglot on the JVM with Graal - JUG · Key Features of Graal • Designed for speculative optimizations and deoptimization – Metadata for deoptimizationis propagated through all

Gpus graal

Polyglot Programming in the JVM

Polyglot programming in web development€¦ · Keywords: Polyglot programming, web development, polyglot programming on the JVM, poly-paradigm programming, Java, Groovy, Spring Framework,

Polyglot Programming in the JVM - Øredev

Sacré Graal (Holy Graal) Monthy Python (Terry Gilliam et Terry Jones)

JRuby on Graal - The Graal Workshop · JRuby Review • Ruby for the JVM • Two-way integration with Java, ﬁtting into ecosystem • We are a Ruby implementation, but also a JVM

Polyglot Buildings

IndicThreads-Pune12-Polyglot & Functional Programming on JVM-Old

Polyglot 12

Six New Trends in the JVM€¦ · § Experimental clone of JDK 11 (not for immediate release) § Hosting work on AOT and the Graal compiler § Definition of “System Java” for

JVM++: The Graal VM