Materi Sesi Ke-2 Pengembangan Big Data

8/18/2019 Materi Sesi Ke-2 Pengembangan Big Data

http://slidepdf.com/reader/full/materi-sesi-ke-2-pengembangan-big-data 1/12

MATERI SESI KE-2PENGEMBANGAN BIG DATA

Big Data for development

Big Data untuk keperluan development erkaitan dengan! tetapi

ereda dari! "tradi#ional Data pemangunan "$mi#aln%a data #urvei!

#tati#tik re#mi&! dan #ektor #'a#ta dan media main#tream men%eutn%a

"Big Data()

Big Data untuk #umer Pengemangan umumn%a memiliki eerapa *

#emua +tur ini,

) Digitally generated

data %ang di.a#ilkan #e/ara digital $#eagai la'an %ang

didigitalkan manual&! dan dapat di#impan dengan menggunakan

rangkaian #atu dan nol! dan dengan demikian dapat dimanipula#i

ole. komputer

2) Passively produced

Data ini merupakan data %ang di.a#ilkan atau produk dari

ke.idupan kita #e.ari-.ari atau interak#i dengan 0a#a digital)

1) Automatically collected

Data-data %ang terentuk dari data-data opera#ional dan

tran#ak#i %ang dikumpulkan dan tela. dipro#e# $ET& dan #i #impan

kedalam data mart

3) Geograp.i/all% or temporall% tra/kale

Data 4data %ang menun0ukan loka#i atau po#i#i! mi#aln%a data

loka#i pon#el atau dura#i 'aktu panggilan

5) 6ontinuou#l% anal%#ed



in7orma#i %ang relevan dengan ke#e0a.teraan manu#ia dan

pemangunan dan dapat dianali#i# #e/ara real-time

Pengunaan Big Data dalam perusahaan IT log# Anal%ti/#

Pen%impanan og 0angka pan0ang! digunakan untuk anali#a

pro#e# #i#tem %ang #edang er0alan untuk men/ega. dan

menaggulangi kegagalan dalam #i#tem! mengunakan .a#il anali#a

log untuk menemukan dan mentukan #e/ara pa#ti kegagalan apa

%ang ter0adi didalam #i#tem! men%iapkan langka.-langka. pa#ti

%ang dapat digunakan #eagai #olu#i ma#ala. #i#tem)

8raud Dete/tion Pattern

Ban%ak digunakan dalam Bidang keuangan atau dimana #a0a

tran#ak#i +na#ial terliat! Memak#imalkan pengunaan data-data

%ang ada untuk memerikan kemampuan unutk mendetek#i 7raud

ketika tran#ak#i #edang erlang#ung

T.e So/ial Media PatternPengunaan Big data untuk anali#a media #o/ial dan #entiment

pelangan! memerikan kemampuan agi peru#a.an untuk

mengeta.ui keinginan /u#tomer #e/ara lua#! mendapatkan

7eeda/k #e/ara lang#ung! dan mengenali lang#ung dampak

#entimen ter.adap pen0ualan! #erta e7ektivita# dan penerimaan

pelangan ter.adap pema#aran %ang dilakukan)

T.e 6all /entere MantraPen%impanan .a#il perin/angan atau laporan /u#tomer

dalam entuk te9t %ang kemudian digunakan #eagai data untuk

anali#a ma#ala. %ang di.adapai /u#tomer! memerikan

kemampuan agi peru#a.aan untuk memerikan tanggapan %ang

/epat maupun #e/ara lang#ung ter.adap ma#ala. %ang di.adapi

/u#tomer! #erta kemampuan unutk mendetek#i penurunan lo%alita#

/u#tomer dikarenakan ma#ala. dan ketidakpua#aan)

Ri#k, Pattern# 7or Modeling and Management



Memerikan kempuaan pengunaan data #e/ara penu. dan

anali#i# dalam pemodelan re#iko dan mene0emen re#iko untuk

memerikan pengeta.uan akan re#iko dan penanggulangann%a

#e/ara tepat dan lang#ung

Big data and T.e Energ% Se/tor

Memerikan kemampuan pen%impanan dan pemro#e#an data

#e/ara lang#ung dari eragai #umer$#en#or&! anali#a dan

kemuda.an dalam pengenalan noise untuk memi#a.kann%a dari

#ignal.

Membangun Big Data Platform

Seperti data pergudangan! toko 'e atau plat7orm TI! in7ra#truktur

untuk data %ang e#ar memiliki keutu.an %ang unik) Dalam

mempertimangkan #emua komponen plat7orm data %ang e#ar! penting

untuk diingat a.'a tu0uan ak.ir adala. untuk dengan muda.

mengintegra#ikan data %ang e#ar dengan data peru#a.aan Anda untuk

memungkinkan Anda untuk melakukan anali#i# mendalam pada #et datagaungan)

In7ra#tru/ture Re:uirement#

Re:uirement dalam big data in7ra#truktur ,

• data acquisition!

• data organization

• data analysis

Data acquisition

Ta.ap akui#i#i adala. #ala. #atu perua.an e#ar dalam

in7ra#truktur pada .ari-.ari #eelum big data) Karena big data menga/u

pada aliran data dengan ke/epatan %ang lei. tinggi dan ragam %ang

ervaria#i! in7ra#truktur %ang diperlukan untuk mendukung akui#i#i data

%ang e#ar .aru# di#ampaikan #e/ara perla.an! dapat dipredik#i aik di

dalam menangkap data dan dalam mempro#e#n%a #e/ara /epat dan



#eder.ana! dapat menangani volume tran#ak#i %ang #angat tinggi ! #ering

dalam lingkungan terdi#triu#i! dan dukungan %ang ;ek#iel! #truktur data

dinami#)

Dataa#e NoS< #ering digunakan untuk mengamil dan men%impan big

data) Mereka /o/ok untuk #truktur data dinami# dan #angat terukur) Data

%ang di#impan dalam dataa#e NoS< ia#an%a dari eragai

varia#i*ragam karena #i#tem dimak#udkan untuk .an%a menangkap

#emua data tanpa mengelompokkan dan parsing data)

Seagai /onto.! dataa#e NoS< #ering digunakan untuk mengumpulkan

dan men%impan data media #o#ial) Ketika aplika#i %ang digunakan

pelanggan #ering erua.! #truktur pen%impanan diuat tetap #eder.ana)

Ali.-ali. meran/ang #kema dengan .uungan antar entita#! #truktur

#eder.ana #ering .an%a eri#i kun/i utama untuk mengidenti+ka#i titik

data! dan kemudian 'ada. konten memegang data %ang relevan) Struktur

#eder.ana dan dinami# ini memungkinkan perua.an erlang#ung tanpa

reorgani#a#i pada lapi#an pen%impanan)

Data Organization

Dalam i#tila. Data pergudangan kla#ik! pengorgani#a#ian data

di#eut integra#i data) Karena ada volume*0umla. data %ang #angat e#ar!

ada ke/enderungan untuk mengatur data pada loka#i pen%impanan

a#lin%a! #e.ingga meng.emat 'aktu dan uang dengan tidak meminda.-

mida.kan data dengen volume %ang e#ar) In7ra#truktur %ang diperlukan

untuk mengatur data %ang e#ar .aru# mampu mengola. dan

memanipula#i data di loka#i pen%impanan a#li) Bia#an%a dipro#e# didalam

batch untuk mempro#e# data %ang e#ar! eragam 7ormat! dari tidak

ter#truktur men0adi ter#truktur)

Apa/.e =adoop adala. #eua. teknologi aru %ang memungkinkan

volume data %ang e#ar untuk diatur dan dipro#e# #amil men0aga data

pada /lu#ter pen%impanan data a#li) =adoop Di#triuted 8ile S%#tem

$=D8S& adala. #i#tem pen%impanan 0angka pan0ang untuk log 'e

mi#aln%a) og 'e ini erua. men0adi perilaku ro'#ing dengan



men0alankan program MapRedu/e di /lu#ter dan meng.a#ilkan .a#il %ang

dikumpulkan di dalam /lu#ter %ang #ama) =a#il ini dikumpulkan kemudian

dimuat ke dalam #i#tem DBMS rela#ional)

Data Analysis

Karena data tidak #elalu ergerak #elama 7a#e organi#a#i! anali#i# ini

0uga dapat dilakukan dalam lingkungan terdi#triu#i! di mana eerapa

data akan tinggal di mana data itu a'aln%a di#impan dan diak#e# #e/ara

tran#paran dari #eua. data 'are.ou#e) In7ra#truktur %ang diperlukan

untuk menganali#i# data %ang e#ar .aru# mampu mendukung anali#i#

%ang lei. dalam #eperti anali#i# #tati#tik dan data mining! pada data

dengan 0eni# %ang eragam dan di#impan dalam #i#tem %ang terpi#a.!

memerikan 'aktu re#pon lei. /epat didorong ole. perua.an perilaku>

dan mengotomati#a#i keputu#an erda#arkan model analiti#) ?ang paling

penting! in7ra#truktur .aru# mampu mengintegra#ikan anali#i# pada

komina#i data %ang e#ar dan data peru#a.aan tradi#ional) @a'a#an

aru datang ukan .an%a dari anali#i# data aru! tapi dari

menganali#i#n%a dalam kontek# %ang lama untuk memerikan per#pekti7

aru tentang ma#ala. lama)

Mi#aln%a! menganali#i# data per#ediaan dari me#in pen0ual otomati#

/erda# dalam komina#i dengan a/ara kalender untuk tempat di mana

me#in pen0ual otomati# erada! akan menentukan komina#i produk %ang

optimal dan 0ad'al pengi#ian untuk me#in pen0ual otomati#)

Tantangan dalam pemanfaatan Big DataDalam u#a.a peman7aatan Big Data dapat terdapat an%ak

.amatan dan tantangan! eerapa .al diantaran%a er.uungan dengan

data dimana meliatkan a/:ui#ition! #.aring dan priva#i data! #erta dalam

anali#i# dan pengola.an data

Priva#i

Priva#i merupakan i#u %ang paling #en#iti7! dengankon#eptual! .ukum! dan teknologi! Priva#i dapat dipa.ami dalam arti



lua# #eagai u#a.a peru#a.aan untuk melindungi da%a #aing dan

kon#umen mereka) Data-data %ang digunakan * di#impan #eagai

ig data

Access dan sharing

Ak#e# ter.adap data! aik data lama maupun data aru dapat

men0adi .amatan dalam mendapatkan data untuk ig data!

terlei. pada data lama dimana data- data ter#impan dalam entuk

4 entuk %ang ereda-eda dan eragam ataupun dalam entuk

+#ik! ak#e# ter.adap data aru 0uga memutu.kan u#a.a %ang lei.

kerana diperlukann%a iin dan li#en#i untuk mengak#e# data-data

non-puli/ #e/ara legal)

Anali#i#

Beker0a dengan #umer data aru mema'a #e0umla.

tantangan analiti#) relevan#i dan tingkat kepara.an tantangan akan

ervaria#i tergantung pada 0eni# anali#i# #edang dilakukan! dan

pada 0eni# keputu#an %ang ak.irn%a akan i#a diin7orma#ikan ole.

data)

Tergantung dari 0eni# data terdapat 1 kategori dalam anali#i#

data

o Penentuan gamaran %ang enarMa#ala. ini ia#an%a ditemukan dalam penanganan

unstructured user-generated text-based data dimana data

%ang didapatkan elum tentu enar karena data atau #umer

%ang #ala.)o Interpreting Data

Ke#ala.an 4ke#ala.an #eperti Sampling #ele/tion ia#

merupakan .al %ang #ering ditemukan dimana data %ang

ada tidak dapat digunakan untuk mepre#enta#ikan #emua

popula#i %ang ada! dan apop.enia! meli.at adan%a pola

'alaupun tidak enar-enar ada dikarenakan 0umla. data



%ang e#ar! dan ke#ala.an dalam menginterprea#ikan

.uungan dalam data)

o De+ning and dete/ting anomalie#

tantangan #en#itivita# ter.adap #pe#i+#ita#pemantauan#i#tem) Sen#itivita# menga/u pada kemampuan

#i#tem pemantauan untuk mendetek#i #emua ka#u# #uda.

diatur untuk mendetek#i #ementara #pe#i+#ita# menga/u

pada kemampuann%a untuk mendetek#i .an%a ka#u#-ka#u#

%ang relevan) kegagalan untukmen/apai .a#il %ang terak.ir

Tipe I ke#ala.an keputu#an! 0uga dikenal #eagai po#iti7

pal#u> kegagalanuntuk men/apai mantan T%pe II error! atau

negati7 pal#u) Kedua ke#ala.an %ang tidak diinginkan ketika

men/oa untuk mendetek#i mal7ung#i atau anomali!

agaimanapun dide+ni#ikan! untuk eragai ala#an) Po#iti7

pal#u meru#ak krediilita# #i#tem #ementara negati7 pal#u

dilemparkan ragu pada relevan#in%a) Tapi apaka. negati7

pal#u lei. atau kurang erma#ala. daripada po#iti7 pal#u

tergantung pada apa %ang #edang dipantau! dan mengapa itu

#edang dipantau)



implementasi Big Data

Kebutuhan nfrastru!tur

"torage # $uang Penyimpanan

Data ter#truktur #e/ara tradi#ional di#impan di gudang data dan

diek#trak#i dan dimanipula#i menggunakan Stru/tured <uer% anguage

atau S<) Menggunakan teknologi ini untuk pilot dan men%elidiki

kela%akan pro%ek mungkin erman7aat a.kan di mana .al ini

memutu.kan #kema data %ang ereda %ang akan didirikan)

6on#ideration# 7or e#timating t.e t%pe o7 applian/e or /lu#ter ar/.ite/ture

in/lude>

C S/alailit% o7 in7ra#tru/ture i# important to a//ommodate

in/rea#ing data #tore# and un/ertain data take on rate#) To egin

'it. agen/ie# 'ill need to .ave an under#tanding o7 t.e likel%

#ie o7 t.e data t.at 'ill e /aptured and #tored)

Te/.ni:ue# 7or e#timating #torage re:uirement# in/lude>

C E9ten#iilit% 4 t.e ailit% to e9tend t.e ar/.ite/ture 'it.out

introdu/ing limitation#>C Per7orman/e /riteria #u/. a# a//e##iilit% re:uirement#! t.e

numer o7 u#er#! t.e nature o7 t.e :uerie# and relevant #torage

/on+guration#! t.e #peed o7 t.e /.annel# to and 7rom t.e

applian/e#! 7ault toleran/e> and

C T.e /ompatiilit% re:uirement# o7 t.e applian/e) Doe# t.e

applian/e need to e tig.tl% /oupled 'it. produ/tion #%#tem#!

e9i#ting data #tore#! or i# it a #tandalone development

environment)

Persyaratan Pemrosesan

Pili.an in7ra#truktur /o/ok untuk melakukan anali#i# akan tergantung pada

ma#ala. komputa#i dan aplika#i i#ni#) Ada eerapa pili.an untuk



melakukan anali#i#> lemaga akan perlu mempertimangkan /ampuran

%ang tepat untuk tu0uan mereka)

Komputasi grid

Grid 6omputing menggunakan kapa#ita# pengola.an ter#edia di grid

pro#e#or) Bean ker0a alan/ing memungkinkan keter#ediaan tinggi dan

pemro#e#an paralel dari algoritma anali#i#) Su#unan ini /o/ok untuk

aplika#i di mana eerapa per.itungan paralel dapat erlang#ung #e/ara

independen! tanpa perlu erkomunika#i .a#il antara antara pro#e#or)

6onto.n%a adala. individu penilaian ri#iko dalam #uatu popula#i)

Komputasi a%an

teknologi /loud kemungkinan untuk memainkan peran penting untuk

in#tan#i pemerinta. #eagai plat7orm in7ra#truktur untuk aplika#i) =al ini

karena aplika#i BIG DATA dalam an%ak keadaan akan memiliki

per#%aratan 7ung#ional #tail dari in7ra#truktur da#ar! permintaan mereka

untuk pengola.an dan pen%impanan relati7 tidak pa#ti! dan dalam an%ak

ka#u# pro#e# BIG DATA elum terintegra#i dengan aplika#i di-ruma. atau

pro#e# atau i#a dilakukan #eagai komponen di#krit dari u0ung ke u0ung

pro#e# i#ni#) ?ang penting ketika mempertimangkan teknologi /loud

untuk aplika#i! kera.a#iaan dan keamanan ri#iko %ang terkait dengan

komputa#i a'an .aru# diper.atikan dan dikelola er#ama ri#iko lainn%a)

"upercomputers#&lusters

Superkomputer adala. /lu#ter komputer dengan an%ak pro#e#or %ang

identik dan #angat /epat! 0aringan %ang .andal antara pro#e#or %ang

#angat erat) In7ra#truktur ini /o/ok untuk per.itungan #angat tergantung

#eperti pemodelan iklim atau 'aktu korela#i #erial

n'database processing

Teknologi ini mengek#eku#i anali#i# dalam alat pen%impanan data)

Pergerakan data erkurang #eagai pengola.an dilakukan di mana dataerada dan memerikan 'aktu er0alan lei. /epat) Di-a#i# data



pengola.an lei. /o/ok untuk data di#/over% dan ek#plora#i #erta aplika#i

penelitian)

n'memory processing

Seagai teknologi pengola.an da%a meningkat #edang #emakin diuat

ter#edia %ang melakukan anali#i# dalam memori me#in anali#i#) 6a/.ing

data dan menggunakan RAM untuk mempro#e# 7ung#i anali#i# #angat

mengurangi 'aktu re#pon :uer%! memungkinkan real-time anali#i#

pengola.an) Di memori pengola.an %ang digunakan untuk mema'a

anal%ti/# untuk erpua#a peri#ti'a ga%a tran#ak#i #eperti interak#i online

diin7orma#ikan ole. anali#i#)

Proses Bisnis dan Mana(emen Perubahan

Seperti .aln%a teknologi %ang meng.a#ilkan 'a'a#an aru dan

penemuan penting agi lemaga untuk mempertimangkan agaimana

mereka dapat mengua. pro#e# i#ni# untuk mendukung data /apture!

dan untuk mengamil papan .a#il anali#i#)

Pada ta.ap a'al dari #eua. program akan ada ketegangan antara

memperole. kemampuan untuk mengek#plora#i data! praktek tu0uan

i#ni# 0ela# mengartikula#ikan dan di.arapkan laa ata# inve#ta#i) Dengan

pengalaman lei. opini lei. terdidik dari kemungkinan kemali akan

ter#edia) pengamil keputu#an .aru# mengakomoda#i ketidakpa#tian di

a'al mempertimangkan inve#ta#i dan per#etu0uan pro%ek) Mendapatkan

man7aat dari data merupakan pro#e# erulang) Meningkatkan pro#e#

i#ni# dapat men%eakan data %ang lei. ka%a! %ang pada gilirann%a

dapat mendorong inova#i i#ni# lei. lan0ut dan e+#ien#i) ntuk

mendapatkan man7aat! organi#a#i 0uga .aru# erkomitmen untuk

meng.uungkan program mereka untuk peraikan teru#-meneru# pro#e#

i#ni# mereka)

praktek mana0emen perua.an adala. #uatu pertimangan penting agi

lemaga-lemaga %ang menggunakan BIG DATA untuk mengua. pro#e#

i#ni#! ka#u# tuga# dan ean ker0a) Anal%ti/# #ering dilakukan 0au. dari

orang-orang %ang terkena dampak .a#il) Se0au. ini pro%ek prakti# akanmendapat man7aat dari pro#e# perua.an mana0emen #edang



diren/anakan #e0ak dimulain%a pro%ek! dan untuk pro#e# mereka untuk

men%ertakan #take.older %ang terkena dampak)

=al ini penting! ketika mempertimangkan tindakan mana0emen

perua.an! untuk mengakui a.'a anali#i# #uk#e# memin0am lei. dari

metode ilmia. daripada dari reka%a#a) ?ang terak.ir memutu.kan

an%ak kepa#tian #ekitar alat! metodologi! pro#e# dan .a#il #edangkan

anali#i# memutu.kan ;ek#iilita# untuk memungkinkan tim anali#i#

untuk mengu0i .ipote#i# dan memulai pro#e# penemuan dalam pen/arian

mereka untuk 0a'aan) Mengelola ek#pekta#i dari pro#e# dan tingkat

kepa#tian .aru# ditekankan)

Keterampilan dan Personalia

Kendala %ang #igni+kan ter.adap men%adari nilai dari BIG DATA akan

kekurangan akat! terutama dari orang-orang dengan kea.lian %ang

mendalam dalam #tati#tik dan pemela0aran me#in! dan mana0er dan

anali# %ang ta.u agaimana untuk mengopera#ikan peru#a.aan dengan

menggunakan 'a'a#an dari BIG DATA)

Seua. tim pelak#ana pro%ek memutu.kan perpaduan keterampilan

untuk men0adi e7ekti7) Tergantung pada #i7at dari aplika#i ini akan terdiri

dari kepemimpinan! para a.li mana0emen data! "domain" kea.lian atau

i#ni# kea.lian! para ilmu'an data * penamang dan mana0er pro%ek dan

komunikator) Di mana 'a'a#an akan dikera.kan #e/ara opera#ional

terampil "perua.an" mana0er atau "mana0er kampan%e" 0uga erman7aat

#eagai agian dari tim pro%ek) Pendekatan di#iplin linta# ini dian0urkan

apaka. tim ini ada dalam #uatu lemaga! di in#tan#i atau dengan

pen%edia la%anan ek#ternal dan mitra penelitian)

Tata Kelola dan Budaya

Seperti dengan mana0emen data tradi#ional dan anali#i#! tata kelola

program dan pro%ek-pro%ek penting) Seua. kerangka ker0a tata kelola

%ang kuat akan men/akup mana0emen %ang ma#uk akal ri#iko dan 7oku#pada keamanan in7orma#i! mana0emen priva#i dan ke'a0ian legi#lati7



tertentu lemaga %ang erkaitan dengan penggunaan data! akui#i#i dan

kera.a#iaan)

Dalam lingkungan BIG DATA lemaga %ang diperlukan untuk meng.ormati

priva#i dan ertanggung 0a'a ata# keamanan dan penggunaan data!terutama ila data %ang digunakan adala. #en#iti7) Ini men/akup

per#%aratan lemaga untuk memiliki kei0akan priva#i %ang 0ela# dan

tran#paran dan memerikan kepemimpinan eti# pada penggunaan data

%ang e#ar)

Seperti an%ak pro%ek anali#i# e#ar lainn%a %ang dapat mengidenti+ka#i

lingkup untuk perua.an! pro%ek dapat eri#iko - mereka memutu.kan

ek#perimen dan penemuan! mereka i#a memerikan .a#il %ang tak

terduga dan kadang-kadang tidak ada .a#il %ang #igni+kan! dalam ka#u#-

ka#u# %ang #angat 0arang mereka i#a memerikan .a#il %ang pal#u)

Dengan demikian! pengemangan kemampuan perlu diatur dan .arapan

akan perlu dikelola pada a'al pro%ek BIG DATA> ini terma#uk #take.older!

tenaga tekni# dan ma#%arakat)

Karena pro%ek dapat men0adi komplek# dan mengakiatkan .a#il %ang

tidak pa#ti keer.a#ilan mereka #ering dapat ergantung pada penemuan

dan ek#ploita#i peluang %ang mun/ul! adala. penting a.'a lemaga

menumu.kan uda%a %ang dinami# penemuan! ek#perimen! evalua#i

dan umpan alik dan mengek#plora#i penggunaan metodologi #eperti

"Startup Ramping" dan "Agile" %ang mungkin lei. /o/ok untuk pro%ek-

pro%ek anali#i# lei. tradi#ional "ter0un" metodologi) Ini adala. uda%a ini

pen%elidikan dan mengelola .arapan anali#i# data meng.a#ilkan .a#il

%ang akan memungkinkan lemaga untuk me'u0udkan poten#i penu.

dari BIG DATA dan meng.indari ri#iko inve#ta#i %ang erlei.an) Seua.

#pon#or atau 0uara kemampuan pada tim mana0emen #enior adala. #uatu

pertimangan penting untuk mema#tikan a.'a pro%ek-pro%ek melinta#i

ata#-ata# 7ung#ional) =al ini 0uga penting untuk model uda%a

penemuan dan ek#perimen! dan untuk tim mana0emen untuk

mengemangkan ke7a#i.an dalam identi+ka#i nilai poten#ial dari BIG

DATA)

Documents

Materi Sesi Ke-2 Pengembangan Big Data