Archive | Datawarehouse RSS feed for this section

OLAP – olapcube

13 Jan

Pendahuluan

OLAP adalah salah satu metode untuk menyajikan data dalam bentuk multidimensi. Kepanjangan dari OLAP adalah Online Analytical Processing. Data yang akan di sajikan menggunakan olap harus sudah tersimpan dalam bentuk data multidimensi, sehingga mempercepat proses dalam menyajikan report.

OLAP biasanya di gunakan dalam sistem datawarehouse, yang menyajikan data dalam subjek tertentu dengan dimensi yang sangat banyak.

OLAP bisa di sajikan menggunakan berbagai macam tool. Salah satu nya adalah olapcube. Tool ini free.

OLAP Cube

OlapCube bisa di dapatkan di http://www.olapcube.com/ Untuk instalasi Olapcube tidak saya jelaskan di sini karena proses instalasi cukup mudah.

Langkah umum untuk menggunakan olapcube adalah

  1. Setting datasource database datawarehouse.
  2. Pilih tabel data yang akan di akses
  3. Menentukan dimensi
  4. Menentukan data yang akan di hitung / di ukur / measure
  5. Build cube /membangun cube

Setting datasource

Langkah

  1. Jalankan olapcube. Muncul halaman untuk memilih datasource kita. Dalam contoh ini yang akan di gunakan adalah database access, jadi access di pilih sesuai dengan gambar berikut
  2. Selanjutnya, pilih file msAccess yang berfungsi sebagai sumber data, dan pilih tabel yang akan di sajikan, seperti pada gambar berikut
  3. Struktur tabel yang kita pilih akan tampil beserta data yang tersimpan dalam tabel tersebut.

Menentukan Dimensi

Langkah berikutnya adalah menentukan dimensi. Dimensi ini akan menentukan filtering data yang akan kita pakai. Dimensi juga bisa kita susun secara hirarki. Langkah

  1. Pilih field dimensi yang akan di tampilkan. Yang dipilih adalah “item data dimensi”, bukan kode. Sebagai contoh, ada dimensi nama proyek yang di ambil dari kolom nm_proyek di tabel Proyek. Klik nm_proyek, dan klik “New Dimension”, maka dimensi yang kita buat akan muncul di tab Dimensions, seperti pada gambar berikut
  2. Nama dimensi bisa kita “rename” sesuai dengan kebutuhan kita.
  3. Masukkan dimensi lainnya, dalam kasus di atas saya memasukkan dimensi jenis tagihan, nama vendor, dan tanggal hutang, sehingga dimensi yang di definisikan tampak pada gambar berikut
  4. Dalam contoh gambar di atas, ada 4 dimensi yang di gunakan, yaitu dimensi jenis tagihan, dimensi proyek, dimensi vendor, dan dimensi tglHutang. Pada dimensi tanggal hutang, di buat hirarki, yaitu berdasarkan tahun, dan berdasarkan tahun-bulan

Menentukan Measure

Measure adalah data yang akan kita analisa atau kita ukur. Dalam contoh di atas, kita akan menganalisa data Hutang Kotor.

Langkah

  1. Klik field yang akan kita analisa, dan klik ‘New Measure’, seperti pada gambar berikut
  2. Sehingga di tab measures akan muncul seperti pada gambar berikut

Build Cube

Langkah

  1. Klik Build Cube seperti gambar,

Proses Build akan berjalan. Hasil tampilan bisa kita modifikasi seperti pada gambar berikut

Advertisements

Apatar – ETL’s tool

3 Jan

Introduction

Apatar adalah salah satu tool untuk melakukan proses ETL ( Extracticion, Transformation, and Loading). Proses ETL kita lakukan ketika kita akan

  1. Memindahkan data dari 1 data source ke penyimpanan lain
  2. Mengintegrasikan data dari banyak data source ke 1 penyimpanan

Proses ETL ini merupakan salah satu stage penting dalam proses datawarehouse, dimana dalam tahap ini berfungsi untuk mengintegrasikan data dari berbagai data source ke database datawarehouse (DW). Data yang telah terkumpul di DW bisa di sajikan menggunakan OLAP, data mining, ataupun bentuk report lainnya sesuai kebutuhan data yang akan di sajikan.

Apatar bisa di dapatkan di : http://apatar.com/download.html

Apatar adalah aplikasi Open Source. Skema /Rancangan ETL dalam Apatar di sebut Datamap

Tahapan Setting Datamap / ETL

  1. Menentukan sumber data / Connectors
  2. Menentukan Target / Connector
  3. Menentukan Operation / Proses yang di lakukan

Skenario Contoh Penggunaan

Dalam skenario, kita memiliki datasource dengan struktur database (PDM) tampak pada gambar berikut

Dari sumber data tersebut, mau di pindahkan ke sebuah database untuk keperluan pengolahan datawarehouse dengan struktur tabel seperti berikut:

Tahapan perpindahankan adalah

  1. Memindahkan data tabel proyek
  2. Memindahkan data tabel jns_tag
  3. Memindahkan data tabel gvendor ke vendor
  4. Memindahkan data tabel chbaru + phbaru ke fact_hutang

Penyiapan Sumber Data / Data Source / Connectors

Adalah sumber data di mana data awal berasal atau data tujuan kita pindahkan. Langkah penyiapan

  1. Buka Apatar, Create New DataMap ( asumsi nya kita akan membuat datamap baru, jika sudah pernah membuat, pilih “Load DataMap”)
  2. Di bagian “connetors”, pilih DMBS sumber data. Apatar men-support berbagai macam sumber data. Dalam kasus kita, kita menggunakan “MS Acces”, Klik “MS Access”, dan Drag ke dalam datamap seperti pada gambar berikut:
  3. Arahkan Kursor ke MsAccess, klik kanan, pilih “Configure”, seperti gambar berikut
  4. Akan muncul Form. Di bagian file, pilih file msAccess sumber. Inputkan Username dan password, dan klik Next, seperti pada gambar berikut
  5. Akan muncul tabel yang ada di dalam database yang telah kita pilih. Pertama kali kita akan memindahkan tabel proyek, pilih proyek dan klik next seperti pada gambar berikut
  6. Akan muncul Mode Insert, Update, dan Delete. Mode ini menentukan perlakukan ke target nya nanti. Kita pilih Update, dan kita klik Primary Key dari tabel yang telah kita pilih, Kemudian klik Finish seperti pada gambar berikut
  7. Lakukan langkah no 2 s/d no 6 untuk tabel Jenis tagihan, gvendor, chbaru, phbaru, sehingga menghasilkan datamap seperti pada gambar berikut

Penyiapan Datasource Target

Penyiapan datasource target sama dengan penyiapan sumber data. Lakukan langkah 1 s/d 6 seperti di atas dengan mengacu ke file database tujuan. Datasource target di arahkan ke tabel proyek, jns_tag, vendor, dan fact_hutang. Hasil data map tampak pada gambar berikut

Setup Operation / Transformation

Langkah berikutnya adalah langkah untuk menentukan transformasi atau perpindahan data dari data sumber ke tujuan. Langkah berikut adalah transformasi langsung jika kolom sumber dan kolom target sama persis.

  1. Dari datasource sumber proyek, Beri Link dengan cara klik kiri di bagian warna merah – tahan, drag ke warna hijau di datasource proyek target, sehingga tampak pada gambar berikut
  2. Lakukan hal yang sama untuk jtagihan.
  3. Utk gvendor ke vendor ada perbedaan karena kolom yang akan di pindahkan tidak sama. Buka tab operation, drag “transform” ke antara gvendor dan vendor. Beri Link, sehingga tampak seperti berikut
  4. Double klik transform, akan muncul window. Drag kolom sumber yang akan di pindahkan, dan drag kolom target tujuan, dan buat link. Jika sudah, klik OK seperti gambar berikut
  5. Lakukan hal yang sama untuk chbaru dan phbaru, sehingga tampak seperti berikut

Selanjutnya kita bisa me-Run datamap yang telah kita desain. Klik menu File, Run. Cara lain, kita bisa me run per Link yang kita buat, dengan cara arahkan kursor ke datasource, klik kanan, pilih Run and Preview

Sekilas DTS dan Olap SQLServer 2000 SP4

25 Dec

Perhatian:

Panduan berikut hanya digunakan untuk pendidikan, gunakan software ASLI

Kebutuhan Sistem:

  • Dual Core, mem 3GB, Win7 Professional
  • UnInstall MSSQL2008 / MSSQL2005
  • Master SQL Server 2000

Instalasi SQL Server 2000

Hasil Instalasi

Studi Kasus OLTP

Sistem Informasi yang dijadikan contoh adalah sebuah sistem pembayaran hutang di sebuah perusahaan Kontraktor. Setiap proyek memiliki database proyek tersendiri, yang menyimpan data hutang mereka, data usulan pembayaran atas hutang mereka, dan data pembayaran hutang mereka. Pada contoh ini, yang ditampilkan fokus pada transaksi input hutang proyek.

Struktur Organisasi tampak dalam gambar berikut :

Dalam 1 Cabang, mengkoordinir beberapa proyek yang berjalan. Jumlah proyek dalam 1 tahun sd 200 proyek, dalam contoh ini hanya digunakan beberapa proyek saja, yang di ambil dari database proyek X dan database cabang Y

Berikut PDM Database proyek X

Berikut PDM Database Cabang Y

Desain Dimensi dan Fact Tables

Sebagai contoh, akan dibangun datawarehouse yang akan mengamati nilai hutang dari setiap proyek untuk tiap bulan, setiap vendor, berapa nilai pajak nya, dan berapa yang sudah lunas.

Desain Dimensi dan Fact tables :

Dimensi

Waktu

Proyek

Jenis Tagihan

Vendor

Tahun

Bulan

Quarter

Nama proyek

Cabang

Tahun proyek

Jenis Tagihan

Nama vendor

Kota Vendor

Fact : Data hutang :Kd_proyek, kd_jns_tgh, no_register, kd_vendor, cp, jkotor, pph, lain, jbersih, lunas

Desain PDM Database Datawarehouse

Proses ETL menggunakan SQL Server 2000 DTS (Data Transformation Service)

Tool ETL ini adalah salah satu tool untuk melakukan proses ETL, selain tool yang lain ( Pentaho Data Integration, BENETL, Self Development, ETLTOOLS, dsb).

Untuk Mendesaign, buat new packages dari modul DTS sesuai dengan gambar berikut :

Setelah package baru dibuat, langkah berikutnya adalah mendeklarasikan database sumber (OLTP), dan database tujuan (DW), yang di deklarasikan dengan menggunakan connection sesuai dengan gambar berikut :

Setelah semua Datasource (Proyek X, Cabang Y, DW )dibuat, akan muncul gambar yang menampilkan semua connection yang telah dibuat sebagai berikut :

Langkah berikutnya adalah mendesain apa yang akan di transfer ke DW, dibuat bertahap, misalnya

  1. Dari Connection Proyek X, transfer tabel proyek ke DW
  2. Dari Connection CabangY, transfer tabel proyek ke DW
  3. Dari Connection Proyek X, transfer tabel jns_tagihan ke DW
  4. Dari Connection Cabang Y, transfer tabel jns_tagihan ke DW
  5. Dari Connection Proyek X, transfer tabel Vendor ke DW
  6. Dari Connection Proyek Y, transfer tabel Vendor ke DW
  7. Dari Connection Proyek X, transfer tabel phbaru ke DW
  8. Dari Connection Cabang Y, transfer tabel Phbaru ke DW
  9. Dari Connection Cabang Y, transfer tabel chbaru ke DW

Sebagai contoh, untuk membuat task agar mentransfer proses no1, langkahnya :

Pilih ‘Transform Data Task’, hubungkan antara Proyek X dengan DW. Akan muncul Garis panah, Double Klik, sesuai dengan gambar berikut:

Dalam contoh berikut, telah dibuat 4 ‘Transform Data Task’

Langkah selanjutnya adalah menentukam urutan proses mana yang akan dilakukan dahulu, langkahnya dengan arahkan kursor ke ‘Transform data task’, klik kanan, pilih Workflow properties. Inputkan proses apa yang akan dilakukan terlebih dahulu, seperti dalam contoh berikut :

Hasil desain secara lengkap, tampak pada gambar berikut :

Langkah selanjutnya, kita bisa melakun Run Dari desain DTS yang telah kita buat melalui menu Package, Execute. Dari Hasil Running, kita bisa melakukan revisi terhadap desain kita.

OLAP Service / Analysis Services

Kita lakukan instalasi ulang sesuai dengan gambar :

Kuliah ES / DW 21 Nov 2011

19 Nov

2011 11 19 – tugas

Silahkan Cek di File. Jika ada pertanyaan, silahkan di sampaikan.

Absensi kuliah dilakukan pada pertemuan berikutnya.

Nilai UTS PBO, Enterprise System, Datawarehouse Ganjil 2011/2012

17 Nov

DATA WAREHOUSE
Nilai TK ENTERPRISE SYS
PBO B – UTS

Jika ada pertanyaan, silahkan disampaikan via email.