Archive | Datawarehouse RSS feed for this section

OLAP – olapcube

13 Jan

Pendahuluan

OLAP adalah salah satu metode untuk menyajikan data dalam bentuk multidimensi. Kepanjangan dari OLAP adalah Online Analytical Processing. Data yang akan di sajikan menggunakan olap harus sudah tersimpan dalam bentuk data multidimensi, sehingga mempercepat proses dalam menyajikan report.

OLAP biasanya di gunakan dalam sistem datawarehouse, yang menyajikan data dalam subjek tertentu dengan dimensi yang sangat banyak.

OLAP bisa di sajikan menggunakan berbagai macam tool. Salah satu nya adalah olapcube. Tool ini free.

OLAP Cube

OlapCube bisa di dapatkan di http://www.olapcube.com/ Untuk instalasi Olapcube tidak saya jelaskan di sini karena proses instalasi cukup mudah.

Langkah umum untuk menggunakan olapcube adalah

  1. Setting datasource database datawarehouse.
  2. Pilih tabel data yang akan di akses
  3. Menentukan dimensi
  4. Menentukan data yang akan di hitung / di ukur / measure
  5. Build cube /membangun cube

Setting datasource

Langkah

  1. Jalankan olapcube. Muncul halaman untuk memilih datasource kita. Dalam contoh ini yang akan di gunakan adalah database access, jadi access di pilih sesuai dengan gambar berikut
  2. Selanjutnya, pilih file msAccess yang berfungsi sebagai sumber data, dan pilih tabel yang akan di sajikan, seperti pada gambar berikut
  3. Struktur tabel yang kita pilih akan tampil beserta data yang tersimpan dalam tabel tersebut.

Menentukan Dimensi

Langkah berikutnya adalah menentukan dimensi. Dimensi ini akan menentukan filtering data yang akan kita pakai. Dimensi juga bisa kita susun secara hirarki. Langkah

  1. Pilih field dimensi yang akan di tampilkan. Yang dipilih adalah “item data dimensi”, bukan kode. Sebagai contoh, ada dimensi nama proyek yang di ambil dari kolom nm_proyek di tabel Proyek. Klik nm_proyek, dan klik “New Dimension”, maka dimensi yang kita buat akan muncul di tab Dimensions, seperti pada gambar berikut
  2. Nama dimensi bisa kita “rename” sesuai dengan kebutuhan kita.
  3. Masukkan dimensi lainnya, dalam kasus di atas saya memasukkan dimensi jenis tagihan, nama vendor, dan tanggal hutang, sehingga dimensi yang di definisikan tampak pada gambar berikut
  4. Dalam contoh gambar di atas, ada 4 dimensi yang di gunakan, yaitu dimensi jenis tagihan, dimensi proyek, dimensi vendor, dan dimensi tglHutang. Pada dimensi tanggal hutang, di buat hirarki, yaitu berdasarkan tahun, dan berdasarkan tahun-bulan

Menentukan Measure

Measure adalah data yang akan kita analisa atau kita ukur. Dalam contoh di atas, kita akan menganalisa data Hutang Kotor.

Langkah

  1. Klik field yang akan kita analisa, dan klik ‘New Measure’, seperti pada gambar berikut
  2. Sehingga di tab measures akan muncul seperti pada gambar berikut

Build Cube

Langkah

  1. Klik Build Cube seperti gambar,

Proses Build akan berjalan. Hasil tampilan bisa kita modifikasi seperti pada gambar berikut

Advertisements

Nilai Pengantar Alpro A/B + Datawarehouse A

8 Jan

7. Pengantar Algoritma Pemrograman A

8. N.Pengantar Algoritma Pemrograman B

Nilai Prak Alpro A1

Nilai Prak Alpro A2

Nilai Prak Alpro A3

Nilai Prak Alpro B2

Nilai Prak Alpro B3

Nilai Prak Alpro B1

7. Datawarehouse A

Jika ada pertanyaan, silahkan di sampaikan sebelum tanggal 11 Januari 2013

Apatar – ETL’s tool

3 Jan

Introduction

Apatar adalah salah satu tool untuk melakukan proses ETL ( Extracticion, Transformation, and Loading). Proses ETL kita lakukan ketika kita akan

  1. Memindahkan data dari 1 data source ke penyimpanan lain
  2. Mengintegrasikan data dari banyak data source ke 1 penyimpanan

Proses ETL ini merupakan salah satu stage penting dalam proses datawarehouse, dimana dalam tahap ini berfungsi untuk mengintegrasikan data dari berbagai data source ke database datawarehouse (DW). Data yang telah terkumpul di DW bisa di sajikan menggunakan OLAP, data mining, ataupun bentuk report lainnya sesuai kebutuhan data yang akan di sajikan.

Apatar bisa di dapatkan di : http://apatar.com/download.html

Apatar adalah aplikasi Open Source. Skema /Rancangan ETL dalam Apatar di sebut Datamap

Tahapan Setting Datamap / ETL

  1. Menentukan sumber data / Connectors
  2. Menentukan Target / Connector
  3. Menentukan Operation / Proses yang di lakukan

Skenario Contoh Penggunaan

Dalam skenario, kita memiliki datasource dengan struktur database (PDM) tampak pada gambar berikut

Dari sumber data tersebut, mau di pindahkan ke sebuah database untuk keperluan pengolahan datawarehouse dengan struktur tabel seperti berikut:

Tahapan perpindahankan adalah

  1. Memindahkan data tabel proyek
  2. Memindahkan data tabel jns_tag
  3. Memindahkan data tabel gvendor ke vendor
  4. Memindahkan data tabel chbaru + phbaru ke fact_hutang

Penyiapan Sumber Data / Data Source / Connectors

Adalah sumber data di mana data awal berasal atau data tujuan kita pindahkan. Langkah penyiapan

  1. Buka Apatar, Create New DataMap ( asumsi nya kita akan membuat datamap baru, jika sudah pernah membuat, pilih “Load DataMap”)
  2. Di bagian “connetors”, pilih DMBS sumber data. Apatar men-support berbagai macam sumber data. Dalam kasus kita, kita menggunakan “MS Acces”, Klik “MS Access”, dan Drag ke dalam datamap seperti pada gambar berikut:
  3. Arahkan Kursor ke MsAccess, klik kanan, pilih “Configure”, seperti gambar berikut
  4. Akan muncul Form. Di bagian file, pilih file msAccess sumber. Inputkan Username dan password, dan klik Next, seperti pada gambar berikut
  5. Akan muncul tabel yang ada di dalam database yang telah kita pilih. Pertama kali kita akan memindahkan tabel proyek, pilih proyek dan klik next seperti pada gambar berikut
  6. Akan muncul Mode Insert, Update, dan Delete. Mode ini menentukan perlakukan ke target nya nanti. Kita pilih Update, dan kita klik Primary Key dari tabel yang telah kita pilih, Kemudian klik Finish seperti pada gambar berikut
  7. Lakukan langkah no 2 s/d no 6 untuk tabel Jenis tagihan, gvendor, chbaru, phbaru, sehingga menghasilkan datamap seperti pada gambar berikut

Penyiapan Datasource Target

Penyiapan datasource target sama dengan penyiapan sumber data. Lakukan langkah 1 s/d 6 seperti di atas dengan mengacu ke file database tujuan. Datasource target di arahkan ke tabel proyek, jns_tag, vendor, dan fact_hutang. Hasil data map tampak pada gambar berikut

Setup Operation / Transformation

Langkah berikutnya adalah langkah untuk menentukan transformasi atau perpindahan data dari data sumber ke tujuan. Langkah berikut adalah transformasi langsung jika kolom sumber dan kolom target sama persis.

  1. Dari datasource sumber proyek, Beri Link dengan cara klik kiri di bagian warna merah – tahan, drag ke warna hijau di datasource proyek target, sehingga tampak pada gambar berikut
  2. Lakukan hal yang sama untuk jtagihan.
  3. Utk gvendor ke vendor ada perbedaan karena kolom yang akan di pindahkan tidak sama. Buka tab operation, drag “transform” ke antara gvendor dan vendor. Beri Link, sehingga tampak seperti berikut
  4. Double klik transform, akan muncul window. Drag kolom sumber yang akan di pindahkan, dan drag kolom target tujuan, dan buat link. Jika sudah, klik OK seperti gambar berikut
  5. Lakukan hal yang sama untuk chbaru dan phbaru, sehingga tampak seperti berikut

Selanjutnya kita bisa me-Run datamap yang telah kita desain. Klik menu File, Run. Cara lain, kita bisa me run per Link yang kita buat, dengan cara arahkan kursor ke datasource, klik kanan, pilih Run and Preview

Kuliah Datawarehouse – A, Senin 19 Nov’12

19 Nov

Kuliah Datawarehouse –A, Senin 19 Nov’12

Inqury dan Discovery : menyelidiki, mencari tau, menemukan

Sesuai dengan project anda

  1. Gambarkan struktur Data source anda,
  2. Gambarkan struktur Datawarehouse anda, bangun / Create database datawarehouse anda
  3. Sesuai dengan tool ETL yang telah anda pilih, gambarkan langkah demi langkah untuk memindahkan data dari data source anda ke salah satu dimensi dalam datawarehouse anda

Dikerjakan berkelompok, di tulis di msWord, di email ke ocal_sophan@yahoo.com dengan subjek :  DW A Kel[xx] , di email paling Lambat Senin 19 Nov’12 jam 19.00

Unjuk Kerja anda ke Dosen, Kamis 22 Nov’12 jam 08.00 di Ruang Dosen.

Datawarehouse Kelas –A, Senin 12 November 2012

12 Nov

Datawarehouse Kelas –A, Senin 12 November 2012

Tugas Inquery and Discovery

Anda telah menerima materi mulai dari apa itu datawarehouse, konsep datawarehouse, komponen datawarehouse, arsitektur datawarehouse, infrastruktur datawarehouse, Desain Datawarehouse, Dimensi, Star Schema.

Salah satu building Block dalam Datawarehouse adalah ETL (Extraction, Transformation, Loading), yaitu komponen yang berfungsi untuk memindahkan data dari datasource OLTP ke database Datawarehouse yang telah kita bangun. Banyak tool ETL yang free ( bisa anda cari dengan keyword : ‘free ETL tools’), informasi tambahan tentang ETL bisa anda akses di

          http://www.etltools.org/

          http://open-bi.blogspot.com/2009/11/quick-list-of-etl-tools.html

Saya minta anda ( kelompok) melakukan Inquery tentang salah satu tool ETL (tool bebas). Link Download bisa anda dapat dari 2 link di atas. Beberapa hal yang perlu anda cari tahu adalah

          Bagaimana menggunakannya

          Bagaimana memindahkan data dari 1 data source (Database / Data OLTP) ke database Datawarehouse

Saya minta anda menunjukkan hasil kerja anda besok Selasa, 12 Nov’12 jam 11.00 di Rektorat Baru Lantai 1

Jika ada pertanyaan, silahkan di sampaikan ke ocal_sophan@yahoo.com, Ketua kelas mohon membuat pengumuman di kelas.