Data Warehouse adalah sebuah system yang terdiri dari beberapa proses dan database yang digunakan untuk menyediakan infrastruktur data bagi EIS dan DSS. Data Warehouse diorganisasikan oleh data subjek yang terkait dengan organisasi. Contohnya : Costumer, Claim, Shiftment, Product.
Data Warehousing Adalah Sebuah Proses
* Dinamika fundamental pada inti dari data warehouse
Pendukung keputusan adalah sebuah proses pembelajaran
1. Data pada warehouse mengubah pengertian pengguna terhadap pekerjaan mereka.
2. Dengan berubahnya pengertian mereka, keperluan informasi mereka juga berubah.
3. Dengan berubahnya keperluan informasi mereka, data warehouse juga berubah.
4. Kembali ke nomor 1.
Teknik Data Warehouse
1. Pengidentifikasian Keperluan
• Suatu hal yang sangat sulit
* Keperluan pengguna
* Ketersediaan data
• Laporan yang sudah ada dapat ditiru
• Wawancara dengan pengguna
• Pekerjaan menerka secara intelligent oleh analis yang berilmu
• Sekali sistem dibangun maka semua jenis keperluan akan muncul
* Feedback sangat diperlukan
Pengambilan, Transformasi dan Penyimpanan Data
Sebagian besar usaha, waktu dan biaya muncul di sini
• Tool ETL untuk pengambilan, transformasi dan penyimpanan sudah dipasarkan tapi sedikit yang memakai
• Untuk ETL yang dirancang sendiri, secara rata-rata untuk setiap data warehouse (menurut survey):
Pengambilan –16 program/875 baris per program
Transformasi –12 program/741 baris per program
Pengecekan integritas –9 program/522 baris per program
• Mengidentifikasikan data yang berubah sangat sulit
Disebut dengan Changed Data Capture (CDC)
Banyak yang melakukan refresh lengkap
2. Pengambilan Data Produksi
• Pengambilan utama
Memerlukan data dengan format yang sudah ada
• Mengidentifikasikan records baru dan yang sudah berubah
• Mengeneralisasikan kunci untuk mengubah dimensi
• Mentransformasikan ke load record image
• Migrasi dari sistem yang sudah ada ke sistem data warehouse
• Melakukan sorting dan membangun agregat
• Mengeneralisasikan kunci untuk agregat
• Menyimpan dan melakukan indexing
• Perkecualian proses
Menjamin integritas keterkaitan
• Jaminan kualitas
• Mempublikasikan
3. Pengambilan Data Utama
• Memerlukan koneksi fisik untuk sistem sumber
Keamanan
FT
Manajemen pergerakan volume data dalam jumlah besar
• Memerlukan definisi format yang sudah ada dan pengertian bagaimana sistem tersebut bekerja
4. Arsitektur Warehouse
Opsi Utama:
• Data Warehouse Perusahaan
• Sumber data terpusat
• Besar dalam hal scope dan terkadang ukuran
• Mengoptimalkan proses pengambilan
• Memaksimalkan keuntungan pengintegrasian
• Cara pandang pengguna
• Sulit untuk memenuhi keperluan kelompok pengguna yang berbeda
• Proyek sering gagal
• Data Mart yang mempunyai ketergantungan
Sebagian dari data diambil dari data warehouse perusahaan dan diorganisasikan untuk memenuhi keperluan bisnis dan aplikasi
Umumnya data warehouse perusahaan dalam bentuk 3NF Data Mart di-de-normalisasikan
OLAP sebagai contohnya
Dalam kenyataannya, sulit untuk mendapatkan semua data yang diperlukan dari penyimpan data perusahaan
Pendekatan paling umum (secara teori)
• Data Mart yang berdiri sendiri
Banyak data warehouse kecil di berbagai tempat
Umumnya mengikuti pendekatan berdimensi
Kurang integrasi
Tidak konsisten
Duplikasi sumber data
Hal yang paling menyulitkan
Tapi bisa digunakan
• Masalahnya adalah dalam jangka waktu menengah maupun panjang
5. Perancangan Database secara Fisik
Hal-hal yang perlu untuk dipikirkan:
• Standar
• Lokasi file secara fisik
• Volume data
Index, agregat, dan detail data
• Kelangkaan data
• Konfigurasi disk
• Pola penggunaan
• Jumlah dan distribusi pengguna
• Frekuensi update
• Kemampuan pengembangan
Data, penggunaan dan query
6. Policy untuk operasional
• Manajemen dengan ritme harian untuk data load dan query
Policies untuk semua hal yang berbeda yang dapat menjadi masalah dalam proses data load
Data warehouse sebagai sistem yang amburadul
• Manajemen untuk performance query
Mengatur indes, agregat, partisi untuk memastikan waktu respon yang baik
Struktur Data Warehouse
Tidak ada komentar:
Posting Komentar