Data Warehouse

Sumber : Pexels

Pengertian Data Warehouse

Data Warehouse merupakan suatu platform data perusahaan yang dapat digunakan untuk melakukan analisis dan pelaporan secara terstruktur maupun semi terstruktur yang berasal dari berbagai sumber, seperti transaksi penjualan, otomatisasi pemasaran, dan lainya. Platform ini memungkinkan konsolidasi dan integrasi data dalam jumlah besar. Selain itu, juga dirancang agar dapat memberikan pandangan jangka panjang atas data sehingga data warehouse menjadi komponen penting dalam analisis dan pengambilan keputusan yang akurat dalam suatu perusahaan.

Arsitektur Data Warehouse

- Bottom Tier merupakan server database yang digunakan untuk menyimpan data. Biasanya berupa sistem database relasional, yang mengumpulkan, membersihkan, dan mentransformasikan data dari berbagai sumber data melalui proses yang dikenal sebagai Extract, Transform, and Load (ETL) atau Extract, Load, and Transform (ELT).

- Middle Tier berisikan tools analisis seperti OLAP (ROLAP, MOLAP, dan HOLAP.) agar data dapat diakses dan dikelola.

- Top Tier merupakan laposan paling bawah yang menampilkam laporan untuk pengguna.

Komponen Data Warehouse

a. Sumber Data

- Production data: Merupakan data penting yang mendukung tugas dan proses bisnis harian, seperti data penjualan, data produk, dan lainnya.

- Internal data: Data yang berasal dari dalam organisasi, seperti laporan internal, profil pengguna, dan sebagainya.

- Archived data: Data lama yang disimpan sebagai cadangan atau karena sudah tidak aktif digunakan.

- External data: Data yang diperoleh dari sumber eksternal, misalnya data statistik yang relevan dengan bisnis yang disediakan oleh pihak luar.

b. Data Staging

Data staging bertugas mempersiapkan file sebelum disimpan di dalam data warehouse. Di area ini, fungsi utamanya adalah proses ETL (Extraction, Transformation, Load):

- Data Extraction: Proses pengambilan data dari satu atau beberapa sumber, seperti MySQL, XML, atau flat files.

- Data Transformation: Setelah data diekstrak, data diolah dan diubah dari bentuk aslinya agar sesuai dengan kebutuhan data warehouse. Proses transformasi mencakup filter, pembersihan, penggabungan, pemisahan, dan pengurutan.

- Data Loading: Proses menyimpan data yang sudah diolah ke dalam data storage.

c. Data Storage

Setelah tahap ETL di data staging selesai, data disimpan dalam data storage. Data yang disimpan mencakup:

- Metadata: Informasi umum mengenai data.

- Aggregate data/summary data: Ringkasan hasil analisis data, seperti operasi count, max, min, rata-rata, dan sum.

- Raw data: Data mentah yang disimpan dalam data storage untuk diolah lebih lanjut oleh pengguna.

d. Data Marts

Karakteristik data warehouse dibandingkan dengan data mart:

- Cakupan: Data warehouse terpusat dan mencakup beberapa subjek yang terintegrasi, sedangkan data mart bersifat terdesentralisasi, berfokus pada satu subjek tertentu.

- Pengguna: Data warehouse digunakan oleh seluruh organisasi, sementara data mart digunakan oleh departemen atau divisi tertentu.

- Sumber Data: Data warehouse mengambil dari berbagai sumber, sementara data mart bisa berasal dari satu atau beberapa sumber atau dari data yang sudah dikumpulkan di data warehouse.

- Ukuran: Data warehouse berskala besar, sedangkan data mart berskala lebih kecil.

- Desain: Data warehouse dirancang secara top-down, sedangkan data mart didesain secara bottom-up.

- Detail Data: Data warehouse menyimpan data yang lengkap dan rinci, sementara data mart menyimpan data yang lebih ringkas.

e. Information Delivery

Komponen ini bertugas menyampaikan informasi yang lebih sederhana dari data warehouse kepada pengguna dalam bentuk analisis query, data mining, laporan, OLAP, dan lainnya.

Karakteristik Data Warehouse

a. Subject-Oriented

Data warehouse dibangun berdasarkan subjek tertentu. Misalnya, jika subjeknya adalah customers, maka basis data akan dibuat dengan fokus pada informasi yang dibutuhkan oleh pelanggan.

b. Integrated

Data yang tersimpan di dalam data warehouse harus terintegrasi. Contohnya, data dari Saving Account, Checking Account, dan Loans Account digabungkan untuk membentuk satu subjek data yang terintegrasi, yaitu Account.

c. Time-Variant

Data warehouse menyimpan data dalam dimensi waktu, memungkinkan analisis dilakukan berdasarkan periode waktu tertentu yang dibutuhkan oleh analis data.

d. Non-Volatile

Data yang tersimpan dalam database operasional di data warehouse bersifat tetap dan hanya bisa diakses untuk dibaca, bukan untuk dimodifikasi.

Pengaplikasian Data Warehouse

Berikut ini contoh pengaplikasian data warehouse dalam kehidupan sehari-hari

- Perusahaan ritel: Menggunakan data warehouse untuk melacak pengiriman produk, menganalisis perilaku konsumen, dan memperkirakan tren pasar.

- Industri perbankan: Menerapkan data warehouse untuk menganalisis kinerja operasional, mengukur efisiensi antrian, dan meningkatkan layanan nasabah.

- Layanan kesehatan: Memanfaatkan data warehouse untuk menentukan perawatan yang tepat bagi pasien dan memprediksi hasil kesehatan berdasarkan data historis.

- Perusahaan penerbangan: Menggunakan data warehouse untuk menganalisis rute penerbangan, memantau performa operasional, dan mengoptimalkan jadwal penerbangan.

- Sektor publik: Data warehouse diaplikasikan untuk memantau catatan pajak, mengelola fasilitas kesehatan, dan meningkatkan efisiensi pelayanan publik.

Perbedaan data warehouse dengan database operational

Sumber : dokumen pribadi penulis

Jenis-jenis Data Warehouse

a. Cloud Data Warehouse

Cloud data warehouse adalah layanan penyimpanan data berbasis cloud yang dikelola oleh penyedia layanan. Perusahaan tidak perlu berinvestasi pada perangkat keras atau perangkat lunak dan dapat menikmati fleksibilitas harga. Jenis ini semakin populer karena lebih banyak organisasi beralih ke cloud untuk mengurangi infrastruktur lokal.

b. On-Premises atau Data Warehouse Berlisensi

Perusahaan dapat membeli dan mengelola data warehouse secara lokal. Meskipun lebih mahal, opsi ini cocok untuk organisasi yang membutuhkan kontrol penuh atas data dan harus mematuhi standar keamanan dan privasi yang ketat.

c. Data Warehouse Appliance

Data warehouse appliance adalah paket perangkat keras dan perangkat lunak siap pakai yang dapat langsung dihubungkan ke jaringan perusahaan. Dari segi biaya, kecepatan implementasi, dan fleksibilitas, jenis ini berada di antara cloud dan on-premises.

Manfaat Data Warehouse

- Pengambilan keputusan yang lebih baik: Membantu perusahaan membuat keputusan yang lebih tepat berdasarkan data yang terorganisir.

- Penggabungan data dari berbagai sumber: Data dari berbagai sistem dapat dikonsolidasikan dalam satu tempat untuk analisis yang lebih mudah.

- Analisis data historis: Memungkinkan perusahaan untuk menganalisis data dari masa lalu untuk memahami tren dan pola.

- Kualitas, konsistensi, dan akurasi data: Data yang tersimpan di data warehouse lebih terjamin kualitas dan konsistensinya, sehingga mengurangi kesalahan.

- Pemisahan proses analitik dari basis data transaksi: Memisahkan proses analitik dari database transaksi meningkatkan kinerja kedua sistem, sehingga lebih efisien.

Referensi :