Langsung ke konten utama

Data Preparation

 

 
 
Data Preparation adalah proses mengubah data mentah menjadi format yang dapat dianalisis dan diproses dengan lebih efisien. Berikut adalah penjelasan tentang konsep-konsep yang terkait dengan Data Preparation: 

  1. Raw Data (Data Mentah): Ini adalah data dalam format aslinya, seperti yang diperoleh dari sumber data. Data mentah belum diproses atau diubah dan mungkin berisi kesalahan, nilai yang hilang, atau format yang tidak konsisten.
  2. Structured Data (Data Terstruktur): Data yang diorganisir dalam format tertentu, seperti baris dan kolom dalam tabel relasional atau dokumen dengan skema tetap. Structured data memudahkan analisis dan pemrosesan lebih lanjut.
  3. Data Preprocessing (Pemrosesan Awal Data): Ini adalah langkah awal dalam Data Preparation, di mana data mentah diubah menjadi format yang lebih bersih dan terstruktur. Ini meliputi tugas seperti pembersihan data, penanganan nilai yang hilang, penghapusan duplikat, dan normalisasi data.
  4. Exploratory Data Analysis (EDA): Setelah preprocessing, EDA dilakukan untuk memahami karakteristik data, mengidentifikasi pola, dan menemukan wawasan awal. EDA melibatkan visualisasi data, perhitungan statistik deskriptif, dan analisis korelasi.
  5. Insight, Report & Visual Graph: Insight atau Wawasan adalah pemahaman atau wawasan yang diperoleh dari analisis data. Ini dapat berupa pola, tren, hubungan, atau penemuan lain yang relevan dengan tujuan analisis. Laporan atau Report adalah cara untuk mengomunikasikan insight yang diperoleh dari analisis data. Laporan dapat berupa dokumen tertulis, presentasi, atau dashboard yang berisi ringkasan, visualisasi, dan rekomendasi. Visual Graph atau Grafik Visual adalah representasi visual dari data, seperti grafik batang, garis, lingkaran, atau plot. Grafik visual membantu mengomunikasikan informasi dan pola dalam data dengan cara yang mudah dipahami secara visual.

Dalam proses Data Preparation, data mentah diubah menjadi data terstruktur melalui langkah-langkah preprocessing. Setelah itu, Exploratory Data Analysis dilakukan untuk memperoleh wawasan awal. Insight yang diperoleh kemudian dikomunikasikan melalui laporan dan grafik visual untuk membantu pengambilan keputusan atau tindakan lebih lanjut.

Komentar

Posting Komentar

Postingan populer dari blog ini

Data Transform

  Transformasi data merupakan proses mengubah format, skala, atau representasi data dari bentuk awalnya menjadi bentuk yang lebih sesuai atau lebih mudah untuk diproses, dianalisis, atau dimodelkan. Tujuannya adalah untuk meningkatkan kualitas data, mengurangi kekacauan, atau menyesuaikan data agar cocok dengan kebutuhan analisis atau pemodelan yang akan dilakukan. Beberapa teknik transformasi data umum meliputi: Normalisasi: Mengubah nilai-nilai dalam dataset ke skala yang relatif, sering kali antara 0 dan 1, untuk memastikan bahwa semua variabel memiliki pengaruh yang seimbang dalam analisis. Standardisasi: Mengubah nilai-nilai dalam dataset sehingga memiliki mean 0 dan deviasi standar 1, sehingga mendukung perbandingan antar variabel yang memiliki unit yang berbeda. Transformasi Logaritmik: Menggunakan logaritma alami atau logaritma lainnya untuk mengubah distribusi data yang tidak normal atau cenderung mendekati distribusi normal. Transformasi Box-Cox: Menggunakan tr...
Posting Komentar
Baca selengkapnya

Data Visualization

  Data Visualization atau Visualisasi Data adalah representasi grafis dari informasi dan data. Dengan visualisasi data, informasi yang kompleks dapat disajikan dalam format yang lebih mudah dipahami dan diinterpretasikan. Tujuan utama visualisasi data adalah untuk mengomunikasikan informasi secara jelas dan efisien kepada pengguna. Beberapa tipe visualisasi data yang umum digunakan: Grafik Batang (Bar Chart) : Digunakan untuk membandingkan nilai-nilai dari beberapa kategori atau kelompok data. Grafik Garis (Line Chart) : Menampilkan perubahan data dalam rentang waktu atau urutan tertentu. Grafik Pie (Pie Chart) : Menunjukkan proporsi atau persentase dari keseluruhan data dalam bentuk lingkaran. Histogram : Menggambarkan distribusi frekuensi data dalam bentuk batang. Peta (Maps) : Memvisualisasikan data berdasarkan lokasi geografis. Scatter Plot : Menunjukkan hubungan antara dua set data numerik. Treemap : Menampilkan hierarki data dalam bentuk persegi panjang bersarang. Vis...
Posting Komentar
Baca selengkapnya

Pertemuan 10 Data Mining

  Supervised learning mengacu pada sebuah teknologi kecerdasan buatan tergolong ke dalam kategori machine learning, di mana teknologi ini melatih algoritma dari perangkat komputer pada proses input data yang telah diberi label untuk output tertentu. Singkatnya, perancangan jenis learning ini khusus untuk melatih input data. Algoritma komputer dilatih sampai mendapat hasil yakni dapat melakukan deteksi pola serta hubungan mendasar antara input data dan output label. Nantinya, hal itu akan memungkinkan penyajian dengan hasil pelabelan yang akurat. Pembelajaran satu ini dapat membantu perusahaan dalam memecahkan masalah berskala besar. Jenis machine learning ini cocok untuk menyelesaikan masalah klasifikasi maupun regresi, seperti melakukan penentuan terhadap kategori yang ada pada artikel maupun melakukan prediksi terkait dengan volume penjualan pada waktu tertentu di masa mendatang. Tujuan jenis learning satu ini adalah untuk memperdalam pemahaman data dalam konteks pertanyaan. Supe...
Posting Komentar
Baca selengkapnya