Let’s travel together.

AWS Data Pipeline

Apa itu AWS Data Pipeline ? – AWS Data Pipeline adalah alat Amazon Web Services (AWS) yang memungkinkan seorang profesional TI untuk memproses dan memindahkan data antara layanan komputasi dan penyimpanan pada cloud publik AWS dan sumber daya di tempat.

AWS Data Pipeline mengelola dan menyederhanakan alur kerja berdasarkan data, yang mencakup penjadwalan gerakan dan pemrosesan data. Layanan ini berguna bagi pelanggan yang ingin memindahkan data di sepanjang saluran yang ditetapkan sumber, tujuan dan kegiatan pengolahan data.

Dengan menggunakan template Data Pipeline, seorang IT pro dapat mengakses informasi dari sumber data, memprosesnya dan kemudian secara otomatis mentransfer hasil ke sistem atau layanan lain. Akses ke Data Pipeline tersedia melalui Konsol Manajemen AWS, antarmuka baris perintah atau API layanan.

Aktivitas adalah tindakan yang dilakukan oleh AWS Data Pipeline, seperti kueri SQL atau skrip baris perintah. Pengembang dapat mengaitkan prakondisi opsional ke sumber atau aktivitas data, yang memastikan bahwa ia memenuhi ketentuan yang ditentukan sebelum menjalankan suatu aktivitas. AWS Data Pipeline mencakup beberapa aktivitas standar dan prakondisi untuk layanan seperti Amazon DynamoDB dan Amazon Simple Storage Service (S3).

Pengembang dapat mengelola sumber daya atau membiarkan Saluran Data AWS mengaturnya. Opsi sumber daya yang dikelola oleh AWS-Data-Pipeline mencakup instance Amazon EC2 dan gugus Amazon Elastic MapReduce (EMR). Layanan menyediakan jenis instance atau cluster EMR, sesuai kebutuhan, dan menghentikan sumber daya komputasi saat aktivitas selesai.