องค์กรต่าง ๆ ในปัจจุบัน ต่างถูกขับเคลื่อนด้วยข้อมูลจำนวนมหาศาล (Data-Driven) แต่กว่า 73% ของข้อมูลในองค์กรไม่ได้ถูกวิเคราะห์เลย ซึ่งเหตุผลหลัก ๆ ก็คือข้อมูลไม่ได้ถูกจัดการให้เป็นระเบียบนั่นเอง นอกจากนั้นองค์กรเป็นจำนวนมากก็ยังเก็บข้อมูลที่ไร้ประโยชน์ (Dark Data) ไม่ว่าจะเป็น Web Log, อีเมลเก่า ๆ, หรือข้อมูลลูกค้าที่ out of date และเก็บมาแล้วไม่ได้ใช้ไว้จำนวนมาก ในขณะที่ข้อมูลเพิ่มขึ้นเรื่อย ๆ หลาย ๆ อย่างก็เริ่มเข้ามาเป็นข้อจำกัด เช่น กฎหมาย PDPA เป็นต้น ทำให้การจัดการข้อมูลเข้ามามีบทบาทสำคัญมากในองค์กรยุคปัจจุบัน แล้วทำไมองค์กรต่าง ๆ ต้องทำ Data Pipeline และต้องทำให้ดี?

1. Business Autonomy: ข้อมูลทางธุรกิจที่ถูกจัดระเบียบ หรือ normalize จะถูกนำพาโดย Data Pipeline และรวมไว้ในที่เดียว ทำให้ช้อมูลนั้นพร้อมตลอดเวลา ง่ายต่อการดึงข้อมูลมาใช้ หรือวิเคราะห์เพิ่มเติม
2. Business Analysis & BI: สามารถสร้างอิสระในการวางกลยุทธ์ และเป็นสิ่งที่สำคัญในความสำเร็จของการวิเคราะห์ธุรกิจ
3. Productivity: ประหยัดเวลาในการทำงานมากขึ้น เพราะไม่ต้อง double check ข้อมูลเป็นกิจวัตรประจำวัน เนื่องจากไม่มีข้อมูลตกหล่นจากการเคลื่อนย้าย เพราะเป็นการลำเลียงผ่าน Data Pipeline
4. Data Management: การวางระบบ Data Pipeline สามารถจัดการข้อมูลแบบอัตโนมัติ และสม่ำเสมอได้
5. Data Security: Data Pipeline สามารถนำข้อมูลทางธุรกิจของคุณไปจัดเก็บในที่ที่ปลอดภัยได้
6. Data Compliance: Data Pipeline ควบคุมการไหลผ่านข้อมูลไปยังหน่วยงานต่าง ๆ ทำให้สามารถจำกัดสิทธิ์การเข้าถึงข้อมูลของลูกค้าได้

Source: Recon Insight

​

พบกับเวิร์คชอป 2 วันเต็ม ที่จะสอนให้คุณสร้าง End-to-End Data Pipeline โดยใช้ Apache Airflow ตั้งแต่อ่านข้อมูล ทำความสะอาด ปรับให้อยู่ในรูปแบบที่เหมาะสม สุดท้ายคือโหลดข้อมูลเข้า Data Lake/Data Warehouse แบบอัตโนมัติ เพื่อนำไปวิเคราะห์ข้อมูล และประกอบการตัดสินใจทางธุรกิจต่อไป

​

เวิร์คชอปนี้เหมาะสำหรับ

• Data Engineer / Data Architect / Business Intelligence Developer ที่ต้องการเพิ่มทักษะการออกแบบ และสร้าง Data Pipeline เพื่อจัดการข้อมูลขนาดใหญ่แบบอัตโนมัติ
• Software Engineer / Software Developer / Back End Developer / Specialist ที่สนใจสายงานด้าน Data Engineering หรือต้องทำงานเกี่ยวกับข้อมูลจำนวนมาก
• Data Scientist / Data Analyst / Data Researcher ที่ต้องการบริหารจัดการข้อมูลเพื่อนำไปต่อยอดได้อย่างมีประสิทธิภาพ และมีพื้นฐานการเขียนโปรแกรม
• Manager / Project Manager / Team Lead ที่ต้องบริหารงานที่เกี่ยวข้องกับระบบการจัดการข้อมูล หรือต้องการเริ่มทำระบบการจัดการข้อมูลแบบอัตโนมัติ
• คนที่อยากเปลี่ยนสายงานมาทำทางด้าน Data Engineering

​

หลังจากจบเวิร์คชอปนี้คุณ และองค์กรของคุณจะสามารถ...

• สามารถใช้เครื่องมือ Apache Airflow ในการจัดการข้อมูลได้
• ออกแบบ และพัฒนา Automated Data Pipeline เพื่อจัดการข้อมูลขนาดใหญ่ (Big Data) ได้
• ควบคุม ดูแลรักษา รวมไปถึงการหาสาเหตุ และแก้ปัญหาที่เกิดขึ้นที่ Data Pipeline ได้
• นำข้อมูลไปใช้ และต่อยอดได้อย่างมีประสิทธิภาพ โดยไม่ต้องคำนึงถึงข้อมูลที่ตกหล่น และการเข้าถึงข้อมูลของลูกค้า

​

ความรู้พื้นฐานและการเตรียมตัว

• มีความรู้พื้นฐานวิทยาการคอมพิวเตอร์ วิศวกรรมคอมพิวเตอร์ หรือเทียบเท่า
• มีความสนใจในการทำงานด้านข้อมูล และมีความรู้ความเข้าใจเบื้องต้นเกี่ยวกับเทคโนโลยีที่เกี่ยวข้องกับข้อมูลขนาดใหญ่ได้ (Big Data)
• มีทักษะในการเขียนโปรแกรม ถ้าเคยเขียนโปรแกรมภาษา Python มาก่อนจะช่วยให้ติดตามเนื้อหาได้ง่ายขึ้น