COOL IT IDEAS AND STUFF
Data Engineering Projects for FREE
20-Sep-23
คัมภีร์เทพ IT
See the original english version Click here!
การทำ Project จะช่วยทำให้ Data Engineer สามารถเรียนรู้จากสิ่งที่ทำได้เป็นอย่างดี และบทความนี้ก็เป็น 5 Data Engineering Projects ที่คุณสามารถใช้ศึกษาเรียนรู้ได้ฟรี ๆ ในช่วงวันหยุด โดยคุณสามารถเรียนรู้สิ่งต่าง ๆ เช่น AWS, GCP และ Azure
สิ่งที่คุณจะเรียนรู้จาก Project นี้:
- Python และ PySpark
- SQL
- วิธีทำความเข้าใจปัญหาทางธุรกิจ
- AWS Services — Athena, Glue, Redshift, S3, IAM
- การสร้าง Data Pipeline และ Schedule พวกมัน
2. Twitter Data Pipeline using Airflow
สิ่งที่คุณจะเรียนรู้จาก Project นี้:
- Python
- พื้นฐานของ Airflow
- ทำงานกับ Twitter Data และ Package — Tweepy
- Python Package — Pandas
- การเขียน ETL Job และการเก็บ Data บน S3
3. Stock Market Real-Time Data Analysis using Kafka, AWS, and Python
สิ่งที่คุณจะเรียนรู้จาก Project นี้:
- การสร้าง Real-Time App โดยใช้ Python
- ทำความเข้าใจพื้นฐานของ Kafka
- ติดตั้ง Kafka บน EC2
- Generate Real-Time Pipeline
- วิเคราะห์ Data แบบ Real-Time
4. Uber Data Analytics Project On GCP
สิ่งที่คุณจะเรียนรู้จาก Project นี้:
- วิธีทำความเข้าใจ Raw Data
- การสร้าง Data Model (Lucid Chart)
- การเขียน ETL Script (Python)
- Modern Data Pipeline Tool (Mage)
- SQL Queries เพื่อการวิเคราะห์
สิ่งที่คุณจะเรียนรู้จาก Project นี้:
- การ Extract Data จาก APIs
- เรียนรู้ Azure Services DataBricks, DataFactory และ Synapse Analytics
- การเขียน Spark Code
- SQL Queries เพื่อการวิเคราะห์
ที่มา: https://naemazam.medium.com/
รับตำแหน่งงานไอทีใหม่ๆ ด้วยบริการ IT Job Alert
|
|
อัพเดทบทความจากคนวงในสายไอทีทาง LINE ก่อนใคร
อย่าลืมแอดไลน์ @techstarth เป็นเพื่อนนะคะ
|
|
บทความล่าสุด