บทความ IT เจ๋งๆ
8 SQL Tools ที่จะช่วยให้คุณทำงานมีประสิทธิภาพยิ่งขึ้น
24-เม.ย.-20
คัมภีร์เทพ IT
เมื่อคุณต้องทำงานกับข้อมูล สิ่งที่คุณควรทำก็คือ การทำความรู้จักกับ SQL แต่จะดีกว่าไหมหากคุณได้ใช้ Tools ซึ่งจะเข้ามาช่วยให้คุณทำงานได้ง่ายและสะดวกขึ้น เรามาทำความรู้จักกับ 8 SQL Tools ที่จะช่วยให้คุณทำงานมีประสิทธิภาพยิ่งขึ้น ซึ่งครอบคลุมในขั้นตอนต่าง ๆ ตั้งแต่การรับข้อมูลลงใน Database, การแปลงข้อมูล ไปจนถึงการวิเคราะห์ข้อมูล
Data Collection
หากไม่มีข้อมูลใน Database ของคุณ SQL ก็ดูจะไม่มีประโยชน์โดยสิ้นเชิง ซึ่ง Tools เหล่านี้จะทำให้คุณไม่ต้องกังวลกับการจัดการข้อมูลที่ยุ่งเหยิงก่อนที่จะไปยัง SQL Database
พวกเราส่วนใหญ่มักจะประสบปัญหาเรื่องการมี Database ที่เต็มไปด้วยข้อมูลที่น่าสนใจ และบาง File ก็น่าสนใจยิ่งขึ้นเมื่อมันอยู่ใน Database โดย Numidian Convert จะช่วยทำให้การรับข้อมูลจาก JSON และ CSV Files เข้าสู่ Database สามารถทำได้ง่ายดายอย่างไม่น่าเชื่อ สิ่งที่คุณต้องทำก็คือ การ Input File เข้าไปและกำหนดการเปลี่ยนรูปของมัน จากนั้นคุณสามารถใช้คำสั่ง CREATE TABLE และ INSERT
Numidian Convert รองรับทั้ง Postgres, MySQL และ SQLite อีกทั้งคุณยังสามารถ Convert File ได้มากถึง 10MB แบบฟรี ๆ นอกจากนี้ยังมี API ซึ่งต้องชำระเงินกรณีที่คุณต้องการ Convert ข้อมูลในปริมาณมาก ๆ ด้วยราคา $20 / เดือน
คุณคงเคยเจอปัญหาแบบนี้มาบ้าง ข้อมูลทั้งหมดของคุณมาจาก APIs, Spreadsheets และ File Systems ต่าง ๆ และคุณเพียงแค่ต้องการให้พวกมันอยู่สักที่หนึ่งเพื่อที่คุณจะสามารถเชื่อมต่อกับ SQL Tools ของคุณได้ Panoply เป็น Cloud Data Warehouse ที่มี Native Data Pipelines อยู่มากมายทั้งจาก MySQL, MongoDB, Salesforce, Stripe, Google Analytics, Google Sheets และการใช้งานอื่น ๆ ที่สามารถ Integration กันได้อีกมากมาย
Panoply ถูกสร้างขึ้นบน AWS Infrastructure และสามารถใช้กับ Azure ได้เช่นกัน โดยทั่วไปมันเป็นความสามารถของ Redshift อยู่แล้ว ยกเว้นเรื่องการ Setup ที่เร็วขึ้น 10 เท่า, การ Manage และ Scale คุณสามารถทดลองใช้ Panoply อย่างเต็มรูปแบบได้แบบฟรี ๆ ซึ่งจะช่วยให้คุณสามารถ Query ข้อมูลของคุณทั้งหมดได้ด้วยเวลาที่น้อยกว่าการชงกาแฟซะอีก
Data Exploration
หากคุณจำเป็นที่จะต้องใช้ความพยายามเพื่อทำความเข้าใจกับ Database ใหม่ คุณอาจต้องใช้เวลาอย่างมากในการ Query System Tables เพื่อดูว่ามีข้อมูลอยู่ที่ไหนและมีข้อมูลเป็นจำนวนเท่าใด
Schema Explorer (ซึ่งเป็น Open-Source) เป็น UI Wrapper ที่ใช้งานได้กับ Query ทั้งหมดที่คุณต้องการทำให้คุ้นเคยกับ Database ใหม่ สิ่งที่ดีเป็นพิเศษเกี่ยวกับ Tool นี้คือ ถ้าคุณมี Foreign Key Constraints อยู่แล้ว Schema Explorer จะช่วยดึง Diagram ของ Database ของคุณออกมาแสดงให้คุณได้เห็น
Software นี้ค่อนข้างกะทัดรัด (ซึ่งดูเหมือนมันจะทำได้หลายอย่าง) รองรับทั้ง Mac และ Windows อีกทั้งสามารถใช้งานได้ฟรี 100% และเป็น Open Source อยู่บน Github
Data Transformations
เมื่อพูดถึงการ Scaling โดยเฉพาะการ Scaling Out ในเรื่องความซับซ้อนและการประยุกต์ใช้ข้อมูลในองค์กรแล้ว คุณควรต้องมี Process ที่ดี ซึ่ง Tools ทั้ง 2 ตัวต่อไปนี้น่าประทับใจมากในแง่ของวิธีการที่พวกมันสามารถสร้าง Data Transformation Workflows ที่ซับซ้อนได้อย่างง่ายดาย
เพื่อความสอดคล้องกับแนวโน้มของ No/Low Maintenance Infrastructure, Dataform ได้รวมเอา Transform Segment ทั้งหมดของ ELT Process ลงใน SaaS Application สิ่งนี้ทำให้ง่ายกว่าเดิมอย่างมากในการเข้าถึง Tables ที่เชื่อถือได้เพื่อใช้สำหรับการวิเคราะห์ End-User ส่วนที่ดีที่สุดคือ ทุกอย่างจะถูกจัดการใน SQL หรือใน UI ที่ได้รับการออกแบบมาเป็นอย่างดี
Dataform สามารถทำงานร่วมกับ Redshift, BigQuery, Panoply, Azure SQL DW และ Snowflake Data Warehouses นอกจากนี้ยังสามารถจัดการกับ Version Control ผ่าน Github ภายใน UI ได้เป็นอย่างดี และที่สำคัญคือ ทั้งหมดนี้ไม่ต้องมีการ Maintain Infrastructure ใด ๆ
DBT (Data Build Tool)
สำหรับใครก็ตามที่ชอบควบคุม Data Pipelines ของคุณอย่างเต็มที่ (และไม่ต้อง Maintain Infrastructure ที่มาพร้อมกับมัน) DBT ถือเป็น Transformation Tool ที่เหมาะสมกับคุณ DBT เป็นหนึ่งใน Github Repos ที่หลายคนชื่นชอบเพราะมันมีความสามารถที่ครอบคลุมทั้งหมดเกี่ยวกับ Data Preparation และ Data Transformation จนไปถึงการสร้าง Document ได้ทันที DBT เกิดขึ้นก่อน Dataform ดังนั้น DAG-ish Workflows และการสร้าง Template จะให้ความรู้สึกที่คล้ายกัน แต่ต่างกันตรงที่คุณสามารถควบคุมทุกส่วนของการ Deployment ของคุณได้
DBT เป็น Command-Line Tool ที่รองรับทั้ง Postgres, Redshift, Bigquery, Panoply, Snowflake และอื่่น ๆ แถมยังมีลูกค้ารายสำคัญที่ให้ความสำคัญกับเรื่อง Solid Data อย่าง Hubspot และ Seatgeek อีกด้วย
Data Access and Sharing
นี่อาจเป็นปัญหาที่ได้รับการแก้ไขมากที่สุดใน SQL แต่เมื่อ Workflows ของเราได้รับการพัฒนามากขึ้น Tools ของเราก็ควรทำด้วยเช่นกัน ซึ่งทั้ง 2 Tools ต่อไปนี้ถือว่ามีความโดดเด่นมาก เพราะมันเป็นส่วนขยายมาจาก Collaboration Tools, Slack และ Google Sheets ที่ทันสมัย
คุณอาจเป็นคนประเภทที่ชอบเอาทุก App ที่คุณใช้ไป Integrate เข้ากับ Slack และไม่น่าแปลกใจเลยที่หลายคนอาจรู้สึกตื่นเต้นเมื่อได้เรียนรู้เกี่ยวกับ SQLBot มันจะยอดเยี่ยมแค่ไหนหากเราสามารถเขียน SQL ลงใน Slack แล้วได้ผลลัพธ์กลับมาด้วย SQLBot เป็นสิ่งที่ยอดเยี่ยม ซึ่งจะช่วยให้คุณ Set Up Slash Commands ที่ Return ผลลัพธ์ของ Query กลับมาให้ คุณสามารถรับ Report ได้โดยที่ไม่ต้องออกจากการสนทนาของคุณ
SQLBot เป็น App ที่ใหม่และมีความน่าสนใจ ที่มาจาก IndieHackers ในขณะที่ Function การทำงานก็น่าทึ่ง Bootstrap Interface ก็ช่วยให้สิ่งต่าง ๆ ทำได้ง่ายขึ้น มันรองรับทั้ง Postgres, MySQL, SQLServer, Amazon Redshift และ Panoply อีกทั้งยังช่วยให้คุณสามารถวางตัวแปรลงใน Queries ของคุณได้อย่างง่ายดาย
โชคดีสำหรับพวกเราที่ SeekWell ได้สร้างทางเชื่อมระหว่าง Database ของคุณกับ Spreadsheets ของเพื่อนร่วมงานของคุณ Tool นี้ช่วยให้คุณสามารถเขียน SQL หรือ Python ผ่าน Jupyter Notebook และ Import ข้อมูลไปยัง Google Spreadsheets และ Slack ได้โดยตรง คุณสามารถตั้ง Schedule การ Queries ได้จากทั้ง Database และ Python Notebooks ของคุณ
SeekWell รองรับทั้ง MySQL, Postgres, Redshift, Panoply, Microsoft SQL Server และ Snowflake และดูเหมือนว่ายิ่งคุณใช้งาน Tool นี้มากเท่าไร คุณก็จะพบว่า การใช้งานของมันจะยิ่งง่ายและราบรื่นยิ่งขึ้น
Documentation
ที่จุดตัดระหว่าง “ไม่มีใครมีเวลามากพอเพื่อทำสิ่งนี้” กับ “นี่คือ Document ที่มีประโยชน์อย่างมาก” ซึ่ง Tool ใหม่ตัวนี้จะช่วยตอบสนองต่อ 2 สิ่งนี้ให้พบกันได้เป็นอย่างดี
ER Diagrams และ Data Dictionaries เป็นเพื่อนที่ดีที่สุดของ Data Analyst เพราะพวกเขามักคุ้นเคยกับ Database หรือ Data Warehouse ใหม่ ๆ แต่การสร้างสิ่งเหล่านี้ตั้งแต่เริ่มต้นด้วย Google Sheets หรือ Google Drawings นั้นดูจะไม่ค่อย Work และน่าเบื่อ อีกทั้งไม่ได้รับประโยชน์อะไรจาก Code เพื่อจัดการกับงานที่ต้องทำซ้ำ ๆ ที่พวกเรามักชอบใช้การ Automate พวกมัน dbiagram.io ใช้แนวทางใหม่ในการแก้ไขปัญหานี้และแปล Markup Language ที่อธิบาย Database และมันเป็นความสัมพันธ์เกี่ยวกับ Interactive Diagrams ที่แสดง Database Tables
Free Tool ตัวนี้เป็น Open Source และเป็น DBML ซึ่งเป็น Markup Language ที่ Tool ใช้และได้รับการ Maintain อย่างดีจาก Holistics หากคุณมี DB ขนาดใหญ่ที่คุณต้องการสร้าง Diagram ก็ขอแนะนำให้ศึกษาใน dbdiagram.io เพื่อดูว่าคุณจะสามารถสร้าง ER Diagrams ด้วยการเขียน Program ได้อย่างไร
ที่มา: https://dev.to/
รับตำแหน่งงานไอทีใหม่ๆ ด้วยบริการ IT Job Alert
|
|
อัพเดทบทความจากคนวงในสายไอทีทาง LINE ก่อนใคร
อย่าลืมแอดไลน์ @techstarth เป็นเพื่อนนะคะ
|
|
บทความล่าสุด