PostgreSQL: Indexes

Chỉ mục (indexes) là một cách thông dụng để cải thiện hiệu suất của cơ sở dữ liệu. Chỉ mục cho phép máy chủ cơ sở dữ liệu tìm kiếm và truy xuất các hàng cụ thể nhanh hơn nhiều so với khi không có chỉ mục. Tuy nhiên, chỉ mục cũng làm tăng chi phí tổng thể của hệ thống cơ sở dữ liệu, do đó nên sử dụng chỉ mục một cách hợp lý.

Continue reading

Airflow: How to setup ETL using Airflow and Docker

This is article, I showed you how to set up an ETL data pipeline project using Airflow. The project is implemented in Docker so you don’t need to care too much about setup working env. Only one requirement is Docker, in my laptop it is docker version `Docker version 20.10.17`.

Requirement of this tutorial is: automation extract data from stock market API, in this case Yahoo Finance, apply some basic manipulation such as: average of last 5 days, average volume of last 5 days and generate daily report in PDF file.

Continue reading