Data Crawler Engineer Web Scraping, Python

Phát Triển Hệ Thống Scraping Chuyên Nghiệp
Yêu Cầu Kỹ Thuật: Kiến Trúc Hệ Thống:

Xây dựng hệ thống có khả năng mở rộng ￮ Phát triển giải pháp crawling song song
Thiết kế script Python crawling đa nền tảng
Quản lý luồng dữ liệu lớn, đa luồng Công Nghệ:
Asyncio, Multiprocessing
Proxy management
IP rotation techniques
Scrapy, BeautifulSoup
Selenium

Xử Lý và Chuẩn Hóa Dữ Liệu Phương Pháp Xử Lý:

Thuật toán chuyển đổi dữ liệu
Phát triển quy trình làm sạch dữ liệu API
Kiểm tra tính toàn vẹn
Loại bỏ dữ liệu nhiễu Công Cụ:
Data validation techniques
Machine Learning preprocessing
Pandas

Quản Lý Cơ Sở Dữ Liệu Kỹ Năng Chuyên Môn:
SQL Nâng Cao:

Truy vấn phức tạp
Tối ưu hóa hiệu năng

Giám Sát & Tối Ưu Hóa Chiến Lược:

Theo dõi hiệu suất scraping
Quản lý vận hành hệ thống scraping.
Xử lý thách thức:
Giới hạn tốc độ
Chặn IP
CAPTCHA

Báo cáo

Thời hạn báo cáo: Báo cáo tuần gửi vào Thứ 6 hàng tuần; Báo cáo tháng gửi vào Ngày cuối cùng của tháng
Nội dung báo cáo: theo quy định chế độ báo cáo và nội dung báo cáo đối với phòng Technical
Báo cáo trực tiếp cho: Quản lý và Ban Giám đốc
Các loại báo cáo gồm:
Báo cáo hiệu suất
Báo cáo sự cố
Báo cáo hàng tuần
Báo cáo tiến độ hàng ngày
Báo cáo hàng tháng
Báo cáo nhanh theo cột mốc
Ngoài ra là các báo cáo đột xuất theo yêu cầu của Ban Giám đốc

TIÊU CHÍ ĐÁNH GIÁ

Tính ổn định hệ thống
Khả năng mở rộng
Hiệu suất xử lý
Chất lượng dữ liệu

Yêu cầu công việc

Trình Độ Học Vấn

Tốt nghiệp Đại học (GPA > 3.0)
Chuyên ngành:
Khoa học dữ liệu
Kỹ thuật máy tính
Hoặc các ngành liên quan đến dữ liệu
Tiếng Anh: TOEIC > 600 hoặc IELTS >5.5

Kỹ Năng Kỹ Thuật Python Ecosystem

PySpark
Data cleaning techniques
Machine Learning preprocessing
SQL (Trung cấp đến Nâng cao)
Asyncio, Multiprocessing
NoSQL database management
Advanced error handling Database & Big Data
Data warehousing

Kinh Nghiệm Chuyên Sâu

Tối thiểu 1- 2 năm
Từng triển khai dự án:
Web scraping
Crawling dữ liệu lớn
Xử lý dữ liệu tự động

KỸ NĂNG MỀM

Giải quyết vấn đề
Làm việc độc lập & nhóm
Phân tích hệ thống
Quản lý thời gian
Tư duy logic

ĐIỂM CỘNG

Thiết kế data pipeline
Làm việc với API đa dạng
Tính sáng tạo và chủ động đề xuất ý tưởng
Kinh nghiệm Big Data
Chứng chỉ chuyên môn

Tại sao bạn sẽ yêu thích làm việc tại đây

Cơ hội phát triển
Đào tạo liên tục
Mức lương cạnh tranh
Môi trường công nghệ hiện đại
Phương tiện làm việc: được cấp thiết bị làm việc

Cập nhật gần nhất lúc: 2025-10-11 12:35:02