Data Engineer_Hanoi

Mô tả công việc:
Nghiên cứu và phát triển Bigdata
- Làm việc với các công cụ xử lý dữ liệu như Spark, PySpark
- Nghiên cứu, tối ưu và phát triển thuật toán trên các nền tảng công nghệ BigData như: Hadoop, HBase, Spark, Kafka, Elasticsearch, Hive…
- Làm việc với các hệ quản trị cơ sở dữ liệu SQL, NoSQL như: MySQL, Hive, Presto, Hbase, Cassandra
Sản xuất & cung cấp sản phẩm phần mềm
- Đảm bảo và hỗ trợ kiến trúc dữ liệu được sử dụng bởi Data Scientist và Data Analyst.
- Phát triển DWH, Datalake, lakehouse dựa trên các nền tảng: Hadoop, Apache Hudi, Iceberg, DeltaLake.
Yêu cầu
Các nhiệm vụ khác được phân công trong phạm vi chức năng
- Tốt nghiệp Cao đẳng/Đại học, ưu tiên chuyên ngành CNTT, Trí tuệ nhân tạo, Khoa học máy tính, chuyên ngành khoa học (Toán, vật lý),...
- Có ít nhất 2 năm kinh nghiệm làm việc tại vị trí DE.
- Hiểu biết về hệ sinh thái IBM có kinh nghiệm làm việc với các công cụ:
+ IBM Cloud Pak for Data
+ IBM DataStage (Thành thạo trong việc thiết kế, phát triển và triển khai các pipeline ETL bằng IBM DataStage. Quản lý và tối ưu hóa các job trong DataStage để xử lý dữ liệu hiệu quả)
- Hiểu và sử dụng các dịch vụ trên nền tảng Cloud Pak for Data, như:
+ Watson Studio: Hỗ trợ Data Scientists và Machine Learning pipelines.
+ Watson Knowledge Catalog: Quản lý metadata và chuẩn hóa dữ liệu.
- Kỹ năng xử lý dữ liệu (ETL, ELT):
+ Triển khai pipeline ETL phức tạp trên IBM DataStage hoặc các công cụ ETL trong hệ sinh thái IBM.
+ Quản lý quy trình xử lý dữ liệu real- time và batch.
- Quản lý dữ liệu trên Cloud IBM:
+ Triển khai và tối ưu hóa workflow trên IBM Cloud Pak.
+ Hiểu biết về IBM Cloud Object Storage và cách sử dụng nó trong các pipeline dữ liệu.
- Ngôn ngữ lập trình: Python, Java, Pyspark...
- Có hiểu biết về các giải pháp, kiến trúc bigdata (DWH, Data lakehouse, Kafka, spark stream, flink...)

Cập nhật gần nhất lúc: 2026-01-20 10:25:03