Chuẩn bị dữ liệu cho AI: Quy trình và các công cụ thực hiện

Hoàng

May 16, 2025

40 phút đọc

Thu thập và tích hợp dữ liệu

Khi bắt đầu bất kỳ dự án AI hay Machine Learning nào, việc đầu tiên và quan trọng nhất là tập hợp toàn bộ dữ liệu cần thiết.

Đây không chỉ là bước khởi đầu mà còn là nền tảng quyết định thành công của cả dự án.

Nguồn dữ liệu đa dạng

Dữ liệu ngày nay xuất hiện từ vô số nguồn với hình thức khác nhau:

• Các hệ thống lưu trữ như cơ sở dữ liệu, kho dữ liệu và hồ dữ liệu
• Nhiều định dạng tệp tin như CSV, JSON, văn bản thuần túy hay PDF
• Các API từ dịch vụ bên thứ ba
• Nội dung thu thập từ website
• Phần mềm quản lý doanh nghiệp (CRM, ERP)
• Thiết bị IoT ghi nhận dữ liệu theo thời gian thực

Ví dụ: Một dự án phân tích giao thông thông minh có thể cần kết hợp dữ liệu từ camera giám sát (video), cảm biến đường bộ (dữ liệu thời gian thực), hệ thống vé điện tử (dữ liệu giao dịch) và dự báo thời tiết (dữ liệu API) để tạo mô hình dự đoán tắc nghẽn giao thông hiệu quả.

Những thách thức trong thu thập dữ liệu

Quá trình thu thập dữ liệu thường gặp nhiều khó khăn:

• Dữ liệu phân tán: Thông tin thường nằm rải rác trong nhiều hệ thống khác nhau, đôi khi còn tồn tại trong các “ốc đảo dữ liệu” khó tiếp cận.
• Tăng trưởng theo cấp số nhân: Khối lượng dữ liệu tăng chóng mặt, đòi hỏi chiến lược quản lý hiệu quả.
• Đa dạng định dạng: Dữ liệu tồn tại ở ba dạng chính

– Dữ liệu có cấu trúc (bảng, cơ sở dữ liệu quan hệ)

– Dữ liệu bán cấu trúc (XML, JSON)

– Dữ liệu phi cấu trúc (văn bản, hình ảnh, âm thanh)

Ví dụ: Một hệ thống chăm sóc sức khỏe thông minh cần kết hợp dữ liệu từ hồ sơ bệnh án điện tử (có cấu trúc), các tệp DICOM từ thiết bị X-quang (bán cấu trúc) và ghi chú của bác sĩ (phi cấu trúc).

Việc hòa hợp các định dạng này đòi hỏi quy trình xử lý phức tạp.

Đánh giá chất lượng nguồn dữ liệu

Trước khi tiến hành tích hợp, cần đánh giá kỹ lưỡng các nguồn dữ liệu về:

• Độ phù hợp với mục tiêu dự án
• Chất lượng và độ tin cậy của dữ liệu
• Khả năng tích hợp vào hệ thống hiện tại
• Tính pháp lý và quyền sử dụng

Quy trình tích hợp dữ liệu

Khi dữ liệu đến từ nhiều nguồn khác nhau, quá trình tích hợp trở nên vô cùng quan trọng.

Đây là ba kỹ thuật chính trong tích hợp dữ liệu:

Hợp nhất cấu trúc dữ liệu: Đây là quá trình chuyển đổi các bộ dữ liệu có cấu trúc khác nhau về một định dạng thống nhất.

Ví dụ: Hệ thống quản lý nhân sự của công ty A lưu trữ tên nhân viên trong hai cột riêng biệt (Họ và Tên), trong khi công ty B lưu trong một cột duy nhất (Họ tên đầy đủ).

Khi sáp nhập, cần xây dựng quy tắc chuyển đổi để thống nhất cách lưu trữ.

Liên kết bản ghi: Đây là quy trình xác định và kết nối các bản ghi từ nhiều nguồn nhưng đề cập đến cùng một đối tượng.

Ví dụ: Một khách hàng có thể xuất hiện trong hệ thống bán hàng dưới tên “Nguyễn Văn A”, trong hệ thống hỗ trợ là “A. Nguyễn”, và trong hệ thống thanh toán là “NVA”.

Hệ thống liên kết bản ghi sẽ sử dụng thuật toán khớp mờ (fuzzy matching) để nhận diện đây là cùng một người dựa trên các thông tin bổ sung như số điện thoại, email hoặc địa chỉ.

Hợp nhất dữ liệu: Sau khi đã xác định các bản ghi liên quan đến cùng một đối tượng, bước tiếp theo là kết hợp chúng thành một bản ghi tổng hợp, vừa loại bỏ thông tin trùng lặp vừa giữ lại những thông tin độc đáo từ mỗi nguồn.

Ví dụ: Khi hợp nhất thông tin sản phẩm từ nhiều nhà phân phối, mỗi nguồn có thể cung cấp những mảnh thông tin khác nhau – nguồn A có mô tả chi tiết sản phẩm, nguồn B có thông số kỹ thuật đầy đủ, và nguồn C có hình ảnh chất lượng cao.

Quá trình hợp nhất sẽ tạo ra một bản ghi hoàn chỉnh kết hợp ưu điểm từ mỗi nguồn.

Đảm bảo tính đại diện của dữ liệu

• Một yếu tố quan trọng không kém trong giai đoạn thu thập là đảm bảo dữ liệu có tính đại diện cao.
• Điều này có nghĩa là dữ liệu phải phản ánh đầy đủ các tình huống và điều kiện mà mô hình AI sẽ gặp phải trong thực tế.

Ví dụ cụ thể: Một hệ thống nhận diện giọng nói tiếng Việt cần được huấn luyện với dữ liệu ghi âm từ người nói đa dạng về giới tính, độ tuổi, và vùng miền (Bắc, Trung, Nam) để đảm bảo hoạt động tốt với tất cả người dùng.

• Nếu dữ liệu huấn luyện chỉ có giọng Bắc, hệ thống sẽ gặp khó khăn khi nhận diện giọng miền Nam hoặc miền Trung do đặc thù về ngữ âm và cách phát âm.
• Thiếu đa dạng trong dữ liệu không chỉ làm giảm hiệu suất mô hình mà còn có thể dẫn đến những kết quả thiên vị.
• Từ đó tạo ra sự bất công hoặc vô tình phân biệt đối xử với một số nhóm đối tượng.

Khám phá và đánh giá dữ liệu

Sau khi hoàn tất quá trình thu thập và hợp nhất dữ liệu, bước tiếp theo vô cùng quan trọng là khám phá và đánh giá dữ liệu.

Đây không đơn thuần là việc nhìn lướt qua các con số, mà là quá trình tìm hiểu sâu sắc về bản chất, đặc tính và những thông điệp ẩn chứa trong dữ liệu.

Ý nghĩa của khám phá dữ liệu

Khám phá dữ liệu giống như một nhà thám hiểm khảo sát địa hình trước khi lên kế hoạch hành trình.

Quá trình này giúp:

• Hiểu rõ về đặc điểm và cấu trúc dữ liệu
• Phát hiện các mẫu, xu hướng tiềm ẩn
• Nhận diện các điểm ngoại lai và bất thường
• Đánh giá mức độ phù hợp của dữ liệu với mục tiêu dự án

Ví dụ: Một công ty viễn thông muốn xây dựng mô hình dự đoán khách hàng rời mạng (churn prediction).

Trong giai đoạn khám phá dữ liệu, họ có thể phát hiện ra rằng tỷ lệ rời mạng tăng đột biến vào tháng 9 hàng năm – thời điểm các nhà mạng thường tung ra chương trình khuyến mãi lớn.

Phát hiện này sẽ định hướng các bước phân tích tiếp theo và chiến lược giữ chân khách hàng.

Các hoạt động chính

Xác định kiểu dữ liệu, định dạng và cấu trúc

Đây là bước đầu tiên nhằm hiểu rõ “nguyên liệu” bạn đang làm việc. Bạn cần phân loại từng trường dữ liệu theo các kiểu:

• Số nguyên (integer): như ID khách hàng, số lượng mua
• Số thực (float): như giá trị giao dịch, chỉ số kỹ thuật
• Chuỗi ký tự (string): như tên, địa chỉ, mô tả
• Ngày tháng (date/time): như thời gian giao dịch, ngày sinh
• Phân loại (categorical): như giới tính, tình trạng hôn nhân

Ví dụ: Khi phân tích dữ liệu IoT từ các cảm biến môi trường, một nhóm nghiên cứu Việt Nam phát hiện rằng nhiều cảm biến ghi nhận nhiệt độ dưới dạng chuỗi ký tự kèm đơn vị (ví dụ: “32°C”) thay vì số thực.

Nhận diện sớm vấn đề giúp họ thiết kế quy trình tiền xử lý phù hợp, tách giá trị số từ đơn vị đo lường.

Tính toán thống kê mô tả

Các chỉ số thống kê giúp nắm bắt nhanh chóng đặc tính của dữ liệu số:

Các độ đo trung tâm: Giá trị trung bình, trung vị, yếu vị

• Trung bình: Tổng các giá trị chia cho số lượng quan sát
• Trung vị: Giá trị ở vị trí giữa khi sắp xếp tất cả quan sát
• Yếu vị: Giá trị xuất hiện nhiều nhất
• Các độ đo phân tán: Độ lệch chuẩn, giá trị min/max, phân vị
• Độ lệch chuẩn: Mức độ biến thiên xung quanh giá trị trung bình
• Phân vị: Các điểm chia dữ liệu thành các phần bằng nhau (tứ phân vị, thập phân vị)

Ví dụ: Một dự án phân tích hiệu suất mạng tại một ISP Việt Nam cho thấy thời gian phản hồi trung bình là 25ms, nhưng độ lệch chuẩn lên tới 15ms.

Điều này ngụ ý dù hiệu suất trung bình tốt, nhưng độ ổn định còn hạn chế, cần được cải thiện để nâng cao trải nghiệm người dùng.

Trực quan hóa dữ liệu

• Trực quan hóa biến dữ liệu thành hình ảnh, giúp nhận diện nhanh chóng các mẫu và xu hướng khó thấy qua các con số đơn thuần.
• Biểu đồ histogram: Hiển thị phân phối của một biến số
• Biểu đồ phân tán (scatter plot): Thể hiện mối quan hệ giữa hai biến số
• Biểu đồ hộp (box plot): Tóm tắt phân phối và xác định giá trị ngoại lai
• Biểu đồ đường (line plot): Thể hiện xu hướng theo thời gian
• Biểu đồ cột (bar chart): So sánh giá trị giữa các nhóm khác nhau

Ví dụ: Một nhóm nghiên cứu về giao thông thông minh sử dụng biểu đồ nhiệt (heatmap) để trực quan hóa tình trạng tắc nghẽn theo giờ trong ngày và các tuyến đường.

Họ phát hiện ra một mẫu bất thường – tắc nghẽn xảy ra vào buổi trưa trên một tuyến đường không phải là khu vực trường học hay văn phòng.

Điều tra thêm cho thấy đây là tuyến đường gần một khu chợ đầu mối thực phẩm hoạt động mạnh vào khung giờ này.

Đánh giá chất lượng dữ liệu

Quá trình này nhằm phát hiện các vấn đề tiềm ẩn cần xử lý:

• Giá trị thiếu (missing values): Các ô trống, NULL, hay NaN
• Dữ liệu trùng lặp: Các bản ghi xuất hiện nhiều lần
• Lỗi định dạng: Dữ liệu không tuân theo quy ước (như định dạng ngày tháng không đồng nhất)
• Giá trị không nhất quán: Cùng một khái niệm nhưng biểu diễn khác nhau (ví dụ: “Nam”, “M”, “1” đều biểu thị giới tính nam)
• Điểm ngoại lai (outliers): Giá trị khác thường cần xác minh tính hợp lệ

Ví dụ: Trong một dự án xây dựng hệ thống chẩn đoán hỗ trợ y tế, nhóm nghiên cứu tại một bệnh viện lớn phát hiện rằng 15% hồ sơ bệnh nhân có chỉ số BMI (Body Mass Index) bằng 0.

Điều tra sâu hơn cho thấy nguyên nhân là do nhân viên y tế không nhập chiều cao hoặc cân nặng của bệnh nhân, khiến hệ thống tự động tính toán BMI bằng 0.

Phát hiện này đã dẫn đến việc cải tiến giao diện nhập liệu, đòi hỏi xác nhận khi các trường quan trọng bị bỏ trống.

Tầm quan trọng của khám phá dữ liệu

Mặc dù không yêu cầu các mô hình phức tạp, giai đoạn khám phá dữ liệu đóng vai trò nền tảng cho toàn bộ quy trình xây dựng mô hình AI/ML.

Nó cung cấp thông tin cần thiết để:

• Đưa ra quyết định chính xác về cách làm sạch dữ liệu
• Xác định các biến có giá trị và ít giá trị
• Định hướng chiến lược chuyển đổi dữ liệu
• Phát hiện sớm các vấn đề tiềm ẩn

Đầu tư thời gian vào giai đoạn này sẽ tiết kiệm rất nhiều công sức trong các bước tiếp theo và nâng cao chất lượng của mô hình cuối cùng.

Làm sạch dữ liệu

Làm sạch dữ liệu là quá trình nhận diện và sửa chữa các lỗi, sự không nhất quán và thiếu sót trong bộ dữ liệu thô.

Đây được xem như một trong những công đoạn quan trọng bậc nhất nhưng thường đòi hỏi nhiều thời gian và nỗ lực nhất trong quy trình chuẩn bị dữ liệu.

Mục đích chính là đảm bảo dữ liệu mang tính chính xác, đầy đủ, nhất quán và đáng tin cậy để hỗ trợ phân tích và huấn luyện mô hình.

Dữ liệu không sạch có thể dẫn tới kết quả phân tích không chính xác và quyết định kinh doanh sai lầm.

Kỹ thuật làm sạch dữ liệu chính

Xử lý giá trị thiếu

Xác định

• Sử dụng các hàm như isna() hoặc isnull() trong Pandas để phát hiện các giá trị thiếu (thường được biểu thị bằng NaN hoặc None).

Ví dụ thực tế: Khi phân tích dữ liệu khách hàng của một công ty viễn thông, bạn có thể thấy nhiều trường thông tin như “ngày hết hạn hợp đồng” bị thiếu do lỗi từ hệ thống CRM.

Xóa bỏ

• Cách đơn giản nhất là loại bỏ các hàng (quan sát) hoặc cột (đặc trưng) chứa giá trị thiếu. Pandas cung cấp hàm dropna().
• Tuy nhiên, phương pháp này có thể gây mất thông tin quan trọng, đặc biệt nếu tỷ lệ thiếu cao hoặc dữ liệu thiếu không ngẫu nhiên.
• Cần xem xét kỹ trước khi xóa. Nếu một cột có quá nhiều giá trị thiếu, việc loại bỏ cột đó có thể hợp lý.

Thay thế

Điền vào các giá trị thiếu bằng một giá trị ước tính.

Các phương pháp phổ biến bao gồm:

– Giá trị cố định

– Giá trị thống kê: Trung bình, trung vị hoặc yếu vị

– Điền tiến/lùi: Sử dụng giá trị liền trước hoặc liền sau (hữu ích cho dữ liệu chuỗi thời gian).
– Phương pháp nâng cao: Sử dụng các thuật toán ML như K-Nearest Neighbors (KNN) hoặc hồi quy (Regression) để dự đoán giá trị thiếu dựa trên các đặc trưng khác.

Ví dụ: Trong một bộ dữ liệu IoT từ các cảm biến nhiệt độ, khi có đoạn dữ liệu bị mất do mất kết nối, việc sử dụng phương pháp điền tiến giúp duy trì tính liên tục của dữ liệu thời gian.

Tạo đặc trưng chỉ báo thiếu

Đôi khi, việc dữ liệu bị thiếu lại mang thông tin hữu ích.

Có thể tạo một cột nhị phân mới để đánh dấu các hàng có giá trị thiếu cho một đặc trưng cụ thể.

Lựa chọn

• Việc chọn phương pháp xử lý giá trị thiếu phụ thuộc vào loại dữ liệu, tỷ lệ thiếu, cơ chế gây ra sự thiếu hụt (ngẫu nhiên hay không), và thuật toán ML sẽ sử dụng.

Xử lý giá trị ngoại lai

• Ngoại lai là các điểm dữ liệu khác biệt đáng kể so với phần còn lại của tập dữ liệu.
• Chúng có thể do lỗi đo lường, lỗi nhập liệu, hoặc là các quan sát cực đoan nhưng có thật.

Ví dụ: Trong dữ liệu lưu lượng mạng, một đột biến bất thường có thể là dấu hiệu của cuộc tấn công DDoS hoặc chỉ đơn giản là thời điểm có nhiều người dùng truy cập cùng lúc.

Phát hiện

• Trực quan hóa: Biểu đồ hộp (Box plot), biểu đồ phân tán.

Phương pháp thống kê

Quy tắc Z-score

• Điểm dữ liệu có Z-score (số độ lệch chuẩn so với giá trị trung bình) vượt quá một ngưỡng nhất định (thường là 2.5 hoặc 3) được coi là ngoại lai.
• Tuy nhiên, phương pháp này nhạy cảm với chính các giá trị ngoại lai vì chúng ảnh hưởng đến giá trị trung bình và độ lệch chuẩn.

Quy tắc IQR

• Xác định các giá trị nằm ngoài khoảng, trong đó Q1 và Q3 là phân vị thứ 25 và 75, IQR = Q3 – Q1.
• Phương pháp này ổn định hơn (robust) đối với outliers so với Z-score.

Thuật toán ML

• Local Outlier Factor (LOF), Isolation Forest, One-Class SVM.
• Scikit-learn cung cấp các lớp triển khai các thuật toán này.

Xử lý

• Loại bỏ (Removal): Xóa các quan sát chứa ngoại lai. Cần thận trọng vì có thể làm mất thông tin.
• Biến đổi (Transformation): Áp dụng các phép biến đổi toán học (ví dụ: logarit) để giảm tác động của ngoại lai.
• Capping/Winsorization: Thay thế các giá trị ngoại lai bằng giá trị tối thiểu/tối đa được coi là chấp nhận được (ví dụ: giới hạn trên/dưới theo IQR hoặc phân vị).
• Coi là loại dữ liệu riêng: Trong một số trường hợp, ngoại lai có thể đại diện cho một nhóm đặc biệt và được xử lý riêng.

Ví dụ: Trong dữ liệu chi tiêu khách hàng từ ngành viễn thông, thay vì loại bỏ hoàn toàn các khách hàng doanh nghiệp có mức chi tiêu cao (outliers), ta có thể xem xét phân tích riêng nhóm này.

Lưu ý

Cần phải xác định xem một ngoại lai có phải là lỗi hay không trước khi loại bỏ nó. Việc xử lý ngoại lai phụ thuộc vào lĩnh vực và mục tiêu phân tích.

Xử lý dữ liệu trùng lặp

Tác động

• Các bản ghi giống hệt hoặc gần giống nhau có thể làm sai lệch kết quả phân tích (ví dụ: thống kê tần suất), gây lãng phí tài nguyên lưu trữ và xử lý.
• Từ đó ảnh hưởng đến hiệu suất mô hình.

Ví dụ: Trong hệ thống quản lý khách hàng, một khách hàng có thể được nhập nhiều lần với các biến thể nhỏ về cách viết tên hoặc địa chỉ, dẫn đến trùng lặp và ảnh hưởng đến việc thống kê.

Xác định

• Khớp chính xác (Exact Matching): Tìm các hàng hoàn toàn giống nhau trên tất cả các cột hoặc một tập con các cột. Pandas: duplicated().
• Khớp mờ (Fuzzy Matching) / Liên kết bản ghi (Record Linkage): Tìm các bản ghi tương tự nhưng không hoàn toàn giống nhau, thường do lỗi chính tả, định dạng khác nhau.
• Các kỹ thuật bao gồm tính toán độ tương tự chuỗi (ví dụ: Levenshtein distance), hashing, hoặc sử dụng các thư viện chuyên dụng như recordlinkage, pandas-dedupe, string-grouper.

Loại bỏ

• Pandas: drop_duplicates() giúp loại bỏ các bản ghi trùng lặp, giữ lại bản ghi đầu tiên (keep=’first’), cuối cùng (keep=’last’), hoặc loại bỏ tất cả (keep=False).
• Có thể chỉ định subset các cột để xác định trùng lặp.
• PySpark: dropDuplicates().
• Dask: drop_duplicates() cho dữ liệu lớn.

Lưu ý

• Trong một số trường hợp, như xử lý tập dữ liệu mất cân bằng, việc giữ lại hoặc tạo thêm bản sao có thể hữu ích.

Sửa lỗi cấu trúc

• Bao gồm chuẩn hóa các quy ước đặt tên, sửa lỗi chính tả, đồng bộ hóa cách viết hoa/thường.
• Hơn nữa cần đảm bảo định dạng dữ liệu nhất quán (ví dụ: ngày tháng, tiền tệ, đơn vị đo lường).

Ví dụ: Trong dữ liệu thu thập từ nhiều hệ thống khác nhau, định dạng ngày tháng có thể không thống nhất (MM/DD/YYYY, DD/MM/YYYY, YYYY-MM-DD).

• Chuyển đổi tất cả về một định dạng chuẩn giúp tránh sai sót khi phân tích theo thời gian.

Xử lý dữ liệu không liên quan

• Loại bỏ các cột hoặc hàng không cung cấp thông tin hữu ích cho bài toán cụ thể đang giải quyết.
• Lựa chọn thuộc tính không cần thiết có thể dựa trên kiến thức miền hoặc các kỹ thuật lựa chọn đặc trưng sơ bộ.

Ví dụ: Khi phân tích hiệu suất mạng di động, các thông tin như ID thiết bị, mã IMEI có thể không liên quan trực tiếp đến việc phân tích chất lượng tín hiệu và có thể được loại bỏ để giảm kích thước dữ liệu.

• Quá trình làm sạch dữ liệu đòi hỏi sự chi tiết, kiến thức về lĩnh vực và hiểu biết về các công cụ hỗ trợ.
• Đây là nền tảng vững chắc để đảm bảo chất lượng cho các giai đoạn tiếp theo trong quy trình xử lý dữ liệu.

Chuyển đổi dữ liệu

Sau khi đã làm sạch dữ liệu, bước quan trọng tiếp theo là biến đổi dữ liệu thành định dạng thích hợp cho phân tích và các thuật toán học máy.

Các thuật toán ML thường đòi hỏi đầu vào dạng số và có thể bị ảnh hưởng mạnh bởi thang đo của từng đặc trưng.

Kỹ thuật chuyển đổi phổ biến

Chuẩn hóa đặc trưng

Mục đích

Đưa các đặc trưng số về cùng thang đo nhằm tránh tình trạng các đặc trưng có giá trị lớn gây ảnh hưởng không công bằng tới quá trình học của mô hình.

Đây là bước cực kỳ quan trọng đối với các thuật toán dựa trên khoảng cách như KNN, SVM hoặc các thuật toán sử dụng gradient descent như hồi quy tuyến tính và mạng nơ-ron.

Các phương pháp chính

Chuẩn hóa Min-Max (Normalization)

• Biến đổi dữ liệu về khoảng [0,1] hoặc [-1,1]
• Công thức: Xnorm = (X – Xmin) / (Xmax – Xmin)

Ví dụ: Khi xử lý dữ liệu cảm biến IoT, các giá trị nhiệt độ (20°C-40°C) và độ ẩm (30%-90%) có thang đo khác nhau, chuẩn hóa giúp đưa cả hai về cùng khoảng [0,1]

• Ưu điểm: Giữ nguyên hình dạng phân phối
• Nhược điểm: Nhạy cảm với các giá trị ngoại lai (outliers)

Thực hiện với: MinMaxScaler trong Scikit-learn

• Chuẩn hóa Z-score (Standardization): Biến đổi dữ liệu để có giá trị trung bình = 0 và độ lệch chuẩn = 1
• Công thức: Xstd = (X – μ) / σ

Ví dụ: Khi phân tích dữ liệu thị trường chứng khoán, chuẩn hóa Z-score giúp so sánh các cổ phiếu có giá trị và biến động giá khác nhau

• Ưu điểm: Ít bị ảnh hưởng bởi outliers hơn so với Min-Max
• Nhược điểm: Không giới hạn giá trị trong một khoảng cụ thể

Thực hiện với: StandardScaler trong Scikit-learn

• Robust Scaling: Sử dụng các thống kê ít nhạy cảm với outliers như trung vị và khoảng tứ phân vị (IQR)

Ví dụ thực tế: Khi xử lý dữ liệu thu nhập, có thể có một số người có thu nhập cực cao, Robust Scaling sẽ tránh bị ảnh hưởng bởi các giá trị này

Thực hiện với: RobustScaler trong Scikit-learn

Lựa chọn phương pháp phù hợp:

• Nếu dữ liệu tuân theo phân phối chuẩn → Ưu tiên Standardization
• Nếu thuật toán yêu cầu dữ liệu trong khoảng cụ thể → Dùng Normalization
• Nếu dữ liệu có nhiều outliers → Dùng Robust Scaling

Mã hóa biến phân loại

Mục đích: Biến đổi dữ liệu dạng chuỗi hoặc phân loại thành dạng số mà thuật toán ML có thể xử lý.

Các phương pháp chính

Label Encoding: Gán một số nguyên duy nhất cho mỗi giá trị phân loại

Ví dụ thực tế: Mã hóa cấp độ học vấn (‘THPT’, ‘Đại học’, ‘Sau đại học’) trong dự đoán thu nhập

• Ưu điểm: Đơn giản, tiết kiệm bộ nhớ
• Nhược điểm: Có thể tạo ra thứ tự giả tạo giữa các category

Thực hiện với: LabelEncoder hoặc OrdinalEncoder trong Scikit-learn

• One-Hot Encoding (OHE): Tạo các cột nhị phân mới cho mỗi category

Ví dụ thực tế: Mã hóa tỉnh/thành phố trong dự đoán giá nhà đất, mỗi tỉnh/thành trở thành một cột riêng

• Ưu điểm: Tránh thứ tự giả tạo
• Nhược điểm: Có thể làm tăng đáng kể số chiều dữ liệu (“lời nguyền số chiều”

Thực hiện với: OneHotEncoder (Scikit-learn) hoặc get_dummies (Pandas)

• Sự khác biệt giữa pd.get_dummies và sklearn.OneHotEncoder:
• get_dummies (Pandas): Dễ sử dụng, trả về DataFrame
• OneHotEncoder (Scikit-learn): Hoạt động như một Transformer trong ML pipeline, “học” các category từ tập huấn luyện và biến đổi nhất quán trên các tập dữ liệu khác

Ví dụ: Khi xây dựng mô hình dự đoán trong thực tế, các category mới có thể xuất hiện trong dữ liệu mới (ví dụ: sản phẩm mới), OneHotEncoder xử lý tốt hơn với tham số handle_unknown

Các phương pháp mã hóa nâng cao

• Binary Encoding: Chuyển category thành mã nhị phân
• Target Encoding: Sử dụng thông tin từ biến mục tiêu
• Hashing Encoder: Không lưu trữ mapping, tiết kiệm bộ nhớ

Ví dụ: Khi mã hóa biến “Mã sản phẩm” có hàng nghìn giá trị, Binary Encoding hoặc Hashing Encoder sẽ hiệu quả hơn OHE

Lựa chọn phương pháp phù hợp

• Biến có thứ tự (ordinal) → Label Encoding
• Biến danh nghĩa (nominal) ít category → One-Hot Encoding
• Biến danh nghĩa nhiều category → Binary Encoding, Hashing Encoder, Target Encoding

Kỹ thuật đặc trưng

Mục đích: Tạo ra các đặc trưng mới từ đặc trưng hiện có để nâng cao khả năng dự đoán của mô hình ML.

Các kỹ thuật tiêu biểu:

Polynomial Features: Tạo đặc trưng mới là lũy thừa và tích của đặc trưng hiện có.

Ví dụ: Trong bài toán dự đoán giá nhà, diện tích (S) ảnh hưởng đến giá theo hàm phi tuyến, tạo thêm S² giúp mô hình tuyến tính nắm bắt mối quan hệ này tốt hơn

Thực hiện với: PolynomialFeatures trong Scikit-learn

Binning/Discretization: Chia biến liên tục thành các khoản

Ví dụ: Trong phân tích tín dụng ngân hàng, chia thu nhập thành các nhóm để phát hiện mối quan hệ phi tuyến với khả năng trả nợ

Thực hiện với: KBinsDiscretizer trong Scikit-learn, Bucketizer trong PySpark

Trích xuất đặc trưng văn bản

Bag-of-Words (BoW): Đếm tần suất của từng từ

• TF-IDF: Đánh trọng số dựa trên tần suất xuất hiện của từ
• Word Embeddings: Biểu diễn từ dưới dạng vector nhiều chiều

Ví dụ: Trong phân loại tin tức, TF-IDF giúp phát hiện các từ quan trọng đặc trưng cho từng chủ đề

Đặc trưng thời gian

• Trích xuất: ngày trong tuần, tháng, quý, năm, giờ trong ngày, ngày lễ

Ví dụ: Trong dự báo lưu lượng website, việc biết đó là ngày cuối tuần hay ngày trong tuần, mùa cao điểm hay thấp điểm sẽ cải thiện độ chính xác.

Đặc trưng theo lĩnh vực cụ thể

• Dựa trên hiểu biết chuyên sâu về bài toán

Ví dụ: Trong dự đoán giá nhà, tạo đặc trưng “khoảng cách đến trung tâm thành phố chia cho số phòng ngủ” có thể mang lại giá trị dự đoán cao

Áp dụng trong quy trình ML

• Lựa chọn và áp dụng đúng các kỹ thuật chuyển đổi dữ liệu đóng vai trò quyết định đến hiệu suất của mô hình.
• Trong thực tế, các kỹ thuật này thường được kết hợp trong một pipeline xử lý dữ liệu.
• Chuyển đổi dữ liệu không chỉ là một bước kỹ thuật đơn thuần mà còn là một nghệ thuật đòi hỏi hiểu biết sâu sắc về dữ liệu và bài toán cụ thể.
• Kết hợp giữa kỹ thuật và kinh nghiệm miền sẽ giúp tạo ra các đặc trưng chất lượng, từ đó nâng cao hiệu suất của mô hình ML.

Lựa chọn và giảm chiều đặc trưng

Sau khi tạo được tập hợp các đặc trưng, bước tiếp theo thường là giảm số lượng để nâng cao hiệu suất mô hình, rút ngắn thời gian huấn luyện.

Hơn nữa còn ngăn chặn hiện tượng quá khớp, và đôi khi tăng khả năng giải thích mô hình.

Có hai hướng tiếp cận chính:

Lựa chọn đặc trưng

Mục tiêu: Chọn một tập con các đặc trưng quan trọng nhất hoặc liên quan nhiều nhất đến biến mục tiêu, loại bỏ những đặc trưng không cần thiết hoặc thừa thãi.

Các phương pháp

Phương pháp lọc

Đánh giá và xếp hạng từng đặc trưng một cách độc lập dựa trên chỉ số thống kê, sau đó chọn ra những đặc trưng tốt nhất.

Các chỉ số thường dùng

• Hệ số tương quan (Pearson’s r): Đo lường mối quan hệ tuyến tính giữa đặc trưng và biến mục tiêu.

Ví dụ: Khi phân tích ảnh hưởng của nhiều yếu tố đến doanh số bán smartphone, ta có thể tính hệ số tương quan giữa giá bán và số lượng bán ra.

• Nếu hệ số này gần -1 (tương quan âm mạnh), ta biết giá là đặc trưng quan trọng cần giữ lại.

Trong Scikit-learn: Sử dụng r_regression

• Kiểm định Chi-squared (χ²): Đánh giá mối liên hệ giữa các đặc trưng phân loại và biến mục tiêu phân loại.

Ví dụ: Trong mô hình dự đoán khả năng vay được ngân hàng, kiểm định Chi-squared giúp xác định liệu “nghề nghiệp” có thực sự ảnh hưởng đến kết quả vay hay không.

Trong Scikit-learn: Sử dụng chi2

• ANOVA F-value: So sánh trung bình của đặc trưng số giữa các nhóm phân loại.

Ví dụ: Khi phân tích dữ liệu về lỗi mạng viễn thông, ANOVA có thể giúp xác định xem thời gian sử dụng thiết bị có thực sự khác nhau giữa các nhóm thiết bị bị lỗi và không bị lỗi.

Trong Scikit-learn: Sử dụng f_classif (cho phân loại), f_regression (cho hồi quy)

• Thông tin tương hỗ (Mutual Information): Đo lường sự phụ thuộc giữa các biến, bắt được cả mối quan hệ phi tuyến.

Ví dụ: Trong dự đoán mức tiêu thụ điện năng, mutual information có thể phát hiện mối quan hệ phức tạp giữa nhiệt độ ngoài trời và mức tiêu thụ điện (có thể không phải là tuyến tính đơn giản).

Trong Scikit-learn: Sử dụng mutual_info_classif, mutual_info_regression

• Ngưỡng phương sai (Variance Threshold): Loại bỏ các đặc trưng có phương sai thấp (ít biến đổi).

Ví dụ thực tế: Trong dữ liệu về cảm biến IoT, nếu một cảm biến luôn trả về giá trị không đổi hoặc gần như không đổi, nó không mang nhiều thông tin và có thể bị loại bỏ.

Trong Scikit-learn: Sử dụng VarianceThreshold

• Ưu điểm: Nhanh chóng, đơn giản, không phụ thuộc vào mô hình ML.
• Nhược điểm: Không xét đến tương tác giữa các đặc trưng, có thể không chọn được tập con tối ưu cho một mô hình cụ thể.
• Thư viện Scikit-learn cung cấp các lớp như SelectKBest (chọn K đặc trưng tốt nhất), SelectPercentile (chọn % đặc trưng tốt nhất) để áp dụng các phương pháp lọc này.

Phương pháp bao bọc

Sử dụng một thuật toán ML cụ thể để đánh giá hiệu suất của các tập con đặc trưng khác nhau.

Quá trình này “bao quanh” mô hình ML.

Loại bỏ đặc trưng đệ quy (RFE – Recursive Feature Elimination): Bắt đầu với tất cả đặc trưng, huấn luyện mô hình, loại bỏ đặc trưng yếu nhất, lặp lại quá trình đến khi đạt số lượng đặc trưng mong muốn.

Ví dụ: Trong hệ thống phát hiện xâm nhập mạng, RFE có thể giúp xác định những đặc trưng lưu lượng mạng quan trọng nhất đối với việc phân loại lưu lượng độc hại, bắt đầu từ hàng trăm đặc trưng và dần loại bỏ những đặc trưng ít quan trọng.

Trong Scikit-learn: Sử dụng RFE, RFECV

Lựa chọn đặc trưng tuần tự (Sequential Feature Selection):

• Lựa chọn tiến (Forward Selection): Bắt đầu với tập rỗng, lần lượt thêm vào đặc trưng giúp cải thiện hiệu suất mô hình nhiều nhất.
• Loại bỏ lùi (Backward Elimination): Bắt đầu với tất cả đặc trưng, lần lượt loại bỏ đặc trưng ít ảnh hưởng nhất đến hiệu suất.

Ví dụ: Khi xây dựng mô hình dự đoán hiệu suất mạng, ta có thể bắt đầu với một tập đặc trưng trống, sau đó lần lượt thêm vào các đặc trưng như băng thông, độ trễ, tỷ lệ mất gói tin… dựa trên mức độ cải thiện hiệu suất dự đoán.

Trong Scikit-learn: Sử dụng SequentialFeatureSelector

• Ưu điểm: Thường cho kết quả tốt hơn phương pháp lọc vì xét đến hiệu suất mô hình và tương tác đặc trưng.
• Nhược điểm: Tốn kém tài nguyên tính toán hơn đáng kể vì phải huấn luyện mô hình nhiều lần. Có nguy cơ quá khớp với mô hình cụ thể được dùng để đánh giá.

Phương pháp tích hợp

Thực hiện lựa chọn đặc trưng như một phần gắn liền trong quá trình huấn luyện mô hình.

Điều chuẩn L1 (L1 Regularization – Lasso): Các mô hình tuyến tính với L1 penalty có xu hướng đưa hệ số của đặc trưng không quan trọng về 0, từ đó thực hiện lựa chọn đặc trưng.

Ví dụ: Trong dự đoán chi phí vận hành mạng viễn thông, mô hình hồi quy với điều chuẩn L1 sẽ tự động “tắt” ảnh hưởng của những yếu tố ít tác động bằng cách đưa hệ số của chúng về 0.

Độ quan trọng đặc trưng dựa trên cây (Tree-based Feature Importance): Các mô hình dựa trên cây quyết định có thể tính toán độ quan trọng của mỗi đặc trưng dựa trên mức độ giảm tạp chất Gini hoặc entropy.

Ví dụ: Khi xây dựng hệ thống phân loại sự cố mạng, Random Forest có thể xác định rằng “thời gian phản hồi máy chủ” và “tỷ lệ lỗi giao thức” là hai đặc trưng quan trọng nhất, trong khi “số lượng người dùng đăng nhập” ít quan trọng hơn.

Trong Scikit-learn: Sử dụng SelectFromModel kết hợp với các mô hình có thuộc tính coef_ hoặc feature_importances_

• Ưu điểm: Hiệu quả tính toán hơn phương pháp bao bọc, xét tương tác đặc trưng trong ngữ cảnh của mô hình.
• Nhược điểm: Phụ thuộc vào mô hình cụ thể.

Giảm chiều

Mục tiêu: Biến đổi dữ liệu từ không gian nhiều chiều ban đầu sang không gian ít chiều hơn bằng cách tạo ra đặc trưng mới (là tổ hợp của các đặc trưng cũ), đồng thời giữ lại nhiều thông tin quan trọng nhất có thể.

Phương pháp

Phân tích thành phần chính

• Là kỹ thuật giảm chiều tuyến tính phổ biến nhất. PCA tìm ra các “thành phần chính” là tổ hợp tuyến tính của các đặc trưng gốc.
• Thực hiện sao cho các thành phần này trực giao với nhau và lần lượt giải thích được lượng phương sai lớn nhất trong dữ liệu.

Ví dụ: Trong phân tích dữ liệu tín hiệu mạng 5G với hàng trăm thông số kỹ thuật, PCA có thể tạo ra 10-15 thành phần chính mới giữ lại tới 95% thông tin quan trọng.

• Khi trực quan hóa hai thành phần đầu tiên, các kỹ sư có thể thấy rõ mẫu hình phân cụm của các trạm thu phát bị lỗi so với các trạm hoạt động bình thường.
  PCA hoạt động tốt nhất khi các đặc trưng có tương quan tuyến tính.
• Nó nhạy cảm với thang đo của dữ liệu, nên cần chuẩn hóa (Standardization) trước khi áp dụng.
• Số lượng thành phần chính cần giữ lại có thể được xác định dựa trên tỷ lệ phương sai tích lũy mong muốn.

Ví dụ: giữ đủ thành phần để giải thích 95% phương sai) hoặc chọn một số lượng cố định (ví dụ: 2 hoặc 3 để trực quan hóa).

• Trong Scikit-learn: Thư viện cung cấp PCA và IncrementalPCA (cho dữ liệu lớn không vừa bộ nhớ).

Các kỹ thuật khác

• Linear Discriminant Analysis (LDA): Phương pháp có giám sát, tối đa hóa sự phân tách giữa các lớp.

Ví dụ: Trong phân loại loại thiết bị IoT dựa trên đặc điểm lưu lượng mạng, LDA có thể tạo ra đặc trưng mới giúp phân biệt rõ ràng giữa các loại thiết bị khác nhau.

• t-Distributed Stochastic Neighbor Embedding (t-SNE): Kỹ thuật phi tuyến, chủ yếu dùng để trực quan hóa.

Ví dụ: Khi phân tích dữ liệu từ hàng ngàn thiết bị IoT, t-SNE có thể biến đổi dữ liệu nhiều chiều thành biểu đồ 2D hoặc 3D, giúp kỹ sư dễ dàng nhận ra các nhóm thiết bị có hành vi bất thường.

• Singular Value Decomposition (SVD): Là nền tảng của PCA, thường được sử dụng trong các hệ thống đề xuất và xử lý ngôn ngữ tự nhiên.

Ví dụ: Trong hệ thống đề xuất nội dung cho người dùng mạng, SVD có thể giảm không gian đặc trưng từ hàng nghìn chiều xuống vài chục chiều, giúp tìm kiếm nhanh hơn mà vẫn duy trì độ chính xác cao.

Khi nào chọn phương pháp nào?

• Việc lựa chọn giữa các kỹ thuật trên phụ thuộc vào mục tiêu cụ thể:
• Nếu cần giữ lại ý nghĩa ban đầu của các đặc trưng (tăng khả năng giải thích),

Lựa chọn đặc trưng phù hợp hơn.

Ví dụ: khi xây dựng hệ thống dự đoán sự cố mạng, việc biết chính xác đặc trưng nào (độ trễ, tỷ lệ mất gói…) ảnh hưởng đến dự đoán sẽ giúp kỹ sư hiểu rõ nguyên nhân và có biện pháp khắc phục hiệu quả.

• Nếu mục tiêu chính là giảm số chiều để cải thiện hiệu suất tính toán hoặc tránh quá khớp mà không quá quan tâm đến việc giải thích các đặc trưng mới.
• Do đó Giảm chiều có thể là lựa chọn tốt.

Ví dụ: khi xây dựng hệ thống phát hiện tấn công mạng thời gian thực, việc giảm chiều dữ liệu có thể giúp mô hình chạy nhanh hơn nhiều lần mà vẫn duy trì tỷ lệ phát hiện chính xác cao.

Phân chia tập dữ liệu

Sau khi đã làm sạch và chuyển đổi dữ liệu, việc phân chia dữ liệu thành các tập con riêng biệt là bước cực kỳ quan trọng giúp đánh giá mô hình một cách khách quan.

Nếu chúng ta đánh giá mô hình trên chính dữ liệu đã dùng để huấn luyện, kết quả sẽ quá lạc quan và không phản ánh đúng hiệu suất thực tế của mô hình khi gặp dữ liệu mới (hiện tượng overfitting).

Các tập dữ liệu chính

Tập huấn luyện

• Đây là phần dữ liệu dùng để “huấn luyện” mô hình học máy.
• Giống như một học sinh cần tài liệu học tập, mô hình sẽ tìm hiểu các mẫu và mối quan hệ từ tập dữ liệu này để tối ưu hóa các tham số nội tại.

Ví dụ: Khi xây dựng mô hình dự đoán giá nhà, tập huấn luyện sẽ chứa thông tin về diện tích, vị trí, số phòng ngủ và giá bán của hàng nghìn căn nhà đã biết giá.

Tập xác thực

• Tập này giúp đánh giá mô hình một cách không thiên vị trong quá trình phát triển và không được sử dụng trực tiếp để huấn luyện.

Mục đích chính

Tinh chỉnh siêu tham số

• Giúp tìm ra các giá trị tối ưu cho những tham số không được học trực tiếp từ dữ liệu.

Ví dụ: Khi xây dựng mô hình phân loại email spam, bạn có thể thử nghiệm nhiều cấu hình khác nhau (như tốc độ học 0.01, 0.001, 0.0001) trên tập huấn luyện và kiểm tra hiệu quả trên tập xác thực để quyết định tốc độ học nào hoạt động tốt nhất.

Lựa chọn mô hình

• Giúp so sánh hiệu suất của các loại mô hình khác nhau.

Ví dụ: Trong một dự án nhận diện khuôn mặt, có thể thử nghiệm cả SVM và Random Forest, sau đó chọn mô hình có độ chính xác cao hơn trên tập xác thực.

Tập kiểm tra

• Đây là “bài kiểm tra cuối cùng” để đánh giá hiệu suất của mô hình đã được chọn và tinh chỉnh xong.
• Tập kiểm tra chứa dữ liệu hoàn toàn mới mà mô hình chưa từng thấy.
• Kết quả trên tập này sẽ dự báo khả năng hoạt động của mô hình trong thực tế.

Ví dụ: Khi xây dựng hệ thống chẩn đoán bệnh từ hình ảnh y tế, tập kiểm tra sẽ gồm những hình ảnh từ bệnh nhân mới, không nằm trong quá trình huấn luyện.

Phương pháp thực hiện

Chia Train/Test

• Cách đơn giản nhất là chia dữ liệu thành 2 phần: training và testing, thường theo tỷ lệ 70/30 hoặc 80/20.
• Tham số shuffle=True đảm bảo dữ liệu được xáo trộn trước khi chia, giúp tránh trường hợp dữ liệu có thứ tự theo thời gian hoặc theo nhóm.
• Tham số random_state=42 giúp kết quả có thể tái lập được.

Chia Train/Validation/Test

Để có tập validation riêng biệt, có thể thực hiện 2 bước:

• Bước 1: Chia thành tập training+validation và tập test (80% và 20%)
• Bước 2: Chia tập training+validation thành tập training và validation

Xử lý dữ liệu mất cân bằng

Trong nhiều bài toán thực tế, các lớp dữ liệu thường không phân bố đều.

Ví dụ: trong phát hiện gian lận thẻ tín dụng, số lượng giao dịch gian lận chỉ chiếm tỷ lệ rất nhỏ (khoảng 0.1%).

Khi chia dữ liệu, cần đảm bảo tỷ lệ các lớp được giữ nguyên bằng tham số stratify:

Cross-Validation

• Thay vì dùng một tập validation cố định, cross-validation chia tập huấn luyện thành k phần bằng nhau (thường k=5 hoặc k=10).

Ví dụ: với k=5, mô hình sẽ được huấn luyện 5 lần, mỗi lần dùng 4 phần để huấn luyện và 1 phần còn lại để đánh giá.

• Điểm mạnh của phương pháp này là mỗi điểm dữ liệu đều được sử dụng cả trong huấn luyện và đánh giá.

Scikit-learn cung cấp nhiều chiến lược CV khác nhau:

• KFold: Chia ngẫu nhiên thành k phần
• StratifiedKFold: Đảm bảo tỷ lệ các lớp trong mỗi phần, quan trọng với dữ liệu mất cân bằng
• TimeSeriesSplit: Phù hợp với dữ liệu chuỗi thời gian, chia theo trình tự thời gian

Lưu ý quan trọng

Phân chia dữ liệu cần thực hiện sau khi đã hoàn thành các bước làm sạch và chuyển đổi cơ bản, nhưng trước khi thực hiện các bước có thể gây rò rỉ thông tin từ tập test/validation vào tập train.

Một sai lầm phổ biến là chuẩn hóa dữ liệu trước khi chia tập. Việc này có thể gây rò rỉ thông tin, vì tham số chuẩn hóa (như giá trị trung bình, độ lệch chuẩn) được tính từ toàn bộ dữ liệu, bao gồm cả tập test.

Giải pháp tốt nhất là sử dụng Pipeline của Scikit-learn

Cách này đảm bảo quá trình chuẩn hóa chỉ học từ dữ liệu training trong mỗi fold, tránh rò rỉ thông tin từ tập validation/test.

Ví dụ: khi phát triển hệ thống dự báo doanh số, nếu bạn tính giá trị trung bình và chuẩn hóa dữ liệu trước khi chia tập, có thể vô tình đưa thông tin từ tương lai (tập test) vào quá trình huấn luyện, dẫn đến dự báo quá lạc quan và không đáng tin cậy khi triển khai.

Phân chia dữ liệu đúng cách là nền tảng đảm bảo mô hình không chỉ hoạt động tốt trên dữ liệu quá khứ mà còn có khả năng dự đoán chính xác trên dữ liệu mới trong tương lai.

Xác thực dữ liệu

Sau khi hoàn tất các khâu làm sạch, chuyển đổi và phân chia, cần thực hiện bước xác thực cuối cùng để đảm bảo dữ liệu đã thực sự sẵn sàng cho việc huấn luyện mô hình.

Bước này đóng vai trò như một “cổng kiểm soát chất lượng” trước khi dữ liệu được đưa vào các thuật toán học máy.

Mục tiêu của xác thực

Kiểm tra tính chính xác và đầy đủ

• Đảm bảo các lỗi đã được sửa chữa, các giá trị thiếu đã được xử lý hợp lý và không còn tồn tại những sai sót rõ ràng trong dữ liệu.

Ví dụ: Một bộ dữ liệu về lưu lượng mạng viễn thông có thể chứa các giá trị âm trong cột “Bandwidth Usage”.

Sau quá trình xác thực, những giá trị này sẽ được phát hiện và xử lý vì băng thông không thể là số âm.

Kiểm tra tính nhất quán

• Đảm bảo dữ liệu tuân theo các định dạng chuẩn, quy ước đặt tên, và sử dụng đơn vị đo lường thống nhất.

Ví dụ: Trong dữ liệu IoT thu thập từ các cảm biến nhiệt độ, một số thiết bị ghi nhận giá trị theo độ C, số khác lại theo độ F.

Quá trình xác thực sẽ giúp phát hiện và thống nhất tất cả về một đơn vị duy nhất.

Kiểm tra sự phù hợp với Schema

• Đảm bảo dữ liệu tuân thủ một lược đồ đã định nghĩa trước, bao gồm kiểu dữ liệu của từng cột, phạm vi giá trị hợp lệ, các ràng buộc và tính duy nhất của các khóa định danh.

Ví dụ: Trong hệ thống quản lý mạng, các địa chỉ IP phải tuân theo định dạng IPv4 hoặc IPv6 cụ thể.

• Quá trình xác thực sẽ kiểm tra xem mọi giá trị trong cột “IP Address” có đúng định dạng không.

Phát hiện dữ liệu bất thường còn sót lại

• Kiểm tra lại các giá trị ngoại lai hoặc các mẫu bất thường có thể đã bị bỏ qua hoặc xuất hiện sau các bước biến đổi.

Ví dụ: Trong dữ liệu về hiệu suất máy chủ web, thời gian phản hồi đột ngột tăng vọt lên 1000ms trong khi giá trị trung bình chỉ khoảng 50ms có thể là dấu hiệu của sự cố mạng hoặc lỗi ghi nhận dữ liệu.

Kiểm tra sự phù hợp với logic nghiệp vụ

• Đảm bảo dữ liệu tuân thủ các quy tắc và logic kinh doanh cụ thể của lĩnh vực ứng dụng.

Ví dụ: Trong dữ liệu về mạng 5G, tỷ lệ kết nối thành công phải luôn nằm trong khoảng 0-100%.

• Nếu phát hiện giá trị 120%, quá trình xác thực sẽ đánh dấu đây là lỗi cần điều tra.

Công cụ và kỹ thuật

Kiểm tra thủ công và trực quan hóa

• Xem xét lại các thống kê mô tả và biểu đồ (biểu đồ phân bố, biểu đồ phân tán, biểu đồ hộp) trên dữ liệu đã xử lý để phát hiện các vấn đề rõ ràng.

Ví dụ: Khi phân tích dữ liệu từ các thiết bị di động, biểu đồ phân bố về thời lượng sử dụng pin có thể hiển thị một nhóm thiết bị có thời lượng bất thường thấp, chỉ ra sự cố tiềm ẩn với một lô sản phẩm cụ thể.

Quy tắc và ràng buộc

• Trong dữ liệu mạng: Độ trễ (latency) phải luôn là số dương
• Trong dữ liệu người dùng: Địa chỉ email phải có định dạng hợp lệ
• Trong dữ liệu thiết bị: Trạng thái thiết bị chỉ có thể là ‘Hoạt động’, ‘Ngưng hoạt động’ hoặc ‘Bảo trì
• Checksums: Sử dụng mã kiểm tra để xác nhận tính toàn vẹn của tệp dữ liệu, đảm bảo không bị thay đổi hoặc lỗi trong quá trình truyền tải.

Ví dụ: Khi truyền dữ liệu giữa các trung tâm dữ liệu viễn thông, checksums MD5 hoặc SHA-256 được tính toán trước và sau khi truyền để đảm bảo không có byte nào bị thay đổi.

Công cụ tự động hóa

Các thư viện và nền tảng chuyên dụng giúp tự động hóa quá trình xác thực, đặc biệt hữu ích trong các quy trình dữ liệu liên tục:

TensorFlow Data Validation (TFDV)

Một công cụ mạnh mẽ từ Google, thuộc hệ sinh thái TFX. TFDV có thể:

Tính toán thống kê mô tả chi tiết cho dữ liệu

• Tự động suy luận ra một schema dựa trên thống kê. Schema này định nghĩa kiểu dữ liệu, sự hiện diện, số lượng giá trị, và miền giá trị cho từng đặc trưng
• Phát hiện các bất thường bằng cách so sánh thống kê của dữ liệu mới với schema đã được phê duyệt
• Phát hiện sự thay đổi phân phối dữ liệu theo thời gian và sự lệch giữa dữ liệu huấn luyện và phục vụ
• Cung cấp các công cụ trực quan hóa để khám phá dữ liệu và phát hiện bất thường

Ví dụ: Một công ty viễn thông sử dụng TFDV để tự động phát hiện khi tỷ lệ cuộc gọi thất bại trong dữ liệu mới bắt đầu tăng đột biến so với dữ liệu lịch sử, giúp phát hiện sớm sự cố mạng tiềm ẩn.

• Great Expectations: Công cụ này giúp người dùng định nghĩa các “kỳ vọng” về dữ liệu dưới dạng mã lệnh.
• Pandera: Một thư viện Python tích hợp với Pandas, giúp định nghĩa các schema kiểm tra trực tiếp bằng mã Python để xác thực cấu trúc và nội dung của

DataFrames

Các thư viện khác: Cerberus, Pydantic, Marshmallow cũng cung cấp các chức năng xác thực schema mạnh mẽ.

Xác thực dữ liệu không chỉ là một bước kiểm tra cuối cùng mà nên được tích hợp liên tục vào các quy trình dữ liệu, đặc biệt trong môi trường MLOps.

Điều này giúp đảm bảo chất lượng dữ liệu được duy trì theo thời gian và phát hiện sớm các vấn đề tiềm ẩn trước khi chúng ảnh hưởng đến hiệu suất của mô hình học máy trong các ứng dụng viễn thông và công nghệ thông tin.

Lưu trữ dữ liệu

Sau quá trình làm sạch, biến đổi và xác thực, dữ liệu cần được bố trí lưu trữ hợp lý để sẵn sàng phục vụ việc huấn luyện mô hình hoặc các mục tiêu sử dụng khác.

Chọn giải pháp lưu trữ phù hợp sẽ phụ thuộc vào nhiều yếu tố như khối lượng dữ liệu, tần suất truy xuất, yêu cầu về hiệu năng, và cấu trúc tổng thể của hệ thống.

Các phương thức lưu trữ thông dụng hiện nay gồm:

Tệp tin

• Lưu dữ liệu dưới dạng tệp đơn giản như CSV, Parquet, JSON, TFRecord.
• Định dạng Parquet thường được ưa chuộng khi xử lý dữ liệu lớn nhờ khả năng tối ưu không gian lưu trữ và hỗ trợ truy vấn theo cột hiệu quả.

Ví dụ: Một dự án phân tích lưu lượng mạng viễn thông với hàng triệu bản ghi mỗi ngày có thể tiết kiệm đến 75% không gian lưu trữ và tăng tốc độ truy vấn lên 3-4 lần khi chuyển từ CSV sang Parquet, nhờ khả năng nén và lưu trữ theo cột của Parquet.

Cơ sở dữ liệu

• Tổ chức dữ liệu có cấu trúc trong các hệ quản trị cơ sở dữ liệu quan hệ (SQL) như PostgreSQL, MySQL hoặc NoSQL như MongoDB, Cassandra.

Ví dụ: Một ứng dụng IoT giám sát thiết bị viễn thông có thể sử dụng MongoDB để lưu trữ dữ liệu từ cảm biến với cấu trúc linh hoạt.

• Tuy nhiên thông tin người dùng và cấu hình hệ thống được lưu trong PostgreSQL để đảm bảo tính toàn vẹn dữ liệu.

Kho dữ liệu

• Hệ thống được tối ưu hóa giúp lưu trữ và truy vấn dữ liệu có cấu trúc, đã qua xử lý, nhằm phục vụ mục đích phân tích và tạo báo cáo.

Ví dụ: Một nhà mạng viễn thông có thể sử dụng Amazon Redshift hoặc Snowflake để tập hợp và phân tích dữ liệu từ nhiều nguồn như hệ thống thanh toán, sử dụng dịch vụ, và thông tin khách hàng.

• Do đó giúp tạo ra các báo cáo tổng hợp về hiệu suất kinh doanh và hành vi người dùng.

Hồ dữ liệu

• Kho lưu trữ tập trung hỗ trợ lưu giữ khối lượng dữ liệu khổng lồ ở nhiều định dạng khác nhau (thô, có cấu trúc, phi cấu trúc).
• Dữ liệu từ hồ dữ liệu thường cần được xử lý thêm trước khi đưa vào mô hình học máy.

Ví dụ: Microsoft triển khai Azure Data Lake để lưu trữ hàng petabyte dữ liệu từ các dịch vụ đám mây, bao gồm log hệ thống, thông tin người dùng, và dữ liệu từ các ứng dụng khác nhau.

• Khi cần phát triển mô hình dự đoán lỗi hệ thống, họ có thể trích xuất và xử lý dữ liệu cụ thể từ hồ dữ liệu này.

Kho đặc trưng

• Đây là giải pháp lưu trữ chuyên biệt dành cho các đặc trưng học máy đã được tính toán và chuẩn bị sẵn.
• Kho đặc trưng được tối ưu để phục vụ dữ liệu trong cả môi trường offline (huấn luyện) và online (dự đoán thời gian thực).

Ví dụ: Công ty viễn thông có thể sử dụng Feast (Feature Store) để quản lý hàng nghìn đặc trưng khách hàng như lịch sử sử dụng dịch vụ, mô hình thanh toán, và hành vi cuộc gọi.

Khi triển khai mô hình dự đoán khách hàng rời mạng, họ có thể dễ dàng tái sử dụng các đặc trưng này mà không cần tính toán lại, giúp rút ngắn thời gian phát triển từ vài tháng xuống còn vài tuần.

Bên cạnh lưu trữ dữ liệu chính cần đảm bảo lưu giữ cả siêu dữ liệu (metadata) và tài liệu (documentation) đi kèm.

Siêu dữ liệu mô tả nguồn gốc, ý nghĩa, kiểu dữ liệu, các phép biến đổi đã áp dụng, và chỉ số chất lượng của dữ liệu.

Tài liệu hóa quy trình chuẩn bị dữ liệu giúp đảm bảo tính minh bạch, khả năng tái tạo và thuận tiện khi tái sử dụng dữ liệu cho các mục đích khác hoặc bởi các thành viên khác trong nhóm.

Nhiều công cụ quản trị dữ liệu và danh mục dữ liệu (data catalog) như Collibra, Alation hỗ trợ hiệu quả việc quản lý siêu dữ liệu này.

Tổ chức lưu trữ dữ liệu một cách khoa học không chỉ giúp tiết kiệm thời gian và chi phí mà còn đảm bảo dữ liệu đã chuẩn bị có thể được truy xuất, quản lý và sử dụng hiệu quả trong suốt vòng đời của dự án AI.

Đặc biệt với các dự án công nghệ lớn, xây dựng chiến lược lưu trữ phù hợp ngay từ đầu sẽ tạo nền tảng vững chắc cho các bước phân tích và triển khai tiếp theo.