Làm sạch dữ liệu khảo sát trước khi phân tích: quy trình 8 bước từ đối soát đến báo cáo

Bạn vừa tải file dữ liệu từ Google Forms về, hơn 300 dòng, và đã sẵn sàng chạy Cronbach's Alpha. Khoan đã. Bước quan trọng nhất trước khi phân tích là làm sạch dữ liệu: rà soát, loại bỏ phiếu không đạt và chuẩn hóa dữ liệu để kết quả phản ánh đúng ý kiến của người trả lời nghiêm túc. Bỏ qua bước này, một vài chục phiếu trả lời qua loa có thể kéo lệch hệ số tin cậy, làm sai cấu trúc nhân tố và khiến bạn mất nhiều ngày chạy lại.

Bài viết hướng dẫn quy trình làm sạch dữ liệu khảo sát theo 8 bước: đối soát mã tham gia, loại phiếu trùng, phiếu trả lời quá nhanh, trả lời một màu, câu kiểm tra chú ý, dữ liệu thiếu, mã hóa biến và ghi nhật ký. Cuối bài là cách báo cáo trung thực số phiếu bị loại trong chương phương pháp.

Làm sạch dữ liệu khảo sát là gì?

Làm sạch dữ liệu là quá trình phát hiện và xử lý những dòng dữ liệu không đáng tin cậy hoặc không đúng định dạng trước khi phân tích. Trong khảo sát bằng bảng hỏi, có hai nhóm việc chính: loại phiếu (bỏ hẳn những phiếu không đạt chất lượng) và chuẩn hóa dữ liệu (mã hóa, đảo chiều, xử lý ô trống) cho phần còn lại.

Nguyên tắc vàng: làm sạch dữ liệu là loại bỏ phiếu theo tiêu chí đặt trước, không phải chọn lọc phiếu để kết quả "đẹp" hơn. Mọi quyết định loại phiếu khi làm sạch dữ liệu cần có lý do, áp dụng nhất quán và được ghi lại. Sửa câu trả lời của người tham gia, thêm phiếu không có thật hay xóa phiếu vì nó làm hệ số kém đi đều là vi phạm liêm chính khoa học.

Chuẩn bị trước khi làm sạch dữ liệu

Trước khi bắt tay làm sạch dữ liệu, hãy chuẩn bị ba thứ. Thứ nhất, một bản sao gốc của dữ liệu xuất từ form, giữ nguyên không chỉnh sửa. Thứ hai, danh sách tiêu chí loại phiếu viết sẵn (lý tưởng là trước khi thu thập). Thứ ba, một file nhật ký làm sạch dữ liệu để ghi mọi thao tác.

Quy trình làm sạch dữ liệu 8 bước

1. 1
   Đối soát mã tham gia: giữ lại phiếu có mã hợp lệ, khớp với danh sách mã trên KhảoSát.
2. 2
   Loại phiếu trùng: cùng mã tham gia xuất hiện nhiều lần, chỉ giữ một phiếu theo quy tắc đặt trước.
3. 3
   Loại phiếu trả lời quá nhanh: so thời gian làm phiếu với thời lượng dự kiến.
4. 4
   Phát hiện trả lời một màu: cùng một mức cho mọi câu trong khối thang đo dài.
5. 5
   Kiểm tra câu kiểm tra chú ý: phiếu sai câu kiểm tra được đánh dấu để loại.
6. 6
   Xử lý dữ liệu thiếu: quyết định giữ, loại hay xử lý theo tỷ lệ ô trống.
7. 7
   Mã hóa biến: chuyển chữ sang số, đảo chiều câu ngược, đặt tên biến thống nhất.
8. 8
   Ghi nhật ký và báo cáo: tổng hợp số phiếu loại theo từng lý do.

Thứ tự làm sạch dữ liệu này có chủ đích: các bước đầu loại phiếu theo tiêu chí khách quan, rõ ràng nhất; các bước sau mới đi vào nội dung câu trả lời. Dưới đây là chi tiết từng bước.

Bước 1 và 2 khi làm sạch dữ liệu: đối soát mã, loại phiếu trùng

Trên KhảoSát, mỗi lượt làm phiếu có một mã tham gia riêng dạng KSxxxxxxxx (KS cộng 8 ký tự). Với Google Forms và Microsoft Forms, khi bạn tạo link điền trước có chữ KSPID ở ô "Mã tham gia", hệ thống thay KSPID bằng mã thật của từng người; nếu không có link điền trước, người trả lời tự nhập mã. Với Qualtrics, chuyển hướng cuối phiếu mang mã tham gia về KhảoSát và ghi nhận tự động.

Khi đối soát, bạn tải file CSV/Excel xuất từ form lên KhảoSát: mã có trong dữ liệu là hợp lệ, mã không có bị từ chối kèm lý do. Đây chính là bước đầu tiên của làm sạch dữ liệu, vì nó gắn từng dòng dữ liệu với một lượt tham gia thật. Bạn có thể đọc thêm ở bài đối soát phiếu khảo sát.

Sau đối soát, bước làm sạch dữ liệu tiếp theo là kiểm tra phiếu trùng trong file của bạn:

• Cùng mã tham gia xuất hiện nhiều dòng: thường do người trả lời bấm gửi hai lần. Quy tắc phổ biến là giữ phiếu đầy đủ nhất hoặc phiếu gửi sớm nhất, áp dụng thống nhất.
• Dòng không có mã tham gia: có thể là phiếu thử của chính bạn hoặc người ngoài dự án. Loại khỏi tập phân tích và ghi lý do.
• Mã sai định dạng: ví dụ thiếu ký tự, gõ nhầm. Đối chiếu với danh sách mã trên KhảoSát trước khi quyết định.

Bước 3: Phiếu trả lời quá nhanh

Một phiếu 15 phút mà hoàn thành trong 2 phút gần như chắc chắn là đọc lướt. KhảoSát có cảnh báo tự động khi người trả lời làm quá nhanh so với thời lượng dự kiến (dưới 30% thời lượng). Bạn thấy được mã tham gia, thời gian làm phiếu và cảnh báo, nhưng không thấy danh tính người trả lời.

Khi làm sạch dữ liệu, bạn nên tự đặt ngưỡng của mình trước khi xem kết quả. Một số cách tiếp cận phổ biến trong thực hành là dùng một tỷ lệ của thời lượng dự kiến hoặc của trung vị thời gian làm phiếu. Quan trọng là chọn một ngưỡng hợp lý, giải thích được và áp dụng đồng đều.

Cảnh báo tự động còn bao gồm nhiều phiếu từ cùng địa chỉ mạng và cùng thiết bị với phiếu khác. Những cảnh báo này là tín hiệu để xem xét kỹ, không tự động có nghĩa là gian lận: ví dụ nhiều sinh viên cùng dùng mạng của ký túc xá. Hãy kết hợp với các tiêu chí làm sạch dữ liệu khác trước khi quyết định.

Bước 4 và 5: Trả lời một màu và câu kiểm tra chú ý

Trả lời một màu (straightlining) là khi người trả lời chọn cùng một mức cho toàn bộ câu trong một khối thang đo, ví dụ chọn "4" cho cả 20 câu liên tiếp. Nếu khối đó có câu đảo chiều, trả lời một màu tạo ra mâu thuẫn rõ ràng. Cách phát hiện đơn giản là tính độ lệch chuẩn của các câu trong khối cho từng phiếu: độ lệch chuẩn bằng 0 nghĩa là trả lời một màu.

Câu kiểm tra chú ý là câu yêu cầu người trả lời chọn một đáp án cụ thể, ví dụ "Với câu này, vui lòng chọn 'Không đồng ý'". Phiếu chọn sai được đánh dấu để loại ở bước làm sạch dữ liệu. Cách viết câu kiểm tra hiệu quả được trình bày trong bài câu hỏi sàng lọc.

Trên KhảoSát, bạn đối soát hoặc duyệt phiếu trong 7 ngày kể từ khi phiếu được gửi; quá hạn phiếu được duyệt tự động. Vì vậy, hãy làm sạch dữ liệu sơ bộ ngay trong thời gian đối soát: phiếu sai câu kiểm tra hoặc trả lời một màu rõ ràng có thể bị từ chối kèm lý do. Người trả lời được khiếu nại một lần và quản trị viên quyết định dựa trên dữ liệu đối soát. Chỉ phiếu hợp lệ mới tính tiền.

Bước 6: Xử lý dữ liệu thiếu

Dữ liệu thiếu xảy ra khi câu hỏi không bắt buộc bị bỏ trống. Trong làm sạch dữ liệu, trước hết hãy tính tỷ lệ ô trống của từng phiếu và từng biến.

Cách tốt nhất để giảm dữ liệu thiếu là thiết kế từ đầu: đặt các câu thang đo chính là bắt buộc trên form. Với câu nhạy cảm, nên có lựa chọn "Không muốn trả lời" thay vì ép bắt buộc. Xem thêm bài thiết kế phiếu khảo sát.

Bước 7: Mã hóa biến

Dữ liệu xuất từ Google Forms, Microsoft Forms hay Qualtrics thường là chữ ("Hoàn toàn đồng ý", "Nữ", "Đại học"). Vì vậy, bước cuối của làm sạch dữ liệu là mã hóa thành số và đặt tên biến gọn.

• Thang Likert: "Hoàn toàn không đồng ý" = 1 đến "Hoàn toàn đồng ý" = 5.
• Câu đảo chiều: tạo biến mới với giá trị đảo (6 trừ giá trị gốc với thang 5 mức), giữ biến gốc.
• Biến định danh: giới tính, ngành nghề mã hóa 1, 2, 3 kèm nhãn trong sổ mã biến.
• Tên biến: ngắn, không dấu, không khoảng trắng, theo khái niệm, ví dụ TR1, TR2 cho thang đo niềm tin.
• Câu chọn nhiều đáp án: tách thành nhiều biến 0/1.

Ví dụ minh họa sổ mã biến:

Bước 8: Ghi nhật ký và báo cáo trung thực

Nhật ký làm sạch dữ liệu là bằng chứng cho sự minh bạch của bạn. Mỗi dòng nhật ký ghi: thao tác, tiêu chí, số phiếu bị ảnh hưởng và số phiếu còn lại. Ví dụ minh họa:

Trong chương phương pháp, hãy báo cáo trung thực số phiếu bị loại theo từng lý do. Hội đồng đánh giá cao một quy trình làm sạch dữ liệu minh bạch hơn là một cỡ mẫu không có phiếu nào bị loại.

Ví dụ: "Tổng cộng 312 phiếu được thu qua nền tảng khảo sát trực tuyến. Sau khi loại 34 phiếu (không có mã hợp lệ, trùng lặp, thời gian hoàn thành dưới 30% thời lượng dự kiến, sai câu kiểm tra chú ý, trả lời một màu hoặc thiếu dữ liệu), 278 phiếu được đưa vào phân tích."

Đồng thời mô tả rõ cách tuyển mẫu: người trả lời được tuyển qua nền tảng trực tuyến, tham gia tự nguyện, có nhận điểm thưởng, chọn theo tiêu chí hồ sơ. Đây là chọn mẫu phi xác suất, thuận tiện có kiểm soát tiêu chí. Nếu bạn cần biết nên thu bao nhiêu phiếu để còn đủ sau khi làm sạch, xem bài cỡ mẫu khảo sát.

Checklist làm sạch dữ liệu

Sau khi làm sạch dữ liệu: bước tiếp theo

Khi dữ liệu đã sạch, bạn có thể bắt đầu thống kê mô tả, kiểm định độ tin cậy thang đo, EFA, CFA, hồi quy hoặc SEM. Nếu cần hỗ trợ phân tích, bạn có thể tham khảo dịch vụ phân tích dữ liệu tại ResearchSTAT, cùng hệ sinh thái với KhảoSát.

Dữ liệu sạch bắt đầu từ nguồn tốt. Khi người trả lời là người thật, có hồ sơ, mỗi số điện thoại một tài khoản và chỉ người có hồ sơ khớp tiêu chí mới thấy khảo sát, khối lượng việc làm sạch dữ liệu sẽ nhẹ hơn đáng kể. Tìm hiểu thêm về quy trình tại trang hướng dẫn và dịch vụ.

Câu hỏi thường gặp

Làm sạch dữ liệu khảo sát mất bao lâu?

Tùy số phiếu và độ dài phiếu. Nếu đã viết sẵn tiêu chí loại phiếu và sổ mã biến, phần lớn công việc là áp dụng tiêu chí một cách có hệ thống. Chuẩn bị trước giúp tiết kiệm thời gian đáng kể.

Loại bao nhiêu phiếu là bình thường?

Không có tỷ lệ cố định; nó phụ thuộc độ dài phiếu, đối tượng và nguồn tuyển. Điều quan trọng là tiêu chí loại hợp lý, áp dụng nhất quán và được báo cáo trung thực.

Có được loại phiếu vì làm hệ số Cronbach's Alpha thấp không?

Không. Loại phiếu chỉ để kết quả đẹp hơn là vi phạm liêm chính khoa học. Chỉ loại phiếu theo tiêu chí chất lượng đặt trước như thời gian, câu kiểm tra chú ý, trả lời một màu.

Cảnh báo tự động của KhảoSát có tự loại phiếu không?

Không. Cảnh báo làm quá nhanh, cùng địa chỉ mạng, cùng thiết bị là tín hiệu để bạn xem xét. Bạn quyết định duyệt hay từ chối kèm lý do trong 7 ngày; quá hạn phiếu được duyệt tự động.

Phiếu bị loại khi làm sạch dữ liệu có bị tính tiền không?

Phiếu bạn từ chối kèm lý do trong thời hạn đối soát và được chấp nhận sẽ không tính tiền, vì chỉ phiếu hợp lệ mới tính tiền. Phiếu đã được duyệt rồi mới loại khi phân tích thì vẫn được tính, nên hãy làm sạch sơ bộ ngay trong thời gian đối soát.