
Rà soát dữ liệu OSM Reviewed 2017-04-24 Rà soát dữ liệu OSM Kiểm tra hàng ngày Xác nhận dữ liệu Sử dụng JOSM Search Sửa lỗi Báo cáo về Độ chính xác Chuẩn bị dữ liệu Truy vấn SQL Tóm lược Phần này bao gồm các quy trình kiểm tra chất lượng dữ liệu, đặc biệt là trong khuôn khổ của một dự án lập bản đồ OSM trực tiếp, chẳng hạn như các dự án của Nhóm Tổ chức Nhân đạo OpenStreetMap ở các quốc gia khác nhau và các dự án Thành phố mở - Open Cities tại Bangladesh, Sri Lanka, and Nepal. Các phương pháp được chứng minh có thể hữu ích trong các ngữ cảnh khác, khi rà soát dữ liệu là một công việc thường xuyên. Khi chúng tôi cố gắng lập bản đồ các tính năng và thuộc tính hoàn chỉnh trong một khu vực cụ thể, chúng tôi cần các cách để kiểm tra những sai sót và cách để đánh giá tính chính xác của tác phẩm. Trong hướng dẫn này chúng tôi sẽ làm việc thông qua một số phương pháp kiểm tra dữ liệu, giải thích các bước của phương pháp và lý do đằng sau mỗi. Một dự án lập bản đồ được quản lý tốt sẽ bao gồm cả ba quy trình này, để đánh giá và chỉnh sửa dữ liệu và báo cáo. Kiểm tra hàng ngày Điều tra lại Truy vấn SQL Những phương pháp đánh giá này trở nên quan trọng hơn khi mô hình dữ liệu phát triển và số lượng các tính năng thu thập trở nên khá lớn. Ví dụ: sẽ không mất nhiều thời gian và nỗ lực để đánh giá mô hình dữ liệu chỉ bao gồm các điểm ưa thích (POI): Trong trường hợp này, các câu hỏi đặt ra sẽ là: Các POIs được thiết lập ở tất cả các vị trí? Có bất kỳ POI nào thiếu thuộc tính name? Có bất kỳ POI nào thiếu thuộc tính type? Có bất kỳ POI nào thiếu thuộc tính số điện thoại? Giá trị trong trường tên có được viết hoa chính xác hay không? Số điện thoại có hợp lý không? Thông thường một mô hình dữ liệu phức tạp hơn nhiều, tuy nhiên, như trong trường hợp xây dựng bản đồ. Xem xét một mô hình dữ liệu bao gồm: Bây giờ bạn có thể lập bản đồ hàng ngàn tòa nhà có nhiều thuộc tính, và phân tích trở nên quan trọng hơn. Trong hướng dẫn này chúng ta sẽ sử dụng tòa nhà làm ví dụ, mặc dù các phương pháp tương tự cũng có thể được áp dụng để xem xét các loại tính năng khác. Kiểm tra hàng ngày Cách nhanh nhất để kiểm tra dữ liệu là để xem xét và xác nhận nó một cách thường xuyên. Đây có thể là hàng ngày hoặc hàng tuần. Đối với người giám sát của một nhóm người lập bản đồ, đây là một nhiệm vụ quan trọng vì việc bắt lỗi và thực hành chỉnh sửa không tốt có nghĩa là họ có thể sửa chữa và biên tập viên có thể học cách làm đúng cách. Ở đây chúng tôi sẽ xem xét một số phương pháp để kiểm tra dữ liệu chỉ đơn giản bằng cách sử dụng JOSM. Một số câu hỏi chúng tôi hỏi về dữ liệu của chúng tôi là: Có lỗi *topology* (như chồng chéo tòa nhà hoặc quan hệ không chính xác)? Có các lỗi *gắn thẻ* (thẻ lỗi chính tả, kết hợp các giá trị khóa-giá trị sai) không? • Là dữ liệu *hoàn chỉnh* theo mô hình dữ liệu? Hãy xem xét cách chúng tôi có thể tìm câu trả lời cho những câu hỏi này trong JOSM. Chúng tôi sẽ giả định rằng chúng tôi đang kiểm tra công việc của những người khác nhưng những quy trình tương tự sẽ hoạt động tốt (và sẽ dễ dàng hơn) khi phân tích công việc của bạn. Chúng tôi sẽ sử dụng một tệp dữ liệu ví dụ từ dự án lập bản đồ Open Cities ở Dhaka. Để làm theo, tải về các tập tin sau đây: dhaka_validation_example.osm KHÔNG cố gắng để lưu các thay đổi của bạn trên OpenStreetMap. Những bài tập này chỉ dành cho mục đích trình diễn. Xác nhận dữ liệu Bước đầu tiên để kiểm tra dữ liệu là chạy công cụ Xác Nhận trong JOSM, sẽ tự động kiểm tra dữ liệu bạn đã mở cho những sai lầm đáng ngờ. Công cụ này đặc biệt hữu ích cho việc tìm kiếm lỗi *topology* nhưng có thể không hữu ích cho việc tìm kiếm các thẻ không chính xác. Kích hoạt công cụ bằng cách nhấp vào nút Xác nhận Công cụ ở phía bên trái của JOSM. (Điều này là không cần thiết nếu bảng Xác Nhận đã mở) Tiếp theo đảm bảo rằng không có gì được chọn bằng cách nhấp vào một điểm trống trên bản đồ của bạn. Nếu bạn có các tính năng được chọn khi chạy Công cụ Xác thực, chỉ những tính năng đã chọn sẽ được chọn. (đôi khi bạn có thể muốn chỉ kiểm tra các tính năng nhất định, nhưng bây giờ chúng tôi sẽ kiểm tra toàn bộ tệp tin) Nhấp vào nút “Xác nhận” trên bảng điều khiển. Bạn sẽ thấy một danh sách các cảnh báo xuất hiện: Một lớp mới cũng xuất hiện, cho thấy lỗi ở đâu. Bạn có thể thấy thuận tiện để ẩn lớp này ngay bây giờ. Hãy nhìn vào một vài cảnh báo. Bạn có thể thấy rằng có bốn cảnh báo “Crossing build-ings”. Cảnh báo này có nghĩa là các tòa nhà đang chồng chéo ở đâu đó. Chọn mục đầu tiên trong danh sách này, nhấp chuột phải và nhấp vào “Phóng to vấn đề.” Ngoài ra, hãy nhấp vào nút “Chọn” ở cuối cửa sổ Xác thực để chọn các cách được đề cập. Điều này cho thấy hai cách này có vấn đề: Đây là một lỗi mà chúng tôi không bao giờ có thể bị bắt nếu không có công cụ xác nhận. Nếu bạn phóng to rất gần, bạn có thể thấy rằng có sự chồng chéo nhỏ giữa các tòa nhà, đó là lỗi topology, vì các tòa nhà thường không chồng chéo lên nhau. Để khắc phục điều này, nút giữa cần phải được di chuyển. Nếu các tòa nhà thực sự chạm vào, mà có thể họ đang có, nút trung gian có thể được nối vào đường đi. Phương pháp này tự động kiểm tra dữ liệu là một cách hiệu quả để sửa lỗi topology, đặc biệt là những điều khó mà chú ý bởi một người. Trong danh sách cảnh báo xác nhận, bạn có thể thấy rằng các cảnh báo khác như “Xây dựng bên trong tòa nhà” là kết quả của một sai lầm tương tự. Các lời cảnh báo khác, chẳng hạn như “Crossing waterway / highway”, không nhất thiết là những sai lầm. Điều này cho thấy công cụ xác nhận là tốt ở việc tìm kiếm những sai lầm có thể, nhưng nó đòi hỏi một ai đó để đi và xem liệu lỗi là quan trọng hay không. Chúng ta hãy nhìn vào cảnh báo dưới “Các cách được đặt tên tương tự” để thấy một lỗi không phải là topology. Nhấp vào “Chọn” để chọn hai cách trong câu hỏi. Bạn có thể cho biết lỗi là gì? Ở đây, chúng tôi có hai phân đoạn đường khác nhau, thực sự là cùng một con đường, tuy nhiên chúng được đặt tên khác một chút - “con đường” được viết hoa bằng một trong những cách đó chứ không phải ở bên kia. Nó có ý nghĩa rằng họ nên có cùng một tên, và trong trường hợp này, từ “đường” nên được viết hoa. Sử dụng JOSM Search Tìm kiếm trong JOSM là một cách xem dữ liệu mạnh mẽ. Nó cho phép bạn cung cấp các cụm từ tìm kiếm, còn được gọi là truy vấn, để chỉ chọn các tính năng mà bạn muốn. Để truy cập tìm kiếm, vào Edit -> Search hoặc nhấn CTRL + F trên bàn phím. Có rất nhiều loại truy vấn bạn có thể tìm kiếm ở đây và bạn có thể xem chi tiết và ví dụ trong hộp tìm kiếm và nhấp vào nút “Trợ giúp”. Bây giờ, hãy thử chọn tất cả các tòa nhà. Hầu như mỗi tòa nhà đều có thẻ *building=yes* và một số gắn *building=construction. Điều này có nghĩa là chúng ta có thể xây dựng một truy vấn đọc: building = yes* OR building=construction Điều này sẽ chọn tất cả các tòa nhà, nhưng chỉ trong trường hợp ai đó áp dụng sai thẻ vào tòa nhà, thay vào đó, chúng ta có thể sử dụng ký tự đại diện để chọn tất cả các tính năng có *building. Tất cả các tòa nhà sẽ được chọn. Điều này thật tuyệt vời, nhưng làm cách nào để chúng tôi xem lại dữ liệu? Vâng, bây giờ mà tất cả các loại một tính năng đã được chọn, chúng ta có thể tìm kiếm các thẻ không chính xác. Xem trong cửa sổ Thuộc tính - những gì chúng ta thấy là tất cả các thẻ cho mỗi đối tượng được chọn. Tất cả chúng đều có cùng khóa, nhưng vì mỗi đối tượng địa lý có các giá trị khác nhau, chúng được đánh dấu là <different>. Nhấp vào thẻ building:use* và nhấn vào “Edit.” HÃY CẨN THẬN Ở ĐÂT! Bạn không muốn chỉnh sửa giá trị và nhấp vào OK vì điều đó sẽ thay đổi thẻ này cho mọi tính năng xây dựng đơn lẻ. Điều này sẽ rất tồi tệ. Thay vào đó, nhấp vào hộp thả xuống bên cạnh Giá trị.. Lưu ý rằng tất cả các mục in đậm có một số bên cạnh chúng trong ngoặc đơn. Đây là số tính năng đã chọn có giá trị thẻ này. Chúng ta có thể so sánh điều này với các thẻ OpenStreetMap đã được thiết lập trong mô hình dữ liệu của chúng tôi và tìm kiếm những sai lầm. Ví dụ: thẻ này đại diện cho việc sử dụng tòa nhà. Đầu trong dự án Thành phố mở Dhaka (nơi dữ liệu này đến từ) có sự không chắc chắn về việc liệu một tòa nhà sử dụng hỗn hợp phải được gắn thẻ *building:use=đa mục đích* hoặc *building:use=hỗn hợp. Bởi vì thẻ cũ đã được sử dụng trước đây ở các quốc gia khác, nó đã được chọn. Tuy nhiên, chúng ta thấy ở đây một trong những tòa nhà đã được gắn thẻ là hỗn hợp. Chúng ta cần sửa lại điều này. (Một sai lầm rõ ràng là ba điều khoản khác nhau dành cho nhà để xe, nhưng chúng tôi sẽ không sửa điều này ở đây.) Chúng tôi không thể thay đổi tính năng có thẻ building:use=hỗn hợp, bởi vì chúng tôi có hàng trăm tính năng được chọn. Vì vậy, để sửa sai lầm, trước hết chúng ta phải tìm ra nó. Làm sao? Bạn đoán nó - với công cụ Tìm kiếm. Nhấp vào “Hủy” để thoát khỏi hộp thoại này. Hãy nhớ, nhấn OK có thể gây nguy hiểm.* Mở lại Tìm kiếm và nhập truy vấn sau: : “building:use”=hỗn hợp Lưu ý rằng dấu ngoặc kép là cần thiết vì dấu hai chấm (:) cũng có ý nghĩa tìm kiếm. Điều này sẽ làm cho một tòa nhà có thẻ này được chọn. Bây giờ nó có thể được sửa chữa theo giá trị *đa mục đích. Hãy nhớ rằng nếu bạn đang theo cùng với hướng dẫn này, đừng cố gắng để lưu các thay đổi của bạn trên OpenStreetMap. Những bài tập này chỉ dành cho mục đích trình diễn. Điiều tra lại Nếu có nhiều nhóm lập bản đồ hợp tác để khảo sát một khu vực, phổ biến là một hoặc nhiều đội không thể làm một công việc thỏa đáng. Ngay cả những đội làm việc hiệu quả và chính xác cũng sẽ mắc lỗi. Hãy tưởng tượng rằng các đội mỗi bản đồ 100 tòa nhà mỗi ngày - không chắc là một tỷ lệ phần trăm nhỏ các thuộc tính mà họ thu thập có thể không chính xác. Do đó, một dự án tốt sẽ bao gồm một quá trình kiểm tra lại một số công việc đã được thực hiện, sửa lỗi, xác định nhóm lập bản đồ nào đang hoạt động tốt và xấp xỉ tỷ lệ lỗi cho báo cáo cuối cùng. Tất nhiên, không có ý nghĩa nào trong việc khảo sát lại tất cả các tòa nhà trong một khu vực mục tiêu, nhưng 5-10% các tòa nhà nên được xem xét lại. Các khu vực rà soát cần được lựa chọn từ các khu vực khác nhau để so sánh giữa các nhóm khảo sát. Các nhóm khảo sát có thể khảo sát lại công việc của nhau hoặc nếu có thể, các nhà quản lý giàu kinh nghiệm có thể thực hiện các bài đánh giá. Thông thường, một ngày một tuần các nhà quản lý sẽ dành thời gian thăm dò lại các phần của khu vực mục tiêu. Sửa lỗi Phải làm gì khi những sai lầm được tìm thấy? Nếu có một số sai lầm nhỏ (ít hơn 5% tòa nhà), các vấn đề nên được đưa đến nhóm lập bản đồ ban đầu để họ biết và có thể không lặp lại những sai lầm tương tự. Dữ liệu cần được sửa trong OpenStreetMap và phải ghi lại kết quả của cuộc điều tra lại. Nếu có nhiều sai lầm, cần phải thực hiện các hành động lớn hơn. Nhóm khảo sát sẽ cần phải được giải quyết theo cách thích hợp, và các khu vực mà họ đã lập bản đồ thậm chí có thể cần phải được khảo sát lại hoàn toàn, tùy thuộc vào mức độ dữ liệu không chính xác. Độ không chính xác lớn hơn 10% rất có thể là một tỷ lệ không thể chấp nhận. Báo cáo về Độ chính xác Mục tiêu thứ hai của việc khảo sát lại là bạn có thể báo cáo về tính chính xác của dữ liệu khi dự án kết thúc. Người sử dụng dữ liệu sẽ muốn biết số liệu và phương pháp đánh giá chất lượng dữ liệu của bạn. Bằng cách đưa quy trình này như là một phần của phương pháp đánh giá của bạn, bạn sẽ có thể giải thích rõ ràng cách bạn đánh giá chất lượng dữ liệu và cung cấp số liệu cứng hiển thị phần trăm lỗi có chứa trong dữ liệu khảo sát của bạn. Ví dụ: hãy tưởng tượng rằng chúng tôi đang quản lý một dự án có bản đồ 1000 tòa nhà. Vì vậy, chúng tôi quyết định bản đồ 10% trong số đó, hoặc 100 tòa nhà, ngẫu nhiên được lựa chọn từ khu vực mục tiêu. Chúng tôi đi ra ngoài và thấy rằng trong số 100 tòa nhà mà chúng tôi đã khảo sát, sáu trong số đó có mức độ không chính xác cao. Giả sử chúng ta xác định không chính xác bằng cách có nhiều thuộc tính sai. Vì vậy, sáu phần trăm của cuộc điều tra lại là sai - chúng ta có thể khắc phục những sai lầm này, nhưng chúng ta vẫn phải suy luận rằng khoảng 6% trong tổng số 1000 tòa nhà có lẽ là không chính xác. Điều này nên được báo cáo là lỗi có thể xảy ra khi đóng dự án. Việc khảo sát lại phải được thực hiện trong suốt dự án. Hãy tưởng tượng rằng chúng tôi đợi cho đến khi kết thúc ví dụ này và 40 trên 100 tòa nhà đã sai! Nó có thể làm hỏng toàn bộ dự án. Tốt hơn là nên bắt lỗi sớm ở phạm vi rộng để chúng có thể được sửa chữa. Truy vấn SQL Có lẽ công cụ phân tích tốt nhất sẽ chạy truy vấn SQL trong một hệ thống GIS, chẳng hạn như Quantum GIS. Điều này tương tự như tìm kiếm dữ liệu trong JOSM, nhưng nó cung cấp phân tích mạnh mẽ hơn, mặc dù có thể mất nhiều thời gian hơn để thiết lập. Sử dụng JOSM là một cách nhanh chóng, thường xuyên để kiểm tra các lỗi cơ bản, trong khi truy vấn trong QGIS là phù hợp hơn cho việc tìm kiếm dữ liệu bị thiếu hoặc các thuộc tính không chính xác. Giải nén các tập tin và nạp hai shapefile vào QGIS. Chúng tôi sẽ bắt đầu bằng cách chỉ cắt các tòa nhà trong khu vực dự án, để làm cho các truy vấn của chúng tôi đơn giản hơn sau này. Chúng tôi sẽ giả định ở đây rằng bạn đã quen thuộc với GIS và tập trung vào việc xây dựng các truy vấn có thể giúp bạn xem lại dữ liệu OpenStreetMap. Đối với các bài tập dưới đây, chúng tôi sẽ lại sử dụng dữ liệu từ dự án Open Cities Dhaka, bạn có thể tải xuống tại dhaka_sql.zip. Dữ liệu OpenStreetMap đã được xuất khẩu bằng cách sử dụng Công cụ xuất (export.hotosm.org) và ranh giới khu vực mục tiêu đã được xác định khi bắt đầu dự án. Chuẩn bị dữ liệu Giải nén các tập tin và nạp hai shapefile vào QGIS. Chúng tôi sẽ bắt đầu bằng cách chỉ cắt các tòa nhà trong khu vực dự án, để làm cho các truy vấn của chúng tôi đơn giản hơn sau này. Đầu tiên, hãy chọn các đa giác nằm trong khu vực mục tiêu. Để thực hiện điều này, chúng tôi sẽ sử dụng Plugin Truy vấn không gian (Spatial Query Plugin). Nếu bạn chưa cài đặt, hãy vào Plugins -> Manage and Install Plugins để tìm và cài đặt nó. Chuyển tới Vector -> Truy vấn không gian -> Truy vấn không gian. Bạn nên điền vào các thiết lập để chọn các tính năng từ planet_osm_polygon* có within target_area. Nhấn Apply. Chỉ những đa giác trong vùng mục tiêu sẽ được chọn. Nhấp chuột phải vào lớp và lưu các lựa chọn như là một shapefile mới. Thêm nó vào dự án. Tiếp theo, hãy lọc chỉ các đa giác là các tòa nhà và đã được thu thập như một phần của dự án này. Nhấp chuột phải vào planet_osm_polygon và nhấn vào “Lọc…” Nhập truy vấn sau: “building” != NULL AND “source” = ‘Open Cities Dhaka Survey’ Nhấp OK. Lọc dữ liệu với truy vấn này sẽ chỉ hiển thị các đa giác có thứ gì đó trong cột tòa nhà. Nó cũng loại bỏ các tòa nhà không có thẻ nguồn liên kết với dự án này. Lưu dữ liệu này dưới dạng một hình dạng mới. Chúng tôi sẽ sử dụng tệp này cho các truy vấn SQL của chúng tôi. Truy vấn SQL Bây giờ chúng ta có thể chạy các truy vấn trên lớp tòa nhà để tìm ra những lỗi có thể xảy ra. Hãy suy nghĩ về một số điều mà chúng ta có thể muốn truy vấn. Mô hình dữ liệu từ dự án này cho biết các thuộc tính cần được thu thập cho mỗi tòa nhà - đó là: name building building:cấp độ building:sử dụng building:vertical_irregularity building:soft_storey building:vật liệu building:cấu trúc start_date building:điều kiện Lưu ý rằng trong shapefile những tên thuộc tính này được cắt ngắn, vì cột có tên là giới hạn trong 10 ký tự. Vậy chúng ta muốn hỏi những câu hỏi nào? Những sai lầm có thể xảy ra? Một sai lầm phổ biến là tòa nhà đã được ánh xạ, nhưng không phải tất cả các thuộc tính đều được thu thập. Vì vậy, chúng tôi sẽ muốn chạy một truy vấn cho thấy tất cả các tòa nhà không có một bộ đầy đủ các thuộc tính. Tất nhiên, đối với một số thuộc tính, chẳng hạn như tên và ngày bắt đầu (năm xây dựng), hoàn toàn không có lý do để chúng trống rỗng, bởi vì không phải mọi tòa nhà đều có tên và đôi khi năm xây dựng không được biết. Nhưng các thuộc tính khác nên luôn được thu thập. Chúng ta hãy thử phát triển một truy vấn cho điều này: Nhấp chuột phải vào lớp tòa nhà (lớp chúng tôi đã tạo ở phần trước) và nhấp vào “Lọc …” Thao tác này sẽ mở trình tạo truy vấn. Ở đây chúng ta có thể viết các truy vấn phức tạp để chỉ trả lại dữ liệu chúng ta muốn. Bạn có thể xây dựng truy vấn của riêng bạn bằng cách nhấp đúp vào trường, toán tử và giá trị, hoặc bạn có thể sao chép truy vấn mà chúng ta đã xây dựng ở đây: “building_c” = NULL OR “building_s” = NULL OR “building_l” = NULL OR “building_m” = NULL OR “vertical_i” = NULL OR “soft_store” = NULL OR “building_u” = NULL Nhấp vào “Kiểm tra” và bạn sẽ thấy rằng truy vấn này trả về 125 tính năng. Điều này có nghĩa là trong số 3500 tòa nhà đã được lập bản đồ, 125 trong số họ thiếu một hoặc nhiều thuộc tính này. Nhấp OK để chỉ hiển thị những tòa nhà đáp ứng các điều kiện trong truy vấn. Những tòa nhà này sau đó có thể được kiểm tra chặt chẽ hơn để xác định những thuộc tính nào bị thiếu và nếu cần được khảo sát lại. Sau đó có thể sử dụng QGIS để tạo bản đồ mà một nhóm điều tra lại có thể thực hiện để sửa các thuộc tính xây dựng bị mất. Một số truy vấn khác có thể được sử dụng là gì? Vâng, bạn cũng có thể muốn kiểm tra các thuộc tính không được chứa trong giản đồ dữ liệu của bạn. Chúng tôi đã làm điều này trong phần tìm kiếm JOSM. Bạn có thể sử dụng truy vấn để tìm tất cả các tòa nhà có thuộc tính không phù hợp với mô hình dữ liệu của bạn. Bạn cũng có thể sử dụng điều này để tìm các dị thường, có thể nhưng không nhất thiết là những sai lầm. Ví dụ: nếu chúng ta mở trình tạo truy vấn, chọn building_l, và nhấp vào “All” để tải tất cả các giá trị thuộc tính có thể, chúng ta thấy rằng hầu hết các tòa nhà đều có một số từ một đến 20 (thuộc tính này là tầng: trong tòa nhà). Nhưng cũng có 51 người trong đó. Dường như không chắc rằng sẽ có toà nhà cao 51 tầng nằm trên mọi thứ trong khu vực này, vì vậy chúng tôi có thể xác định vị trí và ghi chú để kiểm tra điều này với người lập bản đồ. Truy vấn có thể là một cách hiệu quả để tìm kiếm các lỗi có thể có trong tập dữ liệu. Kết hợp với các tính năng khác của QGIS, nó có thể được sử dụng để xuất bản đồ có thể được sử dụng để xem lại các dữ liệu trong một khu vực. Tóm lược Trong hướng dẫn này chúng ta đã trải qua một số phương pháp hiệu quả để duy trì chất lượng dữ liệu trong một dự án và thực hiện một số bài thực hành để thực hành xem xét dữ liệu OSM. Khi tổ chức một dự án lập bản đồ, hoặc thậm chí khi đánh giá dữ liệu trong một khu vực để sử dụng cá nhân, các phương pháp này có thể có ích. Quay về đầu trang Chương này có bổ ích hay không? Hãy cho chúng tôi biết và giúp chúng tôi cỉa thiện những hướng dẫn này!

Rà soát dữ liệu OSM

Reviewed 2017-04-24

Rà soát dữ liệu OSM
- Kiểm tra hàng ngày
- Tóm lược

Phần này bao gồm các quy trình kiểm tra chất lượng dữ liệu, đặc biệt là trong khuôn khổ của một dự án lập bản đồ OSM trực tiếp, chẳng hạn như các dự án của Nhóm Tổ chức Nhân đạo OpenStreetMap ở các quốc gia khác nhau và các dự án Thành phố mở - Open Cities tại Bangladesh, Sri Lanka, and Nepal. Các phương pháp được chứng minh có thể hữu ích trong các ngữ cảnh khác, khi rà soát dữ liệu là một công việc thường xuyên.

Khi chúng tôi cố gắng lập bản đồ các tính năng và thuộc tính hoàn chỉnh trong một khu vực cụ thể, chúng tôi cần các cách để kiểm tra những sai sót và cách để đánh giá tính chính xác của tác phẩm. Trong hướng dẫn này chúng tôi sẽ làm việc thông qua một số phương pháp kiểm tra dữ liệu, giải thích các bước của phương pháp và lý do đằng sau mỗi. Một dự án lập bản đồ được quản lý tốt sẽ bao gồm cả ba quy trình này, để đánh giá và chỉnh sửa dữ liệu và báo cáo.

Kiểm tra hàng ngày
Điều tra lại
Truy vấn SQL

Những phương pháp đánh giá này trở nên quan trọng hơn khi mô hình dữ liệu phát triển và số lượng các tính năng thu thập trở nên khá lớn. Ví dụ: sẽ không mất nhiều thời gian và nỗ lực để đánh giá mô hình dữ liệu chỉ bao gồm các điểm ưa thích (POI):

Data Model POIs

Trong trường hợp này, các câu hỏi đặt ra sẽ là:

Các POIs được thiết lập ở tất cả các vị trí?
Có bất kỳ POI nào thiếu thuộc tính name?
Có bất kỳ POI nào thiếu thuộc tính type?
Có bất kỳ POI nào thiếu thuộc tính số điện thoại?
Giá trị trong trường tên có được viết hoa chính xác hay không?
Số điện thoại có hợp lý không?

Thông thường một mô hình dữ liệu phức tạp hơn nhiều, tuy nhiên, như trong trường hợp xây dựng bản đồ. Xem xét một mô hình dữ liệu bao gồm:

Data Model Buildings

Bây giờ bạn có thể lập bản đồ hàng ngàn tòa nhà có nhiều thuộc tính, và phân tích trở nên quan trọng hơn. Trong hướng dẫn này chúng ta sẽ sử dụng tòa nhà làm ví dụ, mặc dù các phương pháp tương tự cũng có thể được áp dụng để xem xét các loại tính năng khác.

Kiểm tra hàng ngày

Cách nhanh nhất để kiểm tra dữ liệu là để xem xét và xác nhận nó một cách thường xuyên. Đây có thể là hàng ngày hoặc hàng tuần. Đối với người giám sát của một nhóm người lập bản đồ, đây là một nhiệm vụ quan trọng vì việc bắt lỗi và thực hành chỉnh sửa không tốt có nghĩa là họ có thể sửa chữa và biên tập viên có thể học cách làm đúng cách.

Ở đây chúng tôi sẽ xem xét một số phương pháp để kiểm tra dữ liệu chỉ đơn giản bằng cách sử dụng JOSM. Một số câu hỏi chúng tôi hỏi về dữ liệu của chúng tôi là:

Có lỗi topology (như chồng chéo tòa nhà hoặc quan hệ không chính xác)?
Có các lỗi gắn thẻ (thẻ lỗi chính tả, kết hợp các giá trị khóa-giá trị sai) không?
• Là dữ liệu hoàn chỉnh theo mô hình dữ liệu?

Hãy xem xét cách chúng tôi có thể tìm câu trả lời cho những câu hỏi này trong JOSM. Chúng tôi sẽ giả định rằng chúng tôi đang kiểm tra công việc của những người khác nhưng những quy trình tương tự sẽ hoạt động tốt (và sẽ dễ dàng hơn) khi phân tích công việc của bạn.

Chúng tôi sẽ sử dụng một tệp dữ liệu ví dụ từ dự án lập bản đồ Open Cities ở Dhaka. Để làm theo, tải về các tập tin sau đây: dhaka_validation_example.osm

KHÔNG cố gắng để lưu các thay đổi của bạn trên OpenStreetMap. Những bài tập này chỉ dành cho mục đích trình diễn.

Dhaka Example in JOSM

Xác nhận dữ liệu

Bước đầu tiên để kiểm tra dữ liệu là chạy công cụ Xác Nhận trong JOSM, sẽ tự động kiểm tra dữ liệu bạn đã mở cho những sai lầm đáng ngờ. Công cụ này đặc biệt hữu ích cho việc tìm kiếm lỗi topology nhưng có thể không hữu ích cho việc tìm kiếm các thẻ không chính xác.

Kích hoạt công cụ bằng cách nhấp vào nút Xác nhận Công cụ ở phía bên trái của JOSM. (Điều này là không cần thiết nếu bảng Xác Nhận đã mở)

Validation Tool

Tiếp theo đảm bảo rằng không có gì được chọn bằng cách nhấp vào một điểm trống trên bản đồ của bạn. Nếu bạn có các tính năng được chọn khi chạy Công cụ Xác thực, chỉ những tính năng đã chọn sẽ được chọn. (đôi khi bạn có thể muốn chỉ kiểm tra các tính năng nhất định, nhưng bây giờ chúng tôi sẽ kiểm tra toàn bộ tệp tin)
Nhấp vào nút “Xác nhận” trên bảng điều khiển.

Validate Button

Bạn sẽ thấy một danh sách các cảnh báo xuất hiện:

Validation Results

Một lớp mới cũng xuất hiện, cho thấy lỗi ở đâu. Bạn có thể thấy thuận tiện để ẩn lớp này ngay bây giờ.

Validation Layer

Hãy nhìn vào một vài cảnh báo. Bạn có thể thấy rằng có bốn cảnh báo “Crossing build-ings”. Cảnh báo này có nghĩa là các tòa nhà đang chồng chéo ở đâu đó. Chọn mục đầu tiên trong danh sách này, nhấp chuột phải và nhấp vào “Phóng to vấn đề.”

Validation Zoom to Problem

Ngoài ra, hãy nhấp vào nút “Chọn” ở cuối cửa sổ Xác thực để chọn các cách được đề cập. Điều này cho thấy hai cách này có vấn đề:

Validation Selected Ways

Đây là một lỗi mà chúng tôi không bao giờ có thể bị bắt nếu không có công cụ xác nhận. Nếu bạn phóng to rất gần, bạn có thể thấy rằng có sự chồng chéo nhỏ giữa các tòa nhà, đó là lỗi topology, vì các tòa nhà thường không chồng chéo lên nhau. Để khắc phục điều này, nút giữa cần phải được di chuyển. Nếu các tòa nhà thực sự chạm vào, mà có thể họ đang có, nút trung gian có thể được nối vào đường đi. Phương pháp này tự động kiểm tra dữ liệu là một cách hiệu quả để sửa lỗi topology, đặc biệt là những điều khó mà chú ý bởi một người. Trong danh sách cảnh báo xác nhận, bạn có thể thấy rằng các cảnh báo khác như “Xây dựng bên trong tòa nhà” là kết quả của một sai lầm tương tự.

Các lời cảnh báo khác, chẳng hạn như “Crossing waterway / highway”, không nhất thiết là những sai lầm. Điều này cho thấy công cụ xác nhận là tốt ở việc tìm kiếm những sai lầm có thể, nhưng nó đòi hỏi một ai đó để đi và xem liệu lỗi là quan trọng hay không.

Validation Crossing Ways

Chúng ta hãy nhìn vào cảnh báo dưới “Các cách được đặt tên tương tự” để thấy một lỗi không phải là topology. Nhấp vào “Chọn” để chọn hai cách trong câu hỏi.

Validation Select Crossing Ways

Bạn có thể cho biết lỗi là gì? Ở đây, chúng tôi có hai phân đoạn đường khác nhau, thực sự là cùng một con đường, tuy nhiên chúng được đặt tên khác một chút - “con đường” được viết hoa bằng một trong những cách đó chứ không phải ở bên kia. Nó có ý nghĩa rằng họ nên có cùng một tên, và trong trường hợp này, từ “đường” nên được viết hoa.

Sử dụng JOSM Search

Tìm kiếm trong JOSM là một cách xem dữ liệu mạnh mẽ. Nó cho phép bạn cung cấp các cụm từ tìm kiếm, còn được gọi là truy vấn, để chỉ chọn các tính năng mà bạn muốn.

Để truy cập tìm kiếm, vào Edit -> Search hoặc nhấn CTRL + F trên bàn phím.

JOSM Menu Search

Có rất nhiều loại truy vấn bạn có thể tìm kiếm ở đây và bạn có thể xem chi tiết và ví dụ trong hộp tìm kiếm và nhấp vào nút “Trợ giúp”.
Bây giờ, hãy thử chọn tất cả các tòa nhà. Hầu như mỗi tòa nhà đều có thẻ building=yes và một số gắn building=construction. Điều này có nghĩa là chúng ta có thể xây dựng một truy vấn đọc: building = yes OR building=construction
- Điều này sẽ chọn tất cả các tòa nhà, nhưng chỉ trong trường hợp ai đó áp dụng sai thẻ vào tòa nhà, thay vào đó, chúng ta có thể sử dụng ký tự đại diện để chọn tất cả các tính năng có building.

JOSM Search String

Tất cả các tòa nhà sẽ được chọn.

Điều này thật tuyệt vời, nhưng làm cách nào để chúng tôi xem lại dữ liệu? Vâng, bây giờ mà tất cả các loại một tính năng đã được chọn, chúng ta có thể tìm kiếm các thẻ không chính xác.

Xem trong cửa sổ Thuộc tính - những gì chúng ta thấy là tất cả các thẻ cho mỗi đối tượng được chọn. Tất cả chúng đều có cùng khóa, nhưng vì mỗi đối tượng địa lý có các giá trị khác nhau, chúng được đánh dấu là <different>.

JOSM Search Properties

Nhấp vào thẻ building:use và nhấn vào “Edit.”

JOSM Search Properties Edit

HÃY CẨN THẬN Ở ĐÂT! Bạn không muốn chỉnh sửa giá trị và nhấp vào OK vì điều đó sẽ thay đổi thẻ này cho mọi tính năng xây dựng đơn lẻ. Điều này sẽ rất tồi tệ.
Thay vào đó, nhấp vào hộp thả xuống bên cạnh Giá trị..
Lưu ý rằng tất cả các mục in đậm có một số bên cạnh chúng trong ngoặc đơn. Đây là số tính năng đã chọn có giá trị thẻ này.

Chúng ta có thể so sánh điều này với các thẻ OpenStreetMap đã được thiết lập trong mô hình dữ liệu của chúng tôi và tìm kiếm những sai lầm. Ví dụ: thẻ này đại diện cho việc sử dụng tòa nhà. Đầu trong dự án Thành phố mở Dhaka (nơi dữ liệu này đến từ) có sự không chắc chắn về việc liệu một tòa nhà sử dụng hỗn hợp phải được gắn thẻ building:use=đa mục đích hoặc building:use=hỗn hợp. Bởi vì thẻ cũ đã được sử dụng trước đây ở các quốc gia khác, nó đã được chọn. Tuy nhiên, chúng ta thấy ở đây một trong những tòa nhà đã được gắn thẻ là hỗn hợp. Chúng ta cần sửa lại điều này. (Một sai lầm rõ ràng là ba điều khoản khác nhau dành cho nhà để xe, nhưng chúng tôi sẽ không sửa điều này ở đây.)

Chúng tôi không thể thay đổi tính năng có thẻ building:use=hỗn hợp, bởi vì chúng tôi có hàng trăm tính năng được chọn. Vì vậy, để sửa sai lầm, trước hết chúng ta phải tìm ra nó. Làm sao? Bạn đoán nó - với công cụ Tìm kiếm.
Nhấp vào “Hủy” để thoát khỏi hộp thoại này. Hãy nhớ, nhấn OK có thể gây nguy hiểm.
Mở lại Tìm kiếm và nhập truy vấn sau: : “building:use”=hỗn hợp
- Lưu ý rằng dấu ngoặc kép là cần thiết vì dấu hai chấm (:) cũng có ý nghĩa tìm kiếm. Điều này sẽ làm cho một tòa nhà có thẻ này được chọn. Bây giờ nó có thể được sửa chữa theo giá trị đa mục đích. Hãy nhớ rằng nếu bạn đang theo cùng với hướng dẫn này, đừng cố gắng để lưu các thay đổi của bạn trên OpenStreetMap. Những bài tập này chỉ dành cho mục đích trình diễn.

Điiều tra lại

Nếu có nhiều nhóm lập bản đồ hợp tác để khảo sát một khu vực, phổ biến là một hoặc nhiều đội không thể làm một công việc thỏa đáng. Ngay cả những đội làm việc hiệu quả và chính xác cũng sẽ mắc lỗi. Hãy tưởng tượng rằng các đội mỗi bản đồ 100 tòa nhà mỗi ngày - không chắc là một tỷ lệ phần trăm nhỏ các thuộc tính mà họ thu thập có thể không chính xác.

Do đó, một dự án tốt sẽ bao gồm một quá trình kiểm tra lại một số công việc đã được thực hiện, sửa lỗi, xác định nhóm lập bản đồ nào đang hoạt động tốt và xấp xỉ tỷ lệ lỗi cho báo cáo cuối cùng.

Tất nhiên, không có ý nghĩa nào trong việc khảo sát lại tất cả các tòa nhà trong một khu vực mục tiêu, nhưng 5-10% các tòa nhà nên được xem xét lại. Các khu vực rà soát cần được lựa chọn từ các khu vực khác nhau để so sánh giữa các nhóm khảo sát. Các nhóm khảo sát có thể khảo sát lại công việc của nhau hoặc nếu có thể, các nhà quản lý giàu kinh nghiệm có thể thực hiện các bài đánh giá. Thông thường, một ngày một tuần các nhà quản lý sẽ dành thời gian thăm dò lại các phần của khu vực mục tiêu.

Sửa lỗi

Phải làm gì khi những sai lầm được tìm thấy? Nếu có một số sai lầm nhỏ (ít hơn 5% tòa nhà), các vấn đề nên được đưa đến nhóm lập bản đồ ban đầu để họ biết và có thể không lặp lại những sai lầm tương tự. Dữ liệu cần được sửa trong OpenStreetMap và phải ghi lại kết quả của cuộc điều tra lại.

Nếu có nhiều sai lầm, cần phải thực hiện các hành động lớn hơn. Nhóm khảo sát sẽ cần phải được giải quyết theo cách thích hợp, và các khu vực mà họ đã lập bản đồ thậm chí có thể cần phải được khảo sát lại hoàn toàn, tùy thuộc vào mức độ dữ liệu không chính xác. Độ không chính xác lớn hơn 10% rất có thể là một tỷ lệ không thể chấp nhận.

Báo cáo về Độ chính xác

Mục tiêu thứ hai của việc khảo sát lại là bạn có thể báo cáo về tính chính xác của dữ liệu khi dự án kết thúc. Người sử dụng dữ liệu sẽ muốn biết số liệu và phương pháp đánh giá chất lượng dữ liệu của bạn. Bằng cách đưa quy trình này như là một phần của phương pháp đánh giá của bạn, bạn sẽ có thể giải thích rõ ràng cách bạn đánh giá chất lượng dữ liệu và cung cấp số liệu cứng hiển thị phần trăm lỗi có chứa trong dữ liệu khảo sát của bạn.

Ví dụ: hãy tưởng tượng rằng chúng tôi đang quản lý một dự án có bản đồ 1000 tòa nhà. Vì vậy, chúng tôi quyết định bản đồ 10% trong số đó, hoặc 100 tòa nhà, ngẫu nhiên được lựa chọn từ khu vực mục tiêu. Chúng tôi đi ra ngoài và thấy rằng trong số 100 tòa nhà mà chúng tôi đã khảo sát, sáu trong số đó có mức độ không chính xác cao. Giả sử chúng ta xác định không chính xác bằng cách có nhiều thuộc tính sai. Vì vậy, sáu phần trăm của cuộc điều tra lại là sai - chúng ta có thể khắc phục những sai lầm này, nhưng chúng ta vẫn phải suy luận rằng khoảng 6% trong tổng số 1000 tòa nhà có lẽ là không chính xác. Điều này nên được báo cáo là lỗi có thể xảy ra khi đóng dự án.

Việc khảo sát lại phải được thực hiện trong suốt dự án. Hãy tưởng tượng rằng chúng tôi đợi cho đến khi kết thúc ví dụ này và 40 trên 100 tòa nhà đã sai! Nó có thể làm hỏng toàn bộ dự án. Tốt hơn là nên bắt lỗi sớm ở phạm vi rộng để chúng có thể được sửa chữa.

Truy vấn SQL

Có lẽ công cụ phân tích tốt nhất sẽ chạy truy vấn SQL trong một hệ thống GIS, chẳng hạn như Quantum GIS. Điều này tương tự như tìm kiếm dữ liệu trong JOSM, nhưng nó cung cấp phân tích mạnh mẽ hơn, mặc dù có thể mất nhiều thời gian hơn để thiết lập. Sử dụng JOSM là một cách nhanh chóng, thường xuyên để kiểm tra các lỗi cơ bản, trong khi truy vấn trong QGIS là phù hợp hơn cho việc tìm kiếm dữ liệu bị thiếu hoặc các thuộc tính không chính xác. Giải nén các tập tin và nạp hai shapefile vào QGIS. Chúng tôi sẽ bắt đầu bằng cách chỉ cắt các tòa nhà trong khu vực dự án, để làm cho các truy vấn của chúng tôi đơn giản hơn sau này.

Chúng tôi sẽ giả định ở đây rằng bạn đã quen thuộc với GIS và tập trung vào việc xây dựng các truy vấn có thể giúp bạn xem lại dữ liệu OpenStreetMap. Đối với các bài tập dưới đây, chúng tôi sẽ lại sử dụng dữ liệu từ dự án Open Cities Dhaka, bạn có thể tải xuống tại dhaka_sql.zip. Dữ liệu OpenStreetMap đã được xuất khẩu bằng cách sử dụng Công cụ xuất (export.hotosm.org) và ranh giới khu vực mục tiêu đã được xác định khi bắt đầu dự án.

Chuẩn bị dữ liệu

Giải nén các tập tin và nạp hai shapefile vào QGIS. Chúng tôi sẽ bắt đầu bằng cách chỉ cắt các tòa nhà trong khu vực dự án, để làm cho các truy vấn của chúng tôi đơn giản hơn sau này.

Đầu tiên, hãy chọn các đa giác nằm trong khu vực mục tiêu. Để thực hiện điều này, chúng tôi sẽ sử dụng Plugin Truy vấn không gian (Spatial Query Plugin). Nếu bạn chưa cài đặt, hãy vào Plugins -> Manage and Install Plugins để tìm và cài đặt nó.
Chuyển tới Vector -> Truy vấn không gian -> Truy vấn không gian.
Bạn nên điền vào các thiết lập để chọn các tính năng từ planet_osm_polygon có within target_area.

QGIS Spatial Query

Nhấn Apply. Chỉ những đa giác trong vùng mục tiêu sẽ được chọn.

QGIS Map Image

Nhấp chuột phải vào lớp và lưu các lựa chọn như là một shapefile mới. Thêm nó vào dự án.

QGIS Save Selection As

Tiếp theo, hãy lọc chỉ các đa giác là các tòa nhà và đã được thu thập như một phần của dự án này.
Nhấp chuột phải vào planet_osm_polygon và nhấn vào “Lọc…”
Nhập truy vấn sau:

“building” != NULL AND “source” = ‘Open Cities Dhaka Survey’

Nhấp OK. Lọc dữ liệu với truy vấn này sẽ chỉ hiển thị các đa giác có thứ gì đó trong cột tòa nhà. Nó cũng loại bỏ các tòa nhà không có thẻ nguồn liên kết với dự án này.
Lưu dữ liệu này dưới dạng một hình dạng mới. Chúng tôi sẽ sử dụng tệp này cho các truy vấn SQL của chúng tôi.

QGIS Map Image 2

Truy vấn SQL

Bây giờ chúng ta có thể chạy các truy vấn trên lớp tòa nhà để tìm ra những lỗi có thể xảy ra. Hãy suy nghĩ về một số điều mà chúng ta có thể muốn truy vấn. Mô hình dữ liệu từ dự án này cho biết các thuộc tính cần được thu thập cho mỗi tòa nhà - đó là:

name
building
building:cấp độ
building:sử dụng
building:vertical_irregularity
building:soft_storey
building:vật liệu
building:cấu trúc
start_date
building:điều kiện

Lưu ý rằng trong shapefile những tên thuộc tính này được cắt ngắn, vì cột có tên là giới hạn trong 10 ký tự.

Vậy chúng ta muốn hỏi những câu hỏi nào? Những sai lầm có thể xảy ra? Một sai lầm phổ biến là tòa nhà đã được ánh xạ, nhưng không phải tất cả các thuộc tính đều được thu thập. Vì vậy, chúng tôi sẽ muốn chạy một truy vấn cho thấy tất cả các tòa nhà không có một bộ đầy đủ các thuộc tính. Tất nhiên, đối với một số thuộc tính, chẳng hạn như tên và ngày bắt đầu (năm xây dựng), hoàn toàn không có lý do để chúng trống rỗng, bởi vì không phải mọi tòa nhà đều có tên và đôi khi năm xây dựng không được biết. Nhưng các thuộc tính khác nên luôn được thu thập.

Chúng ta hãy thử phát triển một truy vấn cho điều này:

Nhấp chuột phải vào lớp tòa nhà (lớp chúng tôi đã tạo ở phần trước) và nhấp vào “Lọc …” Thao tác này sẽ mở trình tạo truy vấn. Ở đây chúng ta có thể viết các truy vấn phức tạp để chỉ trả lại dữ liệu chúng ta muốn.
Bạn có thể xây dựng truy vấn của riêng bạn bằng cách nhấp đúp vào trường, toán tử và giá trị, hoặc bạn có thể sao chép truy vấn mà chúng ta đã xây dựng ở đây:

“building_c” = NULL OR “building_s” = NULL OR “building_l” = NULL OR “building_m” = NULL OR “vertical_i” = NULL OR “soft_store” = NULL OR “building_u” = NULL

Nhấp vào “Kiểm tra” và bạn sẽ thấy rằng truy vấn này trả về 125 tính năng. Điều này có nghĩa là trong số 3500 tòa nhà đã được lập bản đồ, 125 trong số họ thiếu một hoặc nhiều thuộc tính này.

QGIS Query Result

Nhấp OK để chỉ hiển thị những tòa nhà đáp ứng các điều kiện trong truy vấn.

QGIS Map Image 3

Những tòa nhà này sau đó có thể được kiểm tra chặt chẽ hơn để xác định những thuộc tính nào bị thiếu và nếu cần được khảo sát lại. Sau đó có thể sử dụng QGIS để tạo bản đồ mà một nhóm điều tra lại có thể thực hiện để sửa các thuộc tính xây dựng bị mất.

Một số truy vấn khác có thể được sử dụng là gì? Vâng, bạn cũng có thể muốn kiểm tra các thuộc tính không được chứa trong giản đồ dữ liệu của bạn. Chúng tôi đã làm điều này trong phần tìm kiếm JOSM. Bạn có thể sử dụng truy vấn để tìm tất cả các tòa nhà có thuộc tính không phù hợp với mô hình dữ liệu của bạn.

Bạn cũng có thể sử dụng điều này để tìm các dị thường, có thể nhưng không nhất thiết là những sai lầm. Ví dụ: nếu chúng ta mở trình tạo truy vấn, chọn building_l, và nhấp vào “All” để tải tất cả các giá trị thuộc tính có thể, chúng ta thấy rằng hầu hết các tòa nhà đều có một số từ một đến 20 (thuộc tính này là tầng: trong tòa nhà). Nhưng cũng có 51 người trong đó. Dường như không chắc rằng sẽ có toà nhà cao 51 tầng nằm trên mọi thứ trong khu vực này, vì vậy chúng tôi có thể xác định vị trí và ghi chú để kiểm tra điều này với người lập bản đồ.

Truy vấn có thể là một cách hiệu quả để tìm kiếm các lỗi có thể có trong tập dữ liệu. Kết hợp với các tính năng khác của QGIS, nó có thể được sử dụng để xuất bản đồ có thể được sử dụng để xem lại các dữ liệu trong một khu vực.

Tóm lược

Trong hướng dẫn này chúng ta đã trải qua một số phương pháp hiệu quả để duy trì chất lượng dữ liệu trong một dự án và thực hiện một số bài thực hành để thực hành xem xét dữ liệu OSM. Khi tổ chức một dự án lập bản đồ, hoặc thậm chí khi đánh giá dữ liệu trong một khu vực để sử dụng cá nhân, các phương pháp này có thể có ích.

Quay về đầu trang

Chương này có bổ ích hay không? Hãy cho chúng tôi biết và giúp chúng tôi cỉa thiện những hướng dẫn này!