Một quy tắc tiền giám định sai có thể gây hậu quả lớn hơn một lỗi phần mềm thông thường. Nếu một rule được thiết kế quá rộng, hiểu sai thời điểm áp dụng, bỏ sót ngoại lệ hoặc coi dữ liệu chưa đủ là vi phạm, hệ thống có thể tạo hàng nghìn cảnh báo sai, làm người sử dụng mất niềm tin, khiến nhân viên sửa những dữ liệu vốn đã đúng, làm bác sĩ phải xử lý các cảnh báo không cần thiết hoặc thậm chí khiến bệnh viện tự loại bỏ những khoản chi thực tế vẫn đủ điều kiện thanh toán. Ngược lại, nếu rule quá lỏng hoặc có lỗi kỹ thuật khiến trường hợp thực sự không phù hợp không được phát hiện, Dr5 sẽ tạo cảm giác an toàn giả và không đạt mục tiêu tiền giám định.
Vì vậy, rule trong Dr5 phải được nhìn nhận đồng thời như phần mềm có thể gây lỗi và tri thức nghiệp vụ có thể bị diễn giải sai. Một generic implementation có thể được lập trình hoàn toàn đúng nhưng catalog chứa sai effective date vẫn làm kết quả sai; một payment condition được nhập chính xác từ văn bản nhưng Candidate Resolver chọn nhầm catalog version cũng làm kết quả sai; một rule có căn cứ đúng nhưng bỏ sót ngoại lệ sẽ tạo false positive; và một rule được kiểm thử tốt ở phiên bản hiện tại vẫn có thể hỏng sau khi một implementation dùng chung được sửa cho use case khác.
Do đó nguyên tắc trung tâm của Bài 8.7 là:
Không một rule nào nên được đưa vào production chỉ vì nó “chạy được”. Rule phải chứng minh rằng nó phát hiện đúng trường hợp cần phát hiện, không cảnh báo những trường hợp hợp lệ, xử lý đúng ngoại lệ và dữ liệu thiếu, sử dụng đúng phiên bản theo thời gian, đồng thời tiếp tục hoạt động đúng sau những thay đổi của engine và catalog.
Các phương pháp kiểm thử được trình bày trong bài này là đề xuất kiểm soát nội bộ cho Dr5, không phải bộ tiêu chí kiểm thử do BHXH Việt Nam ban hành. Điều 16 Thông tư 12/2026/TT-BTC vẫn xác định BHXH Việt Nam là cơ quan ban hành tài liệu hướng dẫn kỹ thuật và các tiêu chí, tiêu chuẩn áp dụng trên Hệ thống thông tin giám định BHYT.
1. Phải kiểm thử hai lớp: engine và knowledge
Trong kiến trúc catalog-driven, kết quả của một evaluation được hình thành từ hai thành phần lớn. Thành phần thứ nhất là Generic Rule Engine, tức phần mềm biết cách thực hiện các loại kiểm tra như membership, arithmetic, conditional evaluation, relationship, sequence, rolling-window frequency hay cross-record reconciliation. Thành phần thứ hai là knowledge, tức nội dung trong sáu catalog dr5_xml_field, dr5_xml_required, dr5_xml_relation, dr5_catalog_binding, dr5_payment_condition, dr5_legal_basis.
Vì vậy không thể chỉ kiểm thử Python rồi kết luận hệ thống đã đúng. Một generic implementation có thể vượt qua toàn bộ unit test nhưng vẫn tạo finding sai nếu dr5_payment_condition chứa ngưỡng sai, dr5_catalog_binding chọn nhầm danh mục hoặc dr5_legal_basis gắn nhầm effective period. Ngược lại, catalog có thể hoàn toàn chính xác nhưng một bug trong evaluator khiến toán tử >= được xử lý thành >.
Do đó Dr5 cần hai lớp kiểm thử độc lập nhưng liên kết với nhau:
Engine test xác nhận hệ thống biết cách đánh giá đúng.
Knowledge test xác nhận hệ thống đang đánh giá đúng nội dung nghiệp vụ, đúng phiên bản và đúng căn cứ.
2. Dữ liệu giả lập là nền tảng để kiểm thử rule
Dữ liệu giả lập, hay synthetic test data, cho phép xây những hồ sơ rất nhỏ mà trong đó mỗi yếu tố được kiểm soát hoàn toàn. Đây là cách tốt nhất để xác định một rule có hoạt động đúng bản chất hay không, bởi người viết test biết chính xác dữ liệu đầu vào, expected result và lý do của expected result.
Ví dụ một rule kiểm tra tổng tiền không cần bắt đầu bằng một hồ sơ thực có hàng trăm dòng. Có thể tạo synthetic case gồm ba dòng với những giá trị đơn giản để chứng minh rằng evaluator trả PASS khi tổng đúng, trả ERROR_TECH khi tổng sai và xử lý đúng Decimal/rounding theo rule đã định nghĩa. Sau khi logic cơ bản được chứng minh, mới mở rộng sang những dữ liệu phức tạp hơn.
Dữ liệu giả lập còn có lợi thế quan trọng là có thể chủ động tạo ra những tình huống hiếm mà dữ liệu thực tế chưa chắc đã có sẵn, chẳng hạn hồ sơ nằm đúng ngày chuyển đổi danh mục, một exception rất ít gặp, một trường bắt buộc bị rỗng trong đúng context hoặc một sequence có timestamp bằng đúng boundary của rule.
3. Mỗi rule phải có ít nhất một positive test
Positive test là trường hợp được thiết kế để rule phải phát hiện vấn đề. Nếu đây là rule requiredness, synthetic record phải nằm đúng applicability context và cố tình thiếu field bắt buộc; nếu là catalog membership, code phải thực sự không thuộc applicable catalog; nếu là payment condition, phải tạo một trường hợp mà condition áp dụng, evidence đầy đủ và condition thực sự không đạt.
Positive test trả lời câu hỏi:
Khi vấn đề thật sự tồn tại, Dr5 có phát hiện được hay không?
Một rule không vượt qua positive test cơ bản đương nhiên chưa thể publish.
4. Negative test quan trọng không kém positive test
Một hệ thống tiền giám định nguy hiểm không chỉ khi bỏ sót lỗi mà còn khi cảnh báo hồ sơ hợp lệ. Vì vậy mỗi rule phải có ít nhất một trường hợp mà dữ liệu rõ ràng đúng và expected result phải là PASS hoặc trạng thái không finding tương ứng.
Ví dụ rule kiểm tra dịch vụ X cần condition Y không được chỉ test một hồ sơ không có Y. Phải có thêm hồ sơ có đầy đủ condition và evidence để chứng minh rằng hệ thống không cảnh báo sai. Nếu không có negative test, developer rất dễ viết được một rule có độ nhạy cao nhưng specificity thấp, nghĩa là bắt được lỗi thật nhưng đồng thời bắt luôn nhiều trường hợp đúng.
Trong môi trường bệnh viện, false positive không phải vấn đề nhỏ. Nếu cảnh báo sai xuất hiện liên tục, nhân viên sẽ hình thành thói quen bỏ qua cảnh báo; khi đó ngay cả những rule chính xác cũng mất giá trị vận hành.
5. NOT_APPLICABLE phải có test riêng
Một rule chỉ áp dụng cho một population cụ thể phải được kiểm thử bằng ít nhất một hồ sơ ngoài phạm vi áp dụng. Expected result trong trường hợp này phải là NOT_APPLICABLE, không phải PASS và càng không phải finding.
Ví dụ rule chỉ áp dụng cho điều trị nội trú thì hồ sơ ngoại trú phải chứng minh rằng Candidate Resolver và applicability logic loại rule khỏi evaluation đúng cách. Đây là test rất quan trọng vì nhiều false positive không đến từ condition sai mà đến từ việc rule bị chạy cho đối tượng mà nó chưa bao giờ được thiết kế để áp dụng.
6. Trường hợp thiếu dữ liệu phải có test UNKNOWN
Một trong những yêu cầu an toàn quan trọng nhất của Dr5 là:
missing evidence không được tự động trở thành condition failure.
Do đó mọi rule cần evidence phải có test trong đó evidence cố tình không được cung cấp. Expected evaluation phải là UNKNOWN, và finding class phải tương ứng với INFO_EVIDENCE hoặc trạng thái chưa đủ dữ liệu đã được thiết kế cho rule đó.
Ví dụ nếu một payment condition cần một kết quả từ HSBA nhưng synthetic test chỉ cung cấp XML, expected result không được là PAYMENT_CONDITION. Test phải chứng minh rằng engine dừng ở:
chưa đủ bằng chứng để kết luận.
Đây là một trong những regression test quan trọng nhất của toàn bộ Dr5, vì chỉ một thay đổi nhỏ trong resolver cũng có thể vô tình biến NOT_FOUND thành FALSE và làm hàng loạt hồ sơ bị phân loại quá mức.
7. Ngoại lệ phải được kiểm thử như một phần bắt buộc của rule
Rule chỉ kiểm thử condition chính nhưng không kiểm thử exception là một rule chưa hoàn chỉnh. Trong thực tế, ngoại lệ thường là nguồn tạo false positive lớn nhất vì chúng ít xuất hiện hơn trường hợp thông thường và dễ bị bỏ sót trong quá trình chuyển quy định thành logic máy.
Nếu một payment condition có ba ngoại lệ được quy định, test suite nên có ít nhất một trường hợp độc lập cho từng ngoại lệ, thay vì chỉ có một hồ sơ “exception chung”. Điều này giúp xác định chính xác ngoại lệ nào bị hỏng khi rule hoặc catalog được cập nhật.
Expected result của valid exception có thể là PASS hoặc PASS_WITH_EXCEPTION tùy thiết kế workflow, nhưng audit phải giữ được thông tin rằng primary condition không đạt và finding được loại vì một exception hợp lệ. Không nên làm exception biến mất hoàn toàn khỏi trace vì dữ liệu này rất có giá trị cho kiểm toán và cải tiến rule.
8. Exception test khác false-positive test
Hai khái niệm này phải được phân biệt rõ. Valid exception nghĩa là rule được thiết kế đúng, case nằm trong phạm vi rule nhưng một ngoại lệ hợp lệ làm thay đổi kết quả. False positive nghĩa là rule tạo cảnh báo trong khi theo nghiệp vụ và evidence thực tế, cảnh báo đó không đáng xuất hiện.
Nếu người sử dụng liên tục phản hồi VALID_EXCEPTION, có thể cần bổ sung hoặc cải thiện cách mô hình hóa exception. Nếu liên tục phản hồi FALSE_POSITIVE, cần kiểm tra lại applicability, condition, mapping, threshold hoặc logic của engine. Gộp hai tình huống thành “bỏ qua cảnh báo” sẽ khiến hệ thống mất khả năng học.
9. Boundary test là bắt buộc đối với ngày, số lượng và ngưỡng
Bất kỳ rule nào có boundary đều phải được kiểm thử ít nhất ở ba điểm:
ngay dưới ngưỡng;
đúng ngưỡng;
ngay trên ngưỡng.
Nếu condition là:
quantity <= 3,
cần test 2, 3 và 4.
Nếu một version bắt đầu áp dụng ngày 01/08/2026, cần test ít nhất:
31/07/2026;
01/08/2026;
02/08/2026.
Boundary tests giúp phát hiện những lỗi rất đơn giản nhưng nguy hiểm như sử dụng > thay vì >=, sai cách tính cửa sổ thời gian hoặc chọn nhầm version tại đúng ngày chuyển đổi.
10. Temporal rule phải được kiểm thử bằng nhiều version
Bài 8.6 đã xác lập rằng hồ sơ cũ phải được đánh giá bằng applicable version tại event date, không phải current version. Vì vậy test suite phải chứng minh Candidate Resolver chọn đúng version ở từng giai đoạn.
Ví dụ một mã hợp lệ ở V1 nhưng bị ngừng ở V2 cần ít nhất hai test: hồ sơ trong thời kỳ V1 phải PASS, hồ sơ phát sinh sau khi V2 có hiệu lực phải được đánh giá theo trạng thái mới. Nếu chỉ test current version, historical behavior chưa được bảo vệ.
Với các giai đoạn chuyển tiếp, cần test riêng những trường hợp nằm trong transition period và những trường hợp ngay trước/sau transition. Mục tiêu không chỉ kiểm tra field effective_from, mà kiểm tra toàn bộ temporal resolution chain.
11. Không chỉ test outcome, phải test version được chọn
Một temporal test không nên chỉ assert:
result == PASS.
Nó còn nên xác nhận:
applicable catalog version = V1;
payment condition version = PC3;
legal basis = LB7;
nếu đây là những thành phần quyết định kết quả.
Nếu không, một bug có thể vô tình chọn V2 nhưng vẫn tạo PASS trong test hiện tại, khiến lỗi chỉ xuất hiện khi dữ liệu khác.
12. Candidate Resolver cần test riêng
Candidate Resolver là thành phần trung tâm của kiến trúc Dr5 vì nó quyết định rule, catalog, facility context và effective version nào sẽ được đưa cho evaluator. Một evaluator hoàn toàn đúng vẫn cho kết quả sai nếu candidate được chọn sai.
Do đó resolver cần test các tình huống như:
- đúng field nhưng sai catalog;
- nhiều catalog candidate;
- không có candidate;
- hai version overlap ngoài chủ ý;
- facility-specific binding;
- boundary effective date;
- code thuộc group thay vì exact item;
- historical mapping.
Trong các trường hợp ambiguity do cấu hình hệ thống, expected behavior nên là fail safely hoặc unresolved state, không phải chọn ngẫu nhiên một candidate.
13. Arithmetic rule cần kiểm thử precision và rounding
Chi phí KCB sử dụng nhiều phép tính số học. Việc kiểm thử không nên chỉ dùng số nguyên đẹp mà cần có các test liên quan:
- số thập phân;
- rounding;
- zero;
- giá trị lớn;
- tổng nhiều dòng;
- missing component;
- negative value nếu field có thể hoặc không thể cho phép.
Nếu dùng floating-point không đúng cách, chênh lệch rất nhỏ có thể tạo false positive hàng loạt. Vì vậy những rule tiền, tỷ lệ và số lượng nên kiểm thử với kiểu số và quy tắc làm tròn đúng thiết kế của hệ thống.
14. Sequence và temporal relation cần test cả equality
Nếu rule yêu cầu:
A ≤ B,
cần test:
- A < B;
- A = B;
- A > B.
Không nên chỉ test một trường hợp trước và một trường hợp sau, vì lỗi thường nằm ở equality boundary.
Tương tự, nếu rolling window là:
24 giờ,
cần test event cách nhau:
23 giờ 59 phút;
đúng 24 giờ;
24 giờ 1 phút
theo semantics mà rule định nghĩa.
15. Frequency rule phải test business event, không chỉ số dòng XML
Một test cho rolling_window_frequency phải bảo đảm rằng submission duplicate hoặc nhiều representation của cùng một event không bị đếm nhầm thành nhiều lần thực hiện. Nếu chỉ feed một danh sách dòng đơn giản, test chưa phản ánh một trong những rủi ro lớn nhất của phân tích tần suất.
Cần có synthetic cases gồm:
- hai dòng là hai event thật;
- hai dòng là cùng event do resubmission;
- một service có nhiều result records;
- một event nằm đúng boundary của rolling window.
Expected count phải dựa trên:
business events đã được resolve và deduplicate.
16. Cross-record và cross-table rule phải test missing target
Một relation:
XML3 → XML4
cần test ít nhất:
- target tồn tại và match;
- target tồn tại nhưng không match;
- target không resolve;
- nhiều target candidate;
- source không applicable.
Đặc biệt, trường hợp target không resolve phải chứng minh hệ thống trả:
INFO_EVIDENCEhoặc trạng thái tương ứng,
chứ không tự động khẳng định:
“không có kết quả”.
17. Payment condition cần bộ test chặt hơn rule kỹ thuật
Một ERROR_TECH sai đã gây phiền phức, nhưng một PAYMENT_CONDITION sai có thể khiến bệnh viện tự loại bỏ chi phí hoặc thay đổi hành vi điều trị. Do đó rule payment nên có tối thiểu các test:
- applicable + condition đạt;
- applicable + condition không đạt;
- not applicable;
- missing evidence;
- từng legal exception;
- effective-date boundaries;
- catalog-version boundaries;
- ambiguous evidence;
- corrected/resubmitted data.
Đây là lớp rule không nên publish chỉ với vài happy-path tests.
18. Rule safety hoặc clinical decision support cũng cần mức kiểm thử cao
Một rule liên quan an toàn người bệnh có thể không tác động thanh toán nhưng lại ảnh hưởng trực tiếp quyết định lâm sàng. Nếu rule này tạo hard stop hoặc cảnh báo mạnh, false positive có thể làm trì hoãn chăm sóc, trong khi false negative có thể bỏ sót rủi ro an toàn.
Do đó mức độ kiểm thử phải dựa trên:
hậu quả của rule nếu sai,
không chỉ:
rule có phải BHYT hay không.
19. Dữ liệu giả lập không thay thế dữ liệu thực tế
Synthetic tests rất tốt để chứng minh logic đã được định nghĩa, nhưng dữ liệu thật thường có những đặc điểm mà người viết rule không nghĩ tới: field rỗng thay vì absent, nhiều cách encode cùng ý nghĩa, dữ liệu sửa lại qua nhiều submission, timestamp bất thường, mapping legacy, hoặc workflow thực tế khác tài liệu.
Vì vậy rule quan trọng nên được chạy trên:
real-world test corpus đã được khử định danh hoặc bảo vệ phù hợp.
Mục tiêu không phải dùng hồ sơ thật làm ground truth tự động, mà để phát hiện:
edge cases
và:
những giả định sai về dữ liệu.
20. Real-world corpus cần được curate, không chỉ lấy ngẫu nhiên
Một tập 10.000 hồ sơ ngẫu nhiên có thể vẫn không chứa exception hiếm. Tốt hơn nên xây một corpus có chủ đích gồm:
- hồ sơ bình thường;
- hồ sơ từng bị phản hồi;
- hồ sơ có ngoại lệ hợp lệ;
- hồ sơ nhiều khoa;
- episode dài;
- hồ sơ sửa/gửi lại;
- chi phí cao;
- các giai đoạn chuyển đổi catalog.
Corpus này trở thành:
real-world regression suite.
21. Ground truth phải được xác định rõ
Nếu một hồ sơ thật được gắn nhãn:
“đúng”
hoặc:
“sai”,
phải biết ai xác nhận và dựa trên evidence nào. Không nên lấy:
việc trước đây BHXH không phản hồi
làm bằng chứng rằng hồ sơ chắc chắn đúng toàn bộ, cũng không nên lấy một historical denial chưa được phân tích nguyên nhân làm ground truth cho mọi rule.
Ground truth tốt cần có:
- scope cụ thể;
- reviewer;
- evidence;
- rule/version;
- status xác nhận.
22. Cảnh báo sai phải được xem như lỗi chất lượng của rule
Nếu Dr5 cảnh báo nhưng review xác định hồ sơ hợp lý và không thuộc exception đã biết, đó là:
false positive candidate.
Một hệ thống trưởng thành phải lưu sự kiện này và đưa về rule owner. Không nên chỉ để người dùng bấm:
“bỏ qua”.
False positive rate là một chỉ số quan trọng để quyết định rule có đủ chất lượng cho production hay cần tiếp tục ở shadow mode.
23. False negative khó phát hiện hơn nhưng quan trọng không kém
False negative xảy ra khi vấn đề thật sự tồn tại nhưng Dr5 không cảnh báo. Nó có thể được phát hiện từ:
- giám định thực tế;
- audit chuyên môn;
- hậu kiểm;
- sự cố an toàn;
- kiểm tra thủ công.
Khi phát hiện false negative, cần xác định nguyên nhân thuộc:
- applicability;
- data missing;
- resolver;
- generic engine;
- catalog;
- exception quá rộng;
- rule chưa tồn tại.
Sau đó phải thêm case này vào:
regression suite.
24. Precision và recall có giá trị nhưng không thay thế phân tích nghiệp vụ
Đối với rule có đủ ground truth, có thể theo dõi:
- true positive;
- false positive;
- true negative;
- false negative;
- precision;
- recall.
Tuy nhiên không nên tối ưu một con số thống kê duy nhất. Một hard stop lâm sàng có thể yêu cầu false-positive rate cực thấp, trong khi một analytics screening rule có thể chấp nhận nhiều candidate hơn để ưu tiên review. Threshold phù hợp phụ thuộc:
purpose và hậu quả của rule.
25. Không dùng cùng threshold chất lượng cho mọi lớp finding
Một WARN_REVIEW dùng để chọn 1% hồ sơ cần đọc có thể chấp nhận specificity thấp hơn một PAYMENT_CONDITION. Ngược lại, một rule kỹ thuật deterministic như invalid datatype phải gần như không có ambiguity.
Do đó acceptance criteria của test suite nên phụ thuộc:
finding class
và:
enforcement mode.
26. Hard stop phải có tiêu chuẩn kiểm thử nghiêm ngặt hơn soft warning
Nếu rule chỉ hiển thị:
thông tin,
một false positive gây hậu quả tương đối thấp.
Nếu rule:
chặn khóa hồ sơ;
chặn gửi claim;
chặn workflow lâm sàng,
false positive có hậu quả cao hơn nhiều. Vì vậy trước khi chuyển một rule từ warning sang hard stop, nên yêu cầu:
- corpus lớn hơn;
- exception coverage tốt hơn;
- production shadow monitoring;
- approval phù hợp.
27. Shadow mode là một giai đoạn kiểm thử production rất giá trị
Trong shadow mode, rule chạy trên dữ liệu thật nhưng không can thiệp workflow. Hệ thống có thể đo:
- số finding;
- distribution;
- khoa nào bị ảnh hưởng;
- số tiền liên quan;
- false-positive rate sau sample review;
- performance/latency.
Nếu kết quả không phù hợp, rule được sửa mà chưa làm phiền người dùng.
Đây là cách tốt để chuyển:
laboratory test
sang:
production evidence.
28. Shadow mode không làm finding trở thành chính thức
Kết quả shadow phải được gắn:
SHADOW
hoặc trạng thái tương đương.
Không được tính như:
finding production;
payment risk chính thức;
KPI của khoa.
Mục đích của nó là:
kiểm thử.
29. Kiểm thử hồi quy là lớp bảo vệ quan trọng nhất khi Dr5 lớn dần
Regression test trả lời:
Một thay đổi mới có làm hỏng hành vi đã đúng trước đây hay không?
Điều này đặc biệt quan trọng với generic engine vì một implementation có thể được hàng trăm hoặc hàng nghìn rule sử dụng. Một thay đổi nhỏ trong ConditionEvaluator hoặc CandidateResolver có thể làm thay đổi kết quả của nhiều nhóm rule mà developer không trực tiếp sửa.
Do đó mỗi bug thực tế sau khi được sửa nên để lại:
một regression test vĩnh viễn.
30. Mỗi bug production nên trở thành một test case
Một quy trình trưởng thành:
phát hiện bug
→ xác định root cause
→ tạo test làm bug tái hiện
→ xác nhận test FAIL trên code cũ
→ sửa code/catalog
→ xác nhận test PASS
→ giữ test trong suite.
Như vậy hệ thống:
không mắc cùng lỗi hai lần.
31. Regression không chỉ dành cho source code
Nếu một catalog version từng gây false positive vì nhập sai effective date, cần có:
catalog regression test.
Nếu một mapping từng map sai code, cần có:
mapping regression.
Nếu một legal exception từng bị bỏ sót, cần có:
exception regression.
Trong kiến trúc catalog-driven:
knowledge changes cũng phải chịu regression.
32. Trước khi publish catalog mới phải chạy toàn bộ relevant regression suite
Không nên:
nhập catalog → publish → đợi production phát hiện lỗi.
Pipeline phù hợp:
catalog diff
→ xác định affected rule set
→ chạy targeted tests
→ chạy core regression
→ shadow nếu cần
→ publish.
Nếu thay đổi lớn:
có thể cần full suite.
33. Catalog diff giúp chọn test cần chạy
Nếu version mới chỉ thêm:
một mã DVKT,
có thể ưu tiên test membership và các condition phụ thuộc nhóm đó.
Nếu thay đổi:
một relation type dùng chung,
phạm vi regression phải rộng hơn.
Đây là cách cân bằng:
tốc độ
và:
độ an toàn.
34. Test phải cố định version đầu vào
Một regression test không nên query:
catalog “latest”.
Nếu làm vậy, expected result có thể thay đổi khi catalog update và test không còn tái lập được.
Test phải chỉ rõ:
- rule version;
- catalog version;
- effective date;
- source snapshot.
Như vậy test hôm nay và ba năm sau:
vẫn cùng nghĩa.
35. Đối với test current-policy, expected result có thể được cập nhật nhưng phải có lý do
Có thể có một suite riêng:
current-policy integration tests
luôn chạy với version hiện hành.
Khi policy đổi, expected result được cập nhật có chủ đích.
Nhưng suite historical regression:
không được tự thay đổi.
Hai loại test phải tách.
36. Kiểm thử phải bao phủ amendment chain
Nếu một field được quy định trong văn bản gốc, sửa ở văn bản A và sửa tiếp ở văn bản B, test cần chứng minh:
- trước A dùng logic gốc;
- giai đoạn A dùng version A;
- sau B dùng version B.
Đây là kiểm thử:
legal temporal reconstruction.
37. Giai đoạn chuyển tiếp cần test riêng
Một transition không nên chỉ có:
trước và sau.
Phải có:
inside transition.
Nếu hai version cùng được phép trong transition, cần test cả:
- dữ liệu theo old representation;
- dữ liệu theo new representation;
- trường hợp không thuộc cả hai.
Transition là nơi rất dễ phát sinh:
false positive hàng loạt.
38. Re-submission và correction cần test
Một episode có:
V1 → V2 → V3.
Test phải xác nhận:
- historical V1 vẫn truy được;
- current effective submission được chọn đúng;
- frequency analytics không đếm cả ba như ba event;
- finding cũ được liên kết/re-evaluate đúng cách.
Đây là sự giao nhau giữa:
rule engine
và:
claim lifecycle.
39. Test phải kiểm tra cả explanation
Một rule có thể trả đúng classification nhưng message hoặc evidence sai. Ví dụ evaluator đúng là ERROR_TECH, nhưng explanation lại hiển thị catalog version hiện tại thay vì version đã dùng.
Do đó các test quan trọng nên assert thêm:
- field path;
- observed value;
- expected condition;
- catalog version;
- legal basis;
- finding class.
Đây là:
explainability regression.
40. PAYMENT_CONDITION phải test legal-basis provenance
Không đủ để assert:
finding_class == PAYMENT_CONDITION.
Cần xác nhận:
correct legal basis
được attach.
Nếu rule dùng căn cứ sai, finding vẫn không đạt yêu cầu giải trình dù logical outcome tình cờ đúng.
41. Test không nên phụ thuộc message wording quá mức
Nếu assert toàn bộ câu tiếng Việt, một chỉnh sửa wording có thể làm hàng trăm test fail dù logic không đổi. Tốt hơn test:
structured finding fields.
Sau đó có một nhóm test riêng cho:
message rendering.
Như vậy tách:
business behavior
khỏi:
presentation.
42. Test data phải tối giản nhưng đủ ý nghĩa
Một unit test tốt chỉ chứa:
những field cần thiết để chứng minh behavior.
Nếu mỗi test copy một hồ sơ XML dài hàng nghìn dòng:
rất khó hiểu nguyên nhân khi fail.
Real-world E2E tests có thể lớn, nhưng unit test nên:
nhỏ và rõ.
43. Mỗi test nên có tên thể hiện nghiệp vụ
Không nên:
test_rule_17_case_3.
Tốt hơn:
test_payment_condition_returns_unknown_when_required_evidence_missing.
Tên test là một phần của:
documentation.
Khi suite fail, developer biết ngay:
contract nghiệp vụ nào bị phá.
44. Có thể tổ chức test theo “Given – When – Then”
Ví dụ:
Given: service X, condition applicable, evidence missing.
When: Dr5 evaluates payment rule.
Then: evaluation UNKNOWN, finding
INFO_EVIDENCE, no payment failure.
Cấu trúc này giúp chuyên gia nghiệp vụ:
đọc test dễ hơn.
45. Chuyên gia nghiệp vụ cần tham gia thiết kế test case
Developer biết:
cách làm phần mềm fail.
Nhưng chuyên gia BHYT và chuyên môn biết:
ngoại lệ nào thường bị bỏ sót;
context nào quan trọng;
boundary nào có ý nghĩa nghiệp vụ.
Vì vậy test catalog không nên hoàn toàn do:
developer tự suy nghĩ.
46. Rule owner phải duyệt expected result
Đặc biệt với:
- payment condition;
- legal exception;
- clinical rule;
- safety rule.
Người duyệt phải xác nhận:
case này đáng lẽ phải ra kết quả gì.
Nếu không, test chỉ chứng minh:
code phù hợp với suy nghĩ của người viết code.
47. Test case phải có provenance khi dựa trên quy định
Một test payment nên biết:
nó kiểm tra condition nào và legal basis version nào.
Nếu văn bản thay đổi:
dễ xác định test nào cần xem xét.
Không cần chèn cả văn bản vào test, nhưng cần:
stable reference.
48. Test rule nội bộ phải ghi rõ đây là internal policy
Nếu bệnh viện đặt threshold riêng:
test phải gắn với policy version.
Không được làm test trông như:
legal requirement.
Điều này giữ đúng ranh giới đã xác lập trong Chương 8.
49. Test suite cần nhiều tầng
Một kiến trúc phù hợp có thể gồm:
Unit tests
Kiểm từng operator/evaluator.
Catalog validation tests
Kiểm dữ liệu knowledge.
Rule tests
Kiểm một rule với synthetic case.
Integration tests
Kiểm Candidate Resolver + evaluator + catalog.
Real-world E2E tests
Kiểm toàn pipeline trên hồ sơ đại diện.
Regression tests
Bảo vệ các behavior đã được xác nhận.
Không phải rule nào cũng cần số lượng giống nhau ở từng tầng, nhưng rule rủi ro cao cần coverage sâu hơn.
50. Unit test không thay thế integration test
Ví dụ catalog_membership unit test PASS không chứng minh:
MA_KHOAsẽ được resolve đúng tới catalog khoa.
Integration test phải chứng minh:
XML field → binding → catalog candidate → membership → finding.
Đây mới là hành vi production.
51. Integration test không thay thế E2E test
E2E test giúp kiểm tra:
- parse XML;
- normalize;
- submission version;
- relationship;
- rule evaluation;
- finding rendering.
Một pipeline có thể gồm nhiều thành phần đều PASS unit test nhưng:
integration giữa chúng vẫn sai.
52. Real-world E2E tests nên được giữ ổn định
Khi một hồ sơ thực đại diện đã được xác nhận expected outcomes, nó có thể trở thành:
“golden case”.
Mỗi release chạy lại golden cases để bảo đảm:
toàn hệ thống vẫn cho kết quả mong đợi.
Nếu expected outcome thay đổi do legal version mới, không overwrite golden case cũ; tạo:
versioned golden case hoặc scenario mới.
53. Dữ liệu bệnh nhân dùng cho test phải được bảo vệ
Nếu sử dụng hồ sơ thực, cần:
- khử định danh hoặc pseudonymize phù hợp;
- hạn chế quyền truy cập;
- không đưa dữ liệu nhạy cảm vào source repository không phù hợp;
- quản lý test fixtures theo chính sách bảo mật.
Kiểm thử không được trở thành:
nguồn rò rỉ dữ liệu người bệnh.
54. Synthetic data nên được ưu tiên khi không cần dữ liệu thật
Nếu một behavior có thể chứng minh bằng:
synthetic fixture,
không cần dùng hồ sơ thật.
Real-world corpus chỉ nên dùng khi nó bổ sung giá trị:
complexity và edge cases.
Đây vừa là nguyên tắc bảo mật vừa làm test dễ bảo trì hơn.
55. Performance cũng cần được kiểm thử
Một rule logic đúng nhưng mất:
5 giây cho mỗi y lệnh
không phù hợp point-of-order.
Đối với real-time control, cần test:
- latency;
- throughput;
- candidate count;
- query plan/caching nếu cần.
Đối với batch/pre-submission, có thể test:
số hồ sơ xử lý/đơn vị thời gian.
56. Performance regression cũng có thể làm hệ thống thất bại
Một code change không làm kết quả sai nhưng làm Candidate Resolver:
chậm gấp 20 lần
vẫn là regression.
Do đó các đường chạy quan trọng nên có:
performance baseline.
57. Test phải kiểm tra behavior khi dependency unavailable
Ví dụ:
- catalog database timeout;
- LIS connector không phản hồi;
- source evidence unavailable.
Expected behavior không được:
biến dependency failure thành claim failure.
Hệ thống phải:
fail safely.
Đây là test quan trọng đối với production resilience.
58. Cần test fail-open và fail-closed theo từng control point
Ví dụ point-of-care advisory khi Dr5 unavailable có thể:
fail-open
để không làm gián đoạn điều trị.
Pre-submission technical validation có thể:
fail-closed
đối với việc gửi claim nếu chưa kiểm tra được.
Đây là workflow policy nội bộ và phải được test rõ, không để hành vi phụ thuộc ngẫu nhiên vào exception handling.
59. Test phải kiểm tra quyền override
Nếu một WARN_REVIEW cho phép override nhưng ERROR_TECH pre-send không cho phép, integration test nên xác nhận:
- đúng role mới override được;
- reason bắt buộc nếu policy yêu cầu;
- audit trail được tạo;
- re-evaluation không làm mất history.
Rule governance không dừng ở evaluator.
60. Exception của người dùng không được dùng để che lỗi hệ thống
Nếu người dùng override vì:
“Dr5 sai”,
case đó phải được phân loại:
false-positive candidate.
Không nên chỉ lưu:
override reason = khác.
Nếu không, hàng nghìn cảnh báo sai có thể tồn tại lâu vì:
mọi người chỉ bỏ qua.
61. Test dữ liệu sửa phải xác nhận finding được re-evaluate
Ví dụ ban đầu:
ERROR_TECH.
Sau khi source được sửa:
evaluation mới phải PASS.
Finding workflow:
chuyển trạng thái phù hợp.
Không nên test chỉ:
update database thành công.
Mục tiêu là:
closed-loop behavior.
62. Test bổ sung evidence phải xác nhận classification chuyển đúng
Ví dụ:
Evaluation 1: UNKNOWN →
INFO_EVIDENCE.
Sau khi evidence được thêm:
Condition đạt
→ PASS.
Condition không đạt
→ PAYMENT_CONDITION.
Đây là test quan trọng cho:
evidence-driven state transition.
63. Finding history không được biến mất sau re-evaluation
Integration test nên xác nhận:
evaluation cũ vẫn tồn tại;
evaluation mới được tạo;
current state trỏ tới kết quả mới.
Không overwrite history.
Đây là yêu cầu audit.
64. Test severity, priority và finding class độc lập
Ví dụ một WARN_REVIEW có amount rất lớn.
Test phải bảo đảm:
priority tăng
nhưng:
class vẫn
WARN_REVIEW.
Điều này bảo vệ nguyên tắc:
Money changes priority, not truth.
65. Test enforcement cũng phải tách classification
Ví dụ cùng PAYMENT_CONDITION:
- tại ORDER → soft warning;
- tại PRE_SUBMISSION → require review hoặc block theo policy.
Test phải xác nhận:
workflow stage thay enforcement,
không làm đổi:
finding class.
66. Rule analytics cần test denominator và comparator
Một outlier rule chỉ đúng nếu:
population đúng.
Test cần xác nhận:
- numerator;
- denominator;
- time window;
- comparator;
- exclusions.
Nếu chỉ test:
metric > threshold,
có thể bỏ qua phần nguy hiểm nhất của analytics:
cohort selection.
67. Analytics rule phải luôn test certainty ceiling
Nếu một P95 rule có:
max_finding_class = WARN_REVIEW,
test phải bảo đảm dù giá trị cực lớn:
không tự nâng thành
PAYMENT_CONDITION.
Đây là guardrail rất quan trọng.
68. AI-supported rule cũng phải có deterministic tests
Nếu AI được dùng để:
- extract evidence;
- classify text;
- gợi ý relation;
các test phải xác định:
AI output không tự tạo legal conclusion.
Ví dụ AI không tìm thấy indication trong note:
không được tự động PAYMENT.
AI chỉ tạo:
candidate hoặc evidence signal
theo thiết kế đã duyệt.
69. Không nên để test phụ thuộc trực tiếp vào một mô hình AI không ổn định nếu kết quả pháp lý cần deterministic
Các payment-condition core rules nên dựa trên:
deterministic structured evaluation
khi có thể.
Nếu AI hỗ trợ NLP, cần:
confidence/abstention behavior
và:
human review.
Không nên để một thay đổi model làm hàng loạt hồ sơ đổi legal classification không kiểm soát.
70. Kiểm thử rule phải gắn với release process
Một workflow đề xuất:
DRAFT rule/catalog
→ unit/catalog validation
→ synthetic rule tests
→ exception/boundary tests
→ integration tests
→ real-world corpus
→ shadow mode
→ review false positive
→ approval
→ PUBLISHED.
Không phải mọi rule đều cần thời gian shadow giống nhau, nhưng không nên:
DRAFT → production hard stop
trực tiếp.
71. Khi sửa rule production phải chạy lại regression trước publish
Quy trình sửa nóng không nên là:
thấy cảnh báo sai → sửa record production.
Tối thiểu phải:
tái hiện bug bằng test;
sửa;
chạy regression;
publish version mới.
Nếu không, việc sửa một false positive có thể:
tạo false negative ở nơi khác.
72. Emergency change vẫn cần post-change test và audit
Trong tình huống cần sửa gấp, có thể rút ngắn workflow nhưng không nên bỏ:
- version;
- change log;
- test tối thiểu;
- hậu kiểm.
Không có khái niệm:
“sửa tạm trên production rồi quên”.
73. Test suite phải có khả năng chạy tự động
Khi số rule tăng lên hàng nghìn, kiểm thử thủ công không thể mở rộng. Engine và catalog publication pipeline cần có:
automated test execution.
Mỗi release phải cho biết rõ:
- số test PASS;
- test FAIL;
- regression status;
- catalog validation errors.
Không nên publish dựa trên:
“đã thử vài hồ sơ thấy ổn”.
74. Nhưng test tự động không thay business sign-off
Một bộ test 100% PASS chỉ chứng minh:
implementation phù hợp với expected outcomes đã khai báo.
Nếu expected outcome ban đầu hiểu sai pháp luật:
test vẫn PASS.
Do đó payment/clinical rule cần:
business validation.
75. Test coverage không chỉ là code coverage
Một engine có:
95% code coverage
vẫn có thể chưa test:
- transition;
- exception;
- UNKNOWN;
- wrong catalog;
- resubmission.
Dr5 nên quan tâm:
business-scenario coverage
nhiều hơn chỉ số dòng code được chạy.
76. Có thể xây một “rule test matrix”
Mỗi rule quan trọng nên có ma trận:
| Nhóm test | Có/Không |
|---|---|
| Positive | Có |
| Negative | Có |
| Not applicable | Có |
| Missing evidence | Có |
| Exceptions | Có |
| Boundary | Có |
| Historical version | Nếu applicable |
| Resubmission | Nếu relevant |
| Explanation | Có |
| Regression | Có |
Rule chưa đủ coverage:
không nên chuyển enforcement cao.
77. Rule catalog cần trạng thái test
Có thể lưu metadata:
test_status
last_tested_at
test_suite_version
approved_for_enforcement.
Đây là workflow metadata, không cần tạo thêm một catalog nghiệp vụ ngoài sáu catalog chuẩn.
78. Không nên đặt test case trong dr5_payment_condition
Knowledge và test fixtures nên:
liên kết
nhưng không trộn semantic responsibility.
dr5_payment_condition lưu:
payment knowledge.
Test repository lưu:
cách chứng minh implementation/knowledge đúng.
79. Mỗi catalog change cần biết rule nào phụ thuộc
Dependency graph giúp:
chọn regression scope.
Nếu dr5_xml_relation R12 thay đổi, hệ thống biết:
những rule nào dùng R12.
Không phải chạy mù:
mọi thứ hoặc không gì cả.
80. Regression suite cần giữ các lỗi đã từng xảy ra
Một hệ thống trưởng thành dần dần tạo:
“bảo tàng lỗi”.
Mỗi production incident có test tương ứng. Qua thời gian, suite này trở thành một tài sản rất lớn vì nó chứa:
kinh nghiệm thực tế đã được mã hóa.
81. False positive rate phải được theo dõi sau deployment
Không nên xem test kết thúc khi rule publish. Production monitoring cần tiếp tục đo:
- số finding;
- số valid exception;
- số false positive;
- số finding xác nhận;
- override rate;
- distribution theo khoa.
Nếu behavior khác hẳn test:
cần điều tra.
82. Rule có thể cần rollback nếu false positive tăng bất thường
Nếu một version mới tạo:
hàng chục nghìn warning
trong vài giờ,
Dr5 cần có khả năng:
- disable version;
- quay về version trước;
- giữ audit;
- điều tra.
Rollback không được:
xóa evidence rằng version lỗi từng được deploy.
83. Rollback không thay thế root-cause analysis
Sau khi rollback vẫn phải xác định:
engine bug?
catalog data?
applicability?
version?
integration?
Sau đó:
thêm regression test
trước khi publish lại.
84. Rule quality nên được xem là một chỉ số vận hành
Có thể theo dõi cho từng rule:
- volume;
- precision sau review;
- false-positive rate;
- exception rate;
- unresolved-evidence rate;
- average resolution time;
- financial exposure;
- user override.
Một rule chất lượng kém:
cần được cải tiến hoặc retire.
85. Rule nhiều finding không đồng nghĩa rule tốt
Một rule cảnh báo 50% hồ sơ có thể:
quá rộng.
Một rule chỉ bắt 0,1% nhưng các finding đều actionable có thể:
giá trị hơn nhiều.
KPI không phải:
số cảnh báo.
Mà là:
useful and correct findings.
86. Cần tránh “test to the implementation”
Nếu developer viết code xong rồi tạo test sao cho test đúng với code hiện có, test có thể chỉ:
xác nhận chính bug đó.
Expected outcome phải bắt nguồn từ:
rule specification/business requirement.
Đây là lý do Bài 8.2 phải đi trước Bài 8.7.
87. Rule specification là nguồn tạo test
Từ cấu trúc:
applicability;
input;
condition;
exception;
evidence;
outcome;
effective period
có thể sinh ra gần như toàn bộ nhóm test bắt buộc.
Một rule specification tốt:
tự chỉ ra cần test gì.
88. Có thể tự động sinh một phần test matrix
Ví dụ nếu condition có:
three exceptions,
tool authoring có thể nhắc:
exception 2 chưa có test.
Nếu có effective boundary:
yêu cầu before/on/after tests.
Đây là một hướng tự động hóa rất phù hợp cho Dr5.
89. AI có thể hỗ trợ sinh test nhưng expected behavior phải được xác nhận
AI có thể đọc rule definition và đề xuất:
- edge cases;
- exception cases;
- boundary cases.
Nhưng đặc biệt đối với legal/payment rule:
expected output phải được chuyên gia xác nhận.
AI hỗ trợ:
coverage.
Không thay:
rule governance.
90. Test should prove abstention behavior
Một hệ thống an toàn không chỉ phải chứng minh:
biết kết luận đúng.
Nó còn phải chứng minh:
biết khi nào không nên kết luận.
Vì vậy tests cho UNKNOWN, ambiguous candidates, dependency failure và missing evidence quan trọng ngang tests cho PASS/FAIL.
91. Đây là tiêu chuẩn khác biệt giữa rule engine và “if/else engine”
Một if/else đơn giản thường chỉ có:
true hoặc false.
Một pre-adjudication engine đáng tin phải xử lý:
- applicable;
- not applicable;
- true;
- false;
- unknown;
- exception;
- dependency unresolved.
Test suite phải bảo vệ:
tất cả trạng thái này.
92. Kiểm thử phải gắn với finding classification
Rule không chỉ cần trả logic đúng mà phải trả:
đúng class.
Ví dụ:
arithmetic mismatch →
ERROR_TECH;
missing clinical evidence →
INFO_EVIDENCE;
P95 outlier →
WARN_REVIEW;
verified payment failure →
PAYMENT_CONDITION.
Nếu classification sai:
workflow sau đó cũng sai.
93. Kiểm thử phải gắn với owner/action khi rule được dùng trong workflow
Một finding đúng nhưng được route nhầm:
bác sĩ nhận lỗi XML mapping
vẫn là một lỗi thiết kế.
Integration tests có thể kiểm tra:
class + stage + owner/action policy.
Đây là phần giao giữa:
rule engine
và:
operational workflow.
94. Không nên test chỉ bằng “hệ thống không crash”
Một test production thực sự phải biết:
expected business outcome.
“API trả 200” không chứng minh:
rule đúng.
Tương tự:
XML parse thành công
không chứng minh:
payment evaluation đúng.
95. Có thể định nghĩa quality gate trước publish
Ví dụ rule production phải đạt:
tất cả mandatory tests PASS;
không có unresolved catalog validation;
legal basis attached nếu required;
exception coverage đạt yêu cầu;
shadow review đạt acceptance criteria nếu rule rủi ro cao.
Các con số cụ thể nên do governance của Dr5 quyết định, không nên trình bày như tiêu chí pháp lý chính thức.
96. Rule càng có hậu quả cao càng cần quality gate cao
Có thể hình dung:
Informational analytics
Quality gate vừa phải.
Soft clinical warning
Cao hơn.
Payment finding
Cao.
Hard stop hoặc safety-critical rule
Rất cao.
Đây là:
risk-based testing.
97. Kết quả kiểm thử phải được lưu cùng release
Một rule version được publish nên có thể truy ngược:
test suite nào đã chạy;
ngày nào;
kết quả;
người approve.
Sau này nếu có incident:
biết release đã được chứng minh bằng gì.
98. Kiểm thử không kết thúc sau khi release
Production feedback là một phần của test lifecycle. Một rule có thể PASS toàn bộ synthetic tests nhưng thực tế gặp một workflow chưa từng được mô hình hóa. Khi đó case mới được xác minh, đưa vào test corpus và rule được cải tiến.
Vòng đầy đủ là:
Design
→ Test
→ Shadow
→ Deploy
→ Observe
→ Review false positives/negatives
→ Add regression cases
→ Improve.
99. Ma trận kiểm thử tối thiểu cho một rule Dr5
| Nhóm | Mục tiêu |
|---|---|
| Positive | phát hiện trường hợp thực sự không đạt |
| Negative | không cảnh báo trường hợp đúng |
| Not applicable | không chạy sai đối tượng |
| Missing input/evidence | trả UNKNOWN phù hợp |
| Exception | không cảnh báo ngoại lệ hợp lệ |
| Boundary | đúng ở ngưỡng và ngày chuyển đổi |
| Version | resolve đúng catalog/rule lịch sử |
| Dependency failure | fail safely |
| Re-evaluation | cập nhật đúng sau sửa/bổ sung evidence |
| Explanation | finding có đúng dữ liệu và căn cứ |
| Regression | thay đổi mới không phá behavior cũ |
100. Ma trận lỗi và hành động sau kiểm thử
| Hiện tượng | Cần kiểm tra trước |
|---|---|
| False positive nhiều | applicability, exception, threshold, mapping |
| False negative | coverage, input, resolver, rule gap |
| UNKNOWN nhiều | integration/evidence availability |
| Rule đổi kết quả sau catalog update | version/effective period |
| Sai hàng loạt sau engine update | regression generic implementation |
| Chỉ sai hồ sơ cũ | temporal resolution |
| Correct result nhưng wrong explanation | evidence/basis rendering |
| Alert đúng nhưng user bỏ qua nhiều | usability/enforcement/clinical relevance |
Kết luận
Kiểm thử rule trong Dr5 không phải một bước kỹ thuật thực hiện sau khi “viết xong code”, mà là một phần của quá trình chứng minh rằng một tri thức nghiệp vụ đã được chuyển thành hành vi máy tính đúng, có giới hạn và an toàn. Vì kiến trúc Dr5 tách Generic Rule Engine khỏi sáu catalog dr5_..., việc kiểm thử cũng phải bảo vệ cả hai lớp: engine phải xử lý đúng logic tổng quát, còn catalog phải chứa đúng mã, đúng condition, đúng ngoại lệ, đúng effective period và đúng căn cứ.
Một rule production tối thiểu phải chứng minh được bốn điều: phát hiện được trường hợp thật sự không đạt; không cảnh báo trường hợp hợp lệ; biết xử lý đúng ngoại lệ; và biết dừng ở UNKNOWN khi evidence chưa đủ. Với các rule có thời gian hiệu lực, phải chứng minh thêm rằng hồ sơ lịch sử được resolve bằng đúng version; với các rule có hậu quả tài chính hoặc lâm sàng cao, cần thêm real-world corpus, shadow mode và acceptance criteria phù hợp trước khi tăng mức enforcement.
Nguyên tắc quan trọng nhất có thể tóm tắt như sau:
Positive test chứng minh Dr5 biết phát hiện. Negative test chứng minh Dr5 biết không cảnh báo sai. Exception test chứng minh Dr5 hiểu phạm vi của rule. UNKNOWN test chứng minh Dr5 biết giới hạn của bằng chứng. Regression test chứng minh những điều đúng hôm nay sẽ không vô tình bị phá bởi thay đổi ngày mai.
Đối với Dr5-XML, một lifecycle rule an toàn nên là:
Rule specification → Synthetic tests → Exception and boundary tests → Catalog validation → Integration tests → Real-world regression corpus → Shadow deployment → False-positive/false-negative review → Approval → Production → Continuous regression.
Và một nguyên tắc vận hành cần được giữ lâu dài là:
Mỗi lỗi thực tế đã được hiểu rõ phải trở thành một test mới.
Khi nguyên tắc đó được thực hiện liên tục, mỗi sự cố không chỉ được sửa một lần mà còn làm Dr5 mạnh hơn, bởi kinh nghiệm thực tế được chuyển thành regression suite để ngăn hệ thống mắc lại cùng lỗi. Đó là cách một rule engine phát triển từ một tập hợp các câu lệnh kiểm tra thành một hệ thống tri thức có thể kiểm chứng, kiểm toán và cải tiến theo thời gian.
- Đăng nhập để gửi ý kiến