日本におけるバリデーション研究の紹介

はじめに

RWDは、本来は診療報酬請求などの目的で収集された情報を二次利用するため、研究を行ううえで重要な情報が記録されていないことがあります。さらに、情報が記録されてる場合でも、それが正確なのか、研究でイメージしている状態と本当に一致しているのかが懸念事項としてあげられます。

そのため、RWDを研究に用いる場合には、記録された情報の妥当性(validity)の担保が求められます。

本記事では、情報の妥当性を担保するためのバリデーション研究について、基礎知識や日本におけるバリデーション研究の一覧をまとめました。

本記事がRWDを用いた研究を実施する際の参考になればと思っています。

なぜバリデーション研究が必要なのか

データベースに記録された情報が正確であることに越したことはありません。しかしながら、データベース研究に100%の正確性を求めるのも非現実的です。

そのため、データベースを用いる研究者は、妥当性を向上させるためにさまざまな工夫をしています。例えば、レセプト病名だけでは不正確だと考えられる場合には、薬剤や処置を組み合わせて妥当性を担保します。

このように「リアルワールドデータ」がどの程度「リアル」なのか、仮に歪んでいるとしたら結果への影響はどの程度なのかを検討・解釈するために、バリデーション研究が必要となります。

バリデーション研究の基礎知識

ゴールドスタンダード(gold standard)

日本薬剤疫学会のタスクフォースでは、「より真に近いと考えられる情報と比べて妥当性を確認すること」をバリデーション研究(validation study)と定義しています。1)

この「より真に近いと考えられる情報」のことを至適基準(ゴールドスタンダード)といいます。

例えば、保険データベースに記録された病名に対して、ゴールドスタンダードは「一定の基準に基づいて病院で診断された診断名」となります。未診断のごく早期のがんの存在のように、臨床上でも気づかれないようなものを基準にするのは非現実的です。

ゴールドスタンダードの設定はカルテレビューによるものが大半です。それ以外は疾患レジストリーや検査結果を用いることがありますが、比較的稀です。

それぞれのゴールドスタンダード設定における注意点は以下の通りです。1)

カルテレビュー

  • 適切な診断基準に沿って判定が可能となるような調査票を設計する必要があります。もしも明確な診断基準がない場合には、その研究でどのような基準を用いたかを明示する必要があります。そして、可能な限り複数の評価者が独立に評価し、その一致度(カッパ係数)を報告することも求められています。

疾患レジストリー

  • 疾患レジストリーがそもそも高い妥当性を持ち合わせているかを確認しておく必要があります。まだ開設されたばかりで網羅的に症例が登録されていない、あるいは疾患の正確性が十分確認されていない症例が多く混ざっているような疾患レジストリーはゴールドスタンダードとして使うことはできません。

検査結果

  • 検体が正確に測定・標準化(例:尿蛋白の±、+、2+の分類)・記録されているか、また、病理診断や画像診断の場合は診断結果が標準化・電子化されているかを確認しておく必要があります。もしも標準化・電子化されていない場合は、標準化・電子化の作業を実施するか、実質的に医療機関に戻って行うカルテレビューと同じ方法でバリデーション研究を実施しなければなりません。

妥当性の指標

妥当性の指標として、主に用いられるのは感度(sensitivity)特異度(spesificity)陽性的中率(positive predictive value: PPV)陰性的中率(negative  predictive value: PPV)です。

ゴールドスタンダードをカルテ記録とした場合のデータベースで考えると、これらの指標は以下のように算出されます。

  • 感度(sensitivity):カルテ上、ある疾患が記録されている人のうち、データベース上の病名でもその疾患の記録がある人の割合
  • 特異度(spesificity):カルテ上、ある疾患が記録されていない人のうち、データベース上の病名でもその疾患の記録がない人の割合
  • 陽性的中率(positive predictive value: PPV):データベース上、ある疾患の病名がある人のうち、カルテ上でもその疾患が記録されている人(実際に疾患がある人)
  • 陰性的中率(negative  predictive value: NPV):データベース上、ある疾患の病名がない人のうち、カルテ上でもその疾患が記録されていない人(実際に疾患がない人)

※ その他の指標として以下を使用することもあります。

  • 陽性尤度比(positive likelihood ratio: PLR):感度/(1-特異度)
  • 陰性尤度比(negative likelihood ratio: NLR):(1-感度)/特異度
  ゴールドスタンダードの定義を満たすか(真のケースか否か)例:カルテ上の脳梗塞の記録
あり なし  
アウトカムの定義を満たすか(陽性のケースか否か)例:データベース上の脳梗塞の記録 あり 真の陽性 a 偽陽性 b 陽性的中率=a/(a+b)
なし 偽陰性 c 真の陰性 d 陰性的中率=d/(c+d)
  感度=a/(a+c) 特異度=d/(b+d)  

これらの指標は以下のように解釈されます。

【バリデーション研究における結果の解釈】

  • 感度が高い病名が入力されていない → 実際に疾患はないだろう
  • 特異度が高い病名が入力されていない → 実際に疾患があるのだろう
  • データベースで抽出されてきた症例に本当に疾患があるかどうかは、病名の感度・特異度と有病率による

これらは臨床診断における解釈と同じといえます。

【臨床診断の解釈】

  • 感度が高い検査は陰性所見を持って除外診断に用いる
  • 特異度が高い検査は陽性所見を持って確定診断に用いる
  • 検査の感度、特異度は検査固有のものであるが、陽性的中率・陰性的中率は有病率による

日本におけるバリデーション研究一覧

日本におけるバリデーション研究の一覧を以下にまとめました(PDFダウンロードはこちら)。

文献対象疾患データベースアウトカムの定義ゴールドスタンダードサンプリング方法とサンプルサイズ妥当性を測定する指標主な結果
(カッコ内は95%信頼区間)
Validity of diagnoses, procedures, and laboratory data in Japanese administrative dataDPCデータの 16 の疾患、10 の診療行為、SS-MIX データの 13 の臨床検査結果DPC、SS-MIX標準化ストレージICD-10コード、処置コード、検査値カルテレビューDPC 病院でランダムサンプルした 315 人の患者PPV/NPV/Sensitivity/SpecificityDPCデータの診断の特異度は96%を超えているが、感度は7つの疾患で50%を下回り、疾患によって差があった。
Validity of claims-based algorithms for selected cancers in Japan: Results from the VALIDATE-J studyがんclaims dataICD-10コード、薬剤、処置コード院内がん登録外来、入院で診療を受けたアルゴリズムに合致するがん患者 25,934人PPV/Sensitivity/SpecificityAny malignancy:PPV 78.95% (78.41–79.49)、特異度 98.33% (98.28–98.38)、感度 67.30% (66.73–67.87)
Validity of initial cancer diagnoses in the Diagnosis Procedure Combination data in Japanがん(病名だけでなく、TNM分類についても調査)DPCICD-10コード院内がん登録院内がん登録に登録され、データのリンケージが達成できた29,180人PPV/Concordance(DPCデータに記録されている各がん種の数を、がん登録に登録されている各がん種の総数で割って算出)調査した15種類のがんのPPVは86.8-100.0%であった
The accuracy of Japanese claims data in identifying breast cancer cases乳がんDPCICD10コード、処置コード医療機関内のがん登録レジストリ院内がん登録の患者50,056人のなかから、乳癌患者 633人を抽出PPV/NPV/Sensitivity/Specificity12の定義は90%以上の高い感度を示したが、その他の定義は40%以下の低い感度を示した。すべての定義の特異度は高く(99%以上)、PPVは65.8~90.7%であった。
Accuracy of using Diagnosis Procedure Combination administrative claims data for estimating the amount of opioid consumption among cancer patients in Japanがん患者のオピオイド消費量DPC薬剤(レセプトコード)カルテレビュー院内がん登録の患者のうち、少なくとも1回はオピオイドが処方された患者1,158人DPCデータから得られたオピオイド総消費量の推定値と電子カルテから得られた推定値を比較し、各月の2つの推定値の差の割合を薬の種類別に計算調査期間中の電子カルテとDPCデータの差は、電子カルテをベースラインとした場合、-0.1%(4721mg/年/病院)であった。差異の半分は、データ入力時のエラーが原因であった。
Performance evaluation of case definitions of type 1 diabetes for health insurance claims data in Japan1型糖尿病claims dataICD-10コード、薬剤、処置コードカルテレビュー1回以上受診した1型糖尿病患者・・ケース:296人、コントロール:69,023人PPV/sensitivity確定病名の感度は32.9%(28.4-37.2)、PPVは33.3(95%CI:38.0、38.4)であった。「1型糖尿病の確定病名+2つのインスリン治療法(CSII用シリンジポンプとインスリン針)のいずれか一方」で定義すると、PPVは90.2(85.2-94.4)に向上した。
Validation study on diabetes definitions using Japanese Diagnosis Procedure Combination data among hospitalized patients. 糖尿病DPCICD-10、薬剤カルテレビューJPFC-NEXT Studyの対象患者15,334人のうち、500人をランダムに抽出。データの揃っている72人を対象に検討。PPV/NPV/Sensitivity/Specificity病名のみ:感度89.5(66.9-98.7)、特異度96.2(87.0-99.5)病名または糖尿病薬:感度89.5(66.9-98.7)、特異度94.3(84.3-98.8)病名と糖尿病薬:感度68.4(43.4-87.4)、特異度100(93.3-100)
Appropriate definition of diabetes using an administrative database: a cross- sectional cohort validation study. 糖尿病JMDC Claims DatabaseICD-10、薬剤、検査歴特定健診の結果(空腹時血糖、HbA1c、抗糖尿病薬の使用、眼底検査)から糖尿病の有無を判断特定健診データのある2,999,152人PPV/NPV/Sensitivity/Specificity「糖尿病の診断名+抗糖尿病薬の処方+診断と抗糖尿病薬の使用が同日」→感度74.6%、PPV88.4%
Validity of Claims Diagnosis Codes for Cardiovascular Diseases in Diabetes Patients in Japanese Administrative Database.糖尿病患者における心血管イベント、腎不全、死亡DPC(株式会社リアルワールドデータ社)ICD-10コード電子カルテ(入院・外来を問わず、医師の診断がフリーテキストで入力されている場合でも、RWD社がフリーテキストの情報を標準的な疾患コードシステムに変換している)電子カルテで2型糖尿病患者の診断があり、claims dataでも2型糖尿病の請求がある患者の312,213人PPV<PPV>うっ血性心不全:95.7(96.1-95.2)脳卒中:88.9(89.7-88.2)ESRD:67.4(68.9-65.9)心筋梗塞:78.7(80.6-76.8)死亡:80.3(81.0-79.5)
Association measures of claims-based algorithms for common chronic conditions were assessed using regularly collected data in Japan高血圧、糖尿病、脂質異常症JMDC Claims DatabaseICD-10コード、薬剤健診結果自己申告による薬の使用状況と高血圧、糖尿病、脂質異常症に関する検査結果のデータなどの必要なデータが揃っている445,810人(高血圧:286,139人、糖尿病:52,014人、脂質異常症:277,707人)PPV/NPV/Sensitivity/Specificity/PLR/NLR高血圧:感度74.5%(74.2-74.8)特異度98.2%(98.2-98.3)糖尿病:感度78.6%(77.3-79.8)、特異度99.6%(99.5-99.6)脂質異常症:感度34.5%(34.2-34.7)、特異度97.2(97.2-97.3)
医療情報データベースを用いた静脈血栓塞栓症発症、 出血性イベントのバリデーション研究VTE(DVT, PEの複合イベント)、出血DPC(メディカル・データ・ビジョン株式会社)傷病名コード、ICD10 コード、薬剤、処置コード専門医の判断(詳細不明)データベースに登録された5,044,743人のうち、下肢の整形外科手術を受けた36,947人を抽出PPVVTEイベント :PPV 75.0%出血イベント:PPV 73.3% 
Positive predictive value of ICD-10 codes for acute myocardial infarction in Japan: a validation study at a single center急性心筋梗塞(AMI)DPCICD-10コードカルテレビュー急性心筋梗塞として請求があった200名をランダムに抽出PPVDPCの様式において、傷病名を入力するところのいずれかにAMIIが入っている:PPV 89.3% (83.8–93.4)最も良い条件の場合、PPV 93.8% (88.9–97.0)であった。
The validity of the claims-based definition of rheumatoid arthritis evaluated in 64 hospitals in Japan. BMC Musculoskelet Disord関節リウマチclaims data、臨床データ(徳洲会インフォメーションシステム株式会社)ICD-10コード、薬剤カルテレビュー診療を受けた約160万人の患者から、1万9734人を無作為に抽出。うち、観察期間が365日未満の患者は除外し、「関節リウマチの可能性がある症例」の定義を満たした334人の患者を抽出PPV/NPV/Sensitivity/Specificity最も良い条件では、感度 72.6%(62.4-82.8)、PPV 80.3%(70.7-89.9)
Validity of administrative database detection of previously resolved hepatitis B virus in Japan.HBV再活性化のリスクがある免疫抑制剤使用中の関節リウマチclaims data(国立病院機構のMedical Information Analysis databank)ICD-10コード、薬剤、検査歴カルテレビュー定期的(年4回以上)にHBV-DNA検査を受けた免疫抑制剤を使用している関節リウマチ患者346人PPVPPV 85.8%(81.7-89.3)
Validation of a novel method to identify healthcare-associated infections医療関連感染claims dataICD-10コード、薬剤カルテレビュー胃切除目的で入院した胃がん患者584人PPV/NPV/Sensitivity/Specificity感度 0.93(0.87-0.96)、特異度 0.91(0.89-0.94)、PPV 0.75(0.68~0.81)、NPV 0.98(0.96-0.99)
Validation study of the claims-based definition for age-related macular degeneration at a single university hospital in Japan.加齢黄斑変性症(AMD)claims data傷病名コード、薬剤、処置コードカルテレビュー眼科外来受診で診断された加齢黄斑変性症患者700人をランダムに抽出Sensitivity/Specificity/PLR/NLR診断名をAMDとした場合:感度 94.9%、特異度 92.6%
Validity of congenital malformation diagnoses in healthcare claims from a university hospital in Japan. 先天性奇形(CM)claims dataICD-10コードカルテレビュー先天性奇形と診断された乳児227名PPVall CM:PPV 90.7%Major CM:PPV 91.5%
Validation Study of Claims-based Definitions of Suspected Atypical Femoral Fractures Using Clinical Information非定型大腿骨折DPCICD-10コードカルテレビュー骨折(6types)のICD-10codeが付与されていた2,535人(転子下骨折9人、大腿骨骨幹部骨折23人)sensitivity/specificity/PPV転子下骨折:感度 81.8%(48.2-97.7)、特異度 100.0%(99.9-100.0)大腿骨骨幹部骨折:感度 82.1%(63.1-93.9)、特異度 100.0%(99.9-100.0)
Claims-Based Definition of Death in Japanese Claims Database: Validity and Implications死亡JMDC Claims Databaseclaims data上の死亡、Charlson comorbidity indexなど(死亡の後に請求がある状況をゾンビとした)保険の資格喪失理由の部分に書かれている死亡データベース内の195,193人の保険受給者全員(20-74歳)sensitivity/specificity/PPV最も良い条件で感度 61.6% (57.8−65.3)、特異度 99.99% (99.98−99.99)、PPV 94.8% (92.3−96.7)であった。

最後に

RWDはRCTにはない利点があります(以前の記事:リアルワールドデータでできること・できないことのまとめ
しかしながら、その利点を生かすにはRWDの妥当性担保が必要となります。
今回紹介したように、日本におけるバリデーション研究は多くありません。

バリデーション研究は地道な作業であり、手間がかかることも要因の一つだと思います。2)

  • 自施設の入力間違いを探すような作業をするので、気分はよくない(病院代表者への丁寧な説明が必要)。
  • 協力施設のカルテ閲覧権限、端末・会議室の確保依頼
  • 通常業務に支障がないようにしなければならないよう予定時間内に終わらなければならない
  • 「項目の取り忘れ」、「終わらなかった」などの理由で再訪問することは困難

など

バリデーション研究を行う環境が整い、研究がより盛んになることを期待しています。

参考

  • 超絶解説 医学論文の難解な統計手法が手に取るようにわかる本, 金原出版 ,著者:康永 秀生, 山名 隼人, 岩上 将夫
  • 「日本における傷病名を中心とするレセプト情報から得られる指標のバリデーションに関するタスクフォース」報告書, 日本薬剤疫学会
    https://www.jspe.jp/committee/pdf/validationtrr120180528.pdf

引用

  1. 「日本における傷病名を中心とするレセプト情報から得られる指標のバリデーションに関するタスクフォース」報告書, 日本薬剤疫学会
    https://www.jspe.jp/committee/pdf/validationtrr120180528.pdf
  2. 超絶解説 医学論文の難解な統計手法が手に取るようにわかる本, 金原出版 ,著者:康永 秀生, 山名 隼人, 岩上 将夫

コメント

タイトルとURLをコピーしました