- ホーム
- 外部評価の結果
膵癌診療ガイドライン外部評価の結果
本診療ガイドライン作成過程の妥当性や臨床現場への適用可能性などを客観的に評価するために，本ガイドラインの作成後，作成に直接かかわっていない膵癌専門医2名（外科系），膵癌を専門としないが臨床ガイドラインに精通している医師1名（非専門医），生物統計学専門家1名，患者代表1名の計5名から構成される外部評価委員によって，独立した評価が行われた（表1）。評価は，診療ガイドラインを評価するツールとして世界的に用いられているAGREE（Appraisal of Guidelines for Research and Evaluation）プロジェクトによる評価法（附録1）1），Shaneyfeltらによる評価法（附録2）2），COGS（Conference on Guideline Standardization）による評価法（附録3）3）を用いて行われた（各調査票を附録1〜3につけた）。結果の概要を以下に示す。なお，評価全体のサンプルサイズが5名と少ないため，結果の解釈には十分注意する必要がある。外部評価委員の人数が少ないため膵癌専門医，膵癌非専門医，患者代表での比較を今回は行わなかった。
AGREEによる評価
AGREEによる評価は6領域（「対象と目的」（1〜3），「利害関係者の参加」（4〜7），「作成の厳密さ」（8〜14），「明確さと提示の仕方」（15〜18），「適用可能性」（19〜21），「編集の独立性」（22〜23））23項目および全体評価1項目（24）の計24項目から成る（附録1）。各項目について，4点：「強く当てはまる」から1点：「全く当てはまらない」の4段階で評価される。また，各項目にはコメントを記載するための欄が設けられている。
領域ごとの平均点（最低1点〜最高4点）および標準化スコア（最高評点に対するパーセンテージとして標準化したスコア，最低0％〜最高100％）4）5）は，「対象と目的」については98％，「利害関係者の参加」 87％，「作成の厳密さ」 94％，「明確さと提示の仕方」 92％，「適用可能性」 92％，「編集の独立性」 94％であり，「対象と目的」「作成の厳密さ」「明確さと提示の仕方」「適用可能性」および「編集の独立性」については優れているものの，「利害関係者の参加」，については改善の余地があることが示唆された（表2，図1）。
【表1 膵癌診療ガイドライン評価者内訳】
| 職種 | ||
| 医師 | 膵癌専門外科 | 2名 |
| 膵癌非専門内科 | 1名 | |
| 膵癌非専門基礎医学 | 1名 | |
| 医師以外 | 患者代表 | 1名 |
【表2 膵癌診療ガイドライン評価集計（AGREE）1】
| 項目 | 膵癌専門医 | 膵癌専門医以外 | 平均値 | |||
| AGREE 1 | 4 | 4 | 4 | 4 | 4 | 4.00 |
| 2 | 4 | 4 | 4 | 4 | 4 | 4.00 |
| 3 | 4 | 4 | 4 | 4 | 3 | 3.80 |
| 4 | 4 | 4 | 4 | - | 3 | 3.75 |
| 5 | 3 | 2 | 3 | - | 4 | 3.00 |
| 6 | 4 | 3 | 4 | 4 | 4 | 3.80 |
| 7 | 3 | 4 | 4 | 4 | 4 | 3.80 |
| 8 | 4 | 4 | 4 | 2 | 3 | 3.40 |
| 9 | 4 | 4 | 4 | 4 | 4 | 4.00 |
| 10 | 4 | 4 | 4 | 4 | 3 | 3.80 |
| 11 | 4 | 3 | 4 | 4 | 4 | 3.80 |
| 12 | 4 | 3 | 4 | 4 | - | 3.75 |
| 13 | 4 | 4 | 4 | 4 | 4 | 4.00 |
| 14 | 4 | 4 | 4 | 4 | 4 | 4.00 |
| 15 | 4 | 3 | 4 | 4 | 4 | 3.80 |
| 16 | 3 | 2 | 4 | 4 | 4 | 3.40 |
| 17 | 3 | 3 | 4 | 4 | 4 | 3.60 |
| 18 | 4 | 3 | 4 | 4 | 3 | 3.60 |
| 19 | 3 | 4 | 4 | 3 | - | 3.50 |
| 20 | 3 | 4 | 4 | 4 | - | 3.75 |
| 21 | 4 | 4 | 4 | 4 | - | 4.00 |
| 22 | 4 | 4 | 4 | - | - | 4.00 |
| 23 | 3 | 4 | 4 | - | - | 3.67 |
| 24 | 4 | 4 | 3 | 4 | 4 | 3.80 |
【図1 AGREE 6領域別標準化スコア】
【表3 膵癌診療ガイドライン評価集計（AGREE）2】
| 項目 | 膵癌専門医 | 膵癌専門医以外 | |||
| AGREE 24 あなたはこれらのガイドラインを診療に用いることを推奨しますか？ | 4 | 4 | 3 | 4 | 4 |
各項目に関しては，評価が高いものとしては，項目1：「ガイドライン全体の目的が具体的に記載されている」，項目2：「ガイドラインで取り扱う臨床上の問題が具体的に記載されている」，項目9：「エビデンスの選択基準が明確に記載されている」，項目13：「ガイドラインの公表に先立って，外部審査がなされている」，項目14：「ガイドラインの改訂手続きが予定されている」などであり（表2），一方で，評価が低かった項目は，項目5：「患者の価値観や好みが十分に考慮されている」，項目16：「患者の状態に応じて，可能な他の選択肢が明確に示されている」などであった。項目5については，患者がガイドライン作成にかかわっていないことが原因と考えられる。項目16については，治療法に選択肢が少ないので，仕方のないことかと思われた。
全体評価については，「あなたはこれらのガイドラインを診療に用いることを推奨しますか？」という質問に対し，4人が「強く推奨する」と回答し，残り1人のみ「推奨する」と回答していた（表3）。
コメントとしては推奨度C1やC2が多いためか，選ぶべき選択肢が明確でないとの意見があったが，膵癌では前向き臨床試験が少なく，現状では致し方ないかと考えられる。
Shaneyfeltらによる評価
Shaneyfeltらによる評価は25項目から成り，全てYes／Noで回答する（附録2）。Yesと回答した割合が100％であった項目は，項目1：「ガイドラインの目的が明確に述べられている」など12項目であった（表4）。一方，項目18：「利得と害が定量的に記載されている」，項目19：「診療行為のコストへの影響が記載されている」，項目20：「コストが定量的に示されている」についてはYesと回答した評価者は少なかった。
COGSによる評価
COGSによる評価は18項目から成り，Shaneyfeltらの評価と同様に全てYes／Noで回答する（附録3）。Yesと回答した割合が100％であった項目は，項目1：「概観資料（ガイドラインの公開の日付，構造化抄録の提示など）」や項目2：「焦点（扱う主な疾患，介入についての記載など）」など11項目であった（表5）。
ガイドライン評価方法に関する有用性
各評価には，それぞれの方法が有用かどうかを問う項目がついている。AGREE，Shaneyfelt，COGSのいずれについても，評価者全員が「極めて有用である」あるいは「有用である」と回答していた（表6）。
【表4
膵癌診療ガイドライン評価集計（Shaneyfelt）】
| 項目 | 膵癌専門医 | 膵癌専門医以外 | |||
| Shaneyfelt 1 | Y | Y | Y | Y | Y |
| 2 | Y | Y | Y | Y | Y |
| 3 | Y | Y | Y | Y | - |
| 4 | Y | Y | Y | Y | Y |
| 5 | Y | Y | Y | Y | N |
| 6 | Y | N | Y | Y | N |
| 7 | Y | Y | Y | Y | Y |
| 8 | Y | Y | Y | Y | Y |
| 9 | Y | N | Y | N | - |
| 10 | Y | N | Y | Y | - |
| 11 | Y | Y | Y | Y | Y |
| 12 | Y | Y | Y | Y | Y |
| 13 | Y | Y | Y | Y | Y |
| 14 | Y | Y | Y | N | Y |
| 15 | Y | Y | Y | Y | Y |
| 16 | Y | Y | Y | N | Y |
| 17 | Y | Y | Y | Y | - |
| 18 | Y | N | N | N | - |
| 19 | Y | N | N | Y | - |
| 20 | Y | N | N | N | - |
| 21 | Y | Y | N | Y | Y |
| 22 | Y | N | N | Y | Y |
| 23 | Y | Y | Y | Y | Y |
| 24 | Y | Y | Y | Y | Y |
| 25 | Y | Y | Y | Y | Y |
【表5
膵癌診療ガイドライン評価集計（COGS）】
| 項目 | 膵癌専門医 | 膵癌専門医以外 | |||
| COGS 1 | Y | Y | Y | Y | Y |
| 2 | Y | Y | Y | Y | Y |
| 3 | Y | N | Y | Y | Y |
| 4 | Y | N | N | Y | - |
| 5 | Y | Y | Y | Y | Y |
| 6 | Y | Y | Y | Y | - |
| 7 | Y | Y | Y | Y | Y |
| 8 | Y | Y | Y | N | Y |
| 9 | Y | Y | Y | Y | Y |
| 10 | Y | Y | N | N | Y |
| 11 | Y | Y | Y | Y | Y |
| 12 | Y | Y | Y | Y | Y |
| 13 | Y | Y | Y | Y | Y |
| 14 | Y | Y | Y | Y | Y |
| 15 | Y | Y | Y | Y | Y |
| 16 | Y | N | N | N | Y |
| 17 | Y | Y | Y | Y | Y |
| 18 | Y | N | Y | N | - |
【表6 調査票の有用性】
| 評価票 | 膵癌専門医 | 膵癌専門医以外 | |||
| AGREE | 4 | 4 | 3 | 3 | 4 |
| Shaneyfelt | 4 | 4 | 3 | 3 | 3 |
| COGS | 4 | 4 | 3 | 3 | 3 |
考察
ガイドラインの対象や目的，作成プロセス，推奨（勧告）の明確さなどについては，いずれの評価方法を用いても高い評価が得られていたものの，利害関係者の参加，適用可能性（実際の適用にあたっての考慮）などについては評価が低かった。ある程度予想された結果ではあるが，これらをどう考慮していくかは今後の課題と思われた。また，今回は作成者は医師のみであり，患者，コメデイカルは参加していないが，将来的には作成者にこれらの方々にも参加してもらう必要があるようだ。評価者が5名と限定されており，また，膵癌専門医，非専門医，医師以外の比較についての検討は行わなかった。今後は，特に，本ガイドラインを実際の臨床現場で用いることにより，多くの医師，コメディカルあるいは患者などからの評価を受け，意見を求めることが重要である。また，どのような評価方法を用いるかについても，さらなる検討の余地があると思われる。
AGREEにおける全体評価では，評価者全員が「極めて有用である」，「有用である」と回答している。一方，ShaneyfeltやCOGSでは医学部全体評価はないものの，全項目をまとめて全体でのYesと回答した割合を試行的に求めてみたとろこ，83.9％，87.4％でいくつか課題は残るものの，本ガイドラインの評価は総じて高いと考えられる。
引用文献
- 1）
- Appraisal of Guideline for Research and Evaluation（AGREE） collaboration. http://www.agreecollaboration.org/
- 2）
- Shaneyfelt TM, Mayo─Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer─reviewed medical literature. JAMA 1999；281：1900─1905.
- 3）
- Shiffman RN, Shekelle P, Overhage JM, Slutsky J, Crimshaw J, Deshpande AM. Standardized reporting of clinical practice guideline：a proposal from the Conference on Guideline Standardization. Ann Intern Med 2003；139：493─498.
- 4）
- 長谷川友紀ほか訳．ガイドラインの研究・評価用チエックリスト Appraisal of Guidelines for Research and Evaluation （AGREE） instrument. AGREE共同計画 2001年9月．
- 5）
- Minds診療ガイドライン選定部会監修，福井次矢，吉田雅博，山口直人編集 診療ガイドライン作成の手引き2007 医学書院 2007年9月．
（産業医科大学医学部第一外科 山口幸二）
