所属している国際資格団体の認定試験問題作成に関わることになった。試験は問題文と4つの選択肢からなる選択問題で、CBT (Computer Based Test)により提供される、次のような形式の問題だ。
stem（問題文） A. Key（正答） B. distractor（誤答） C. distractor（誤答） D. distractor（誤答）
試験問題作成に先立ち、ガイダンスを受けることになる。ガイダンスでは問題作成のステップに始まり、避けるべきパターンなどが説明される。これまで教科書や問題集、試験問題のレビューや英日翻訳に携わったことはあるものの、話題の多くは日頃、意識していない事柄ばかりだった。
特に印象的だったのは、次のポイントだ。試験問題が試そうとしているのは、受験者の出題範囲に関する知識の有無ではあるものの、それは適切な知識に基づいた実務経験を前提としていることだ。言い換えるならば、関連業務領域において十分な期間、実務経験を積み、適切な知識と経験が回答に反映されている者、そうではない者を識別することにある。試験問題は、この前提で作成されることになる。
また試験問題は、あくまでも出題領域の話題に受験者の思考をフォーカスさせるものであり、受験者に余計な思考的混乱をもたらすものであってはならないことも、試験問題に限らない文章術として参考になった。
この知識をまとめ、共有することは、私自身の作業のためだけでなく、一般的な文書作成においても有用ではないかと思い、ブログへ投稿することにした。
前提：知識と実務経験
国際資格、特にその分野でのプロフェッショナルであることを証明する資格の認定に際し、試験合格だけでなく、それなりの実務経験を求めることが多い。例えばPMPは受験資格として３～５年のプロジェクト・マネジメント経験を受験資格としている。実務経験者でなければ受験できない。一方、ISACAの資格群は、受験資格として一定年数の実務経験を求めてはいるものの、受験は可能だ。しかし合格しても、合格後の有効期間中に実務期間、経験を申告証明するまで資格認定されない。
こうした前提があるからか、いわゆる教科書の知識を直接的に問うものではなく、教科書に即した知識に基づいて、実務経験から得られる知見を、試験問題は試さなければならない。
問題文で避けるべき事柄
問題文についての要求事項がある。いずれも受験者に問題が問うている話題と回答に集中させ、余計な思考的混乱をもたらさないことを意識している。
- 使用を避けるべき語句を用いない。
- 肯定的なトーンであること。
- 一問につき、一つの話題を取り扱う。
避けるべき語句として次の語句が挙げられている。
| commonly, frequently, rarely | 解釈、翻訳に主観性が反映されやすい。 |
| least, not, except | 出題の範囲外での論理的混乱を招く。 |
| all, always, never | 正答を導きやすい。 |
| you, your, she, he, her, his, etc | ジェンダーを表す代名詞 |
国際試験なので問題は英語で作成される。その翻訳が各国語版の試験となる。この前提から、翻訳を意識した言葉遣いが求められている。
次に論理構造の問題だ。試験問題に限らず、一般的な文章術として二重否定の使用を控えるのは常識だろう。論理的構造の分かりにくさが、適切な文意の伝達を妨げるからだ。同様の理由から、そのような論理的混乱を招く言葉づかいをしないことが求められる。
肯定的なトーンであることは、否定文を用いるな、ということだ。これは二重否定に限らない。否定文を用いられると、日頃とは逆の論理構造、フレームで思考しなければならず、受験者に無用な負担を強いるから、と言われている。
all、always、exceptなど、いわゆるabsolute wordの使用禁止は、この逆の発想かもしれない。世の中に絶対はあり得ない。問題に問題文、あるいは選択肢にこのような言葉が含まれると、正答の絞り込みが容易になることがある。
これは心当たりがある。私の知見では、次の単語が含まれている選択肢は誤答であり、それらがoptimizeに置き換えられているものが正答であることが多い。
- minimize
- mitigate
- eliminate
最後の話題についての問題は、試験問題文に限らず、現在では当然のことだろう。
選択肢の注意事項
問題文同様、選択肢にも要求事項がある。これも受験者に余計な詮索、思考をさせない配慮が求められている。次のような具合だ。
- 選択肢の長さを揃える。
- 言葉遣いを揃える。
- 選択肢を同種に揃える。
- multiple-multiple optionsを避ける。
- 選択肢としてall（全て）、none of above（どれでもない）を用いない。
選択肢の長さを揃えるというのは、例えばすべての選択肢は単語一つであるのに、ある選択肢だけ複数の単語で構成されるような場合のことを指している。
言葉遣いを揃えるというのは、英語であれば動詞の原形で始めるか、進行形で始めるかということだ。日本語では語尾を揃える、に通じるだろうか。例えば、体言止めにするか、用言止めにするか、ということだ。
選択肢を同種に揃えることは、少々専門的かもしれない。例えば出題が特定のプロセスを問うている場合、選択肢としてプロセスの名称が列記されるだろう。その中にタスクや技法の名称を混ぜるな、ということを伝えている。
multiple-multiple optionsというのは、次のような選択肢だ。
A. Urgency, value, and risk B. Cost, timing, and feasibility C. Risk, cost, and urgency D. Value, risk, and feasibility
問題が選択肢に含まれている要素の組み合わせ、順番、何を問うているのかは関係ない。選択肢に含まれている要素が、他の選択肢と重複し、組み合わせてることがポイントだ。これは受験者に無用な混乱をもたらし、効果的な出題ではないとされている。
multiple-multipleに限らず、選択肢は互いにstand alone（独立）しているのが望ましいとされている。従って「全て」や「どれでもない」といった選択肢も望ましくない。これに類する選択肢、例えば「Both B and C（BとC）」のような選択肢も望ましくない。
もちろん問題文で避けるべき語句は、選択肢でも避けるべき語句であることは同じだ。
理想的な誤答
選択肢を用意するからには正答だけでなく、誤答も用意しなければならない。個人的には、ここが面白く感じたところだ。まず誤答に求められる特性だ。
- 明らかに最良の選択肢ではない。
- 経験不足の受験者には正答に見える。
- 造語ではない。
まず２がキーだ。あからさまに間違っている選択肢ではなく、もっともらしい、しかし間違っている選択肢が求められている。特に未熟な受験者が可能性を見出す選択肢だ。この点から、ガイダンスでは誤答を作成するに際し、次の点を考慮、想像することが伝えられている。
- 新参者が犯しがちな過ち、ミス。
- 新参者が期待していること、考えていること、想像していること
加えて考慮しなければならないのが１だ。この投稿で私は「正答」、「誤答」という表現をしているが、実際にはすべての選択肢が正答であっても構わないのだ。ただし、どれか一つが「最良」である必要はある。
ちなみにTOGAF試験のシナリオ問題が、選択肢から最良のものを選ばせるスタイルを採用している。
実際のところ、あからさまに間違っている選択肢を用意するのは簡単なのだが、「もっともらしい」誤答となると難しくなる。全ての選択肢を正答としながらも、「もっともらしさ」と「最良」によって選択肢を区別することで、その難易度を少し下げることはできる。しかし、それは出題者に悩ましい事情をもたらすことになる。何が「最良」であるか、自分で分からなくなるのだ。この「最良」とそれ以外の判別が、一番時間を消費する作業になる。
問題には正答、誤答の理由を覚書として添えることになっている。このプロセスは適切な覚書を用意するための、よくできたプロセスだと思う。
ちなみに作成された問題文は、提出されたものが自動的に試験、あるいは問題集に採用されるわけではない。担当者レビュー、ワーキング・グループ・レビューを経て採否が判断される。レビューではフィードバックもあり、手直しが求められることもある。
試験問題は受験者を悩ませることだろうが、その裏では出題者も同様に悩み抜いている事情がある。
