Question Answering

目的

QA Lab-PoliInfo-3 Question Answering は、一括質問一括答弁方式の会議において、会議録と、その質問の要約が与えられたときに、対応する答弁の要約を生成するタスクです。

20210519_PoliInfo3_QA

以前のタスク（PoliInfo Summarization、PoliInfo-2 Dialog Summarization）との主な違いを以下に示します。

答弁の要約のみを対象とします（質問の要約は与えられます）。
同一の答弁者の発言全体が要約元となります。以前のタスクにあった要約元の範囲（StartingLine、EndingLine）は与えられません。なお、要約元の抽出については QA Alignment タスクも参照してください。
複数の質問・答弁をまとめて要約していた箇所については、分割した形で質問の要約が与えられます。以前のタスクで「〔1〕」「〔2〕」などで表されていたそれぞれの質問ごとに、対応した要約を生成します。
~~出力文字数の上限ではなく、実際の文字数が与えられます。~~ → 正解の文字数は与えない形に変更しました。

データセット

2001年以降の東京都議会（定例会）を対象とします。

入力
- 都議会だよりに含まれる、議員の質問の要約（JSON フォーマット）
- 本会議の会議録に含まれる、議員・答弁者（説明員）の発言（JSON フォーマット）
出力
- 各質問に対応する答弁（説明）の簡潔な要約（JSON フォーマット）

データ構造（出題ファイル）

フィールド名	説明	備考
ID	識別番号	提出ファイルにも同じIDを出力してください
Meeting	会議名	都議会だよりの表記
Date	日付	yyyy-mm-dd
Headlines	質問者の発言全体の要旨	質問数によらず会議・質問者毎に2文
SubTopic	サブトピック
QuestionSpeaker	質問者
QuestionSummary	質問の要約
AnswerSpeaker	答弁者
AnswerSummary	答弁の要約	出題ファイルでは空欄
~~AnswerLength~~	~~答弁の文字数~~	~~正解データの文字数~~ → 削除しました

データ構造（会議録）

フィールド名	説明	備考
Volume	年、回	会議録の表記、何年の第何回定例会かを表す
Number	号	会議録の表記、何日目かを表す
Date	日付	yyyy-mm-dd
Title	会議録の表題	会議録の表記
SpeakerPosition	発言者の議席番号または役職	会議録の表記
SpeakerName	発言者の氏名	会議録の表記
QuestionSpeaker	発言に対応する質問者の氏名と役職	出題ファイルと同一の値（出題ファイルに含まれない発言者はnull）
Speaker	発言者の氏名と役職	同上。QuestionSpeakerと同一の値であれば質問、異なる場合は答弁
Utterance	発言

JSON (出題ファイルの例）

[
  {"ID": "PoliInfo3-QA-v20210613-331-03-1-001", 
   "Meeting": "平成30年第4回定例会", 
   "Date": "2018-12-11", 
   "Headlines": ["中小企業・小規模企業の支援を", "幼児教育無償化への都の対応は"], 
   "SubTopic": "産業振興", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", 
   "QuestionSummary": "中小企業・小規模企業振興条例の理念に基づき、活力ある地域社会をつくり雇用の創出を。", 
   "AnswerSpeaker": "知事", 
   "AnswerSummary": "地域経済の持続的発展と雇用創出の実現のため効果の高い振興策を展開。"},
  {"ID": "PoliInfo3-QA-v20210613-331-03-1-002", 
   "Meeting": "平成30年第4回定例会", 
   "Date": "2018-12-11", 
   "Headlines": ["中小企業・小規模企業の支援を", "幼児教育無償化への都の対応は"], 
   "SubTopic": "産業振興", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", 
   "QuestionSummary": "農業は東京の持続的成長に必要不可欠。農業振興への今後の展開は。", 
   "AnswerSpeaker": "知事", 
   "AnswerSummary": "都市農地の保全、担い手の確保と育成・定着の体制整備、先進技術活用等、様々な施策を展開。"},
  {"ID": "PoliInfo3-QA-v20210613-331-03-1-003", 
   "Meeting": "平成30年第4回定例会", 
   "Date": "2018-12-11", 
   "Headlines": ["中小企業・小規模企業の支援を", "幼児教育無償化への都の対応は"], 
   "SubTopic": "ダイバーシティ・東京", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", 
   "QuestionSummary": "国の幼児教育無償化案では負担の軽減は十分とは言えず、また認可と認可外で格差が生じる。対応は。", 
   "AnswerSpeaker": "知事", 
   "AnswerSummary": "待機児童対策協議会で国と意見交換。国の動きを踏まえ適切に対応。"},
...
]

※出題ファイルでは AnswerSummary は空欄で与えられます。

JSON (東京都議会会議録の例）

[
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", "SpeakerName": "小山くにひこ", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "東京都議会第四回定例会に当たり、都民ファーストの会東京都議団を代表して、小池知事及び教育長、関係局長に質問いたします。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", 
   "SpeakerName": "小山くにひこ", "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "東京都中小企業・小規模企業振興条例についてお伺いいたします。"},
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", 
   "SpeakerName": "小山くにひこ", "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "事業所数において都内企業の九九％を占める中小企業の成長は、東京都の成長と発展の根幹であります。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", "SpeakerName": "小山くにひこ", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "都として、条例に掲げる理念に基づき、中小企業、小規模企業の業績向上や、ものづくり、事業を継承する支援を進めることで、にぎわいと活力のある地域社会をつくり、雇用の創出にも積極的に取り組むべきと考えますが、知事の見解を伺います。"},
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", "SpeakerName": "小山くにひこ", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "中小企業施策の効果検証のあり方について伺います。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", "SpeakerName": "小山くにひこ", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "そこで、都民に満員電車の混雑緩和の実感を得てもらうため、より踏み込んで取り組みを進めるべきと考えますが、知事の見解を伺います。"},
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", "SpeakerName": "小山くにひこ", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "都市の成長の基盤は人であり、都民一人一人の多様性を生かしたダイバーシティー東京の実現こそが、東京の成長に資するものであります。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "百十五番", "SpeakerName": "小山くにひこ", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "小山くにひこ（都ファースト）", 
   "Utterance": "ご清聴、まことにありがとうございました。"},

  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "小山くにひこ議員の代表質問にお答えをいたします。"},
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "まず、平成三十一年度の税制改正についてでございます。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "中小企業・小規模企業振興条例についてのお尋ねがございました。"},
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "都内の企業数の九九％を占めます中小企業、小規模企業でございますが、東京の経済や雇用を支えて、地域に活力をもたらす重要な役割を担っております。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "個々のライフスタイルに応じました柔軟な働き方を大会のレガシーとして浸透させて、時差ビズを新たな常識として定着させてまいります。"},
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "次に、幼児教育、保育の無償化についてでございます。"},
...,
  {"Volume": "2018-4", "Number": "2", "Date": "2018-12-11", "Title": "平成三十年東京都議会会議録第十六号", "SpeakerPosition": "知事", "SpeakerName": "小池百合子", 
   "QuestionSpeaker": "小山くにひこ（都ファースト）", "Speaker": "知事", 
   "Utterance": "ありがとうございました。"},
]

評価

自動評価
- ROUGE-1-F_measure（Leader boardのスコアに用いる）
  - PoliInfo2 までは ROUGE-1-Recall
  - 模範解答は、議会だよりの Answer Summary
- その他の ROUGE
人手評価: 参加者間で相互評価（dry run で人手評価を試して修正）
- Answer-type validity: 質問されたことに回答しているか（「〇〇できないか？」→「できる」or「できない」）
- Content: 模範解答と比較して内容が一致しているか
- Well-formed: 日本語として不自然な表現がないか
- Total: 総合的に見た回答の適切さ