Paper
Proceedings of the Workshop on Generalization in the Age of Deep Learning
In this paper, we investigate the tendency of end-to-end neural Machine Reading Comprehension (MRC) models to match shallow patterns rather than perform inference-oriented reasoning on RC benchmarks. We aim to test the ability of these systems to answer questions which focus on referential inference. We propose ParallelQA, a strategy to formulate such questions using parallel passages. We also demonstrate that existing neural models fail to generalize well to this setting.
Authors: Soumya Wadhwa · Varsha Embar · Matthias Grabmair · Eric Nyberg · Stanislaw Jastrzebski · Dzmitry Bahdanau · Seyedarian Hosseini · Michael Noukhovitch · Yoshua Bengio · Jackie Cheung · Alexander Kuhnle · Ann Copestake · Noah Weber · Leena Shekhar · Niranjan Balasubramanian · Jeff Mitchell · Pontus Stenetorp · Pasquale Minervini · Sebastian Riedel · Stanisaw Jastrzbski · Jackie Chi · Kit Cheung · Bahdanau · Dzmitry · Balasubramanian · Niranjan · Bengio · Yoshua · Embar · Varsha · Grabmair · Matthias · Hosseini · Kuhnle Alexander · Minervini · Pasquale · Noukhovitch · Michael · Nyberg · Shekhar · Leena · Stenetorp · Pontus · Wadhwa Soumya · Weber Noah · Andrew David M Blei · Michael Ng · Jordan · Karl Moritz Hermann · Tomas Kocisky · Edward Grefenstette · Lasse Espeholt · Will Kay · Mustafa Suleyman · Phil Blunsom · Paul Jaccard · Matthew Richardson · J Christopher · Erin Burges · Renshaw · Karen Sparck · Jones · Donald Spearritt · Michael Strange · Wenhui Wang · Nan Yang · Furu Wei · Baobao Chang · Ming Zhou · Martn Abadi · Gabor Angeli · Christopher Manning · Michele Banko · Michael Cafarella · Stephen Soderland · Matthew Broadhead · Oren Etzioni · Maxwell Forbes · Yejin Choi · Rudolf Kadlec · Ondrej Bajgar · Jan Kleindienst · Omer Levy · Steffen Remus · Chris Biemann · Ido Dagan · Xiang Li · Aynaz Taheri · Lifu Tu · Kevin Gimpel · H Liu · P Singh · T Mitchell · W Cohen · E Hruscha · P Talukdar · J Betteridge · A Carlson · B Dalvi · M Gardner