On the effect of word order on cross-lingual sentiment analysis

Atrio, Àlex R. (School of Management and Engineering Vaud, HES-SO // University of Applied Sciences Western Switzerland ; EPFL, Lausanne, Switzerland) ; Badia, Toni (Universitat Pompeu Fabra, Barcelona, Spain) ; Barnes, Jeremy (University of Oslo, Oslo, Norway)

Current state-of-the-art models for sentiment analysis make use of word order either explicitly by pre-training on a language modeling objective or implicitly by using recurrent neural networks (Rnns) or convolutional networks (Cnns). This is a problem for cross-lingual models that use bilingual embeddings as features, as the difference in word order between source and target languages is not resolved. In this work, we explore reordering as a pre-processing step for sentence-level crosslingual sentiment classification with two language combinations (English-Spanish, English-Catalan). We find that while reordering helps both models, Cnns are more sensitive to local reorderings, while global reordering benefits Rnns.

Los modelos de análisis de sentimiento que actualmente representan el estado del arte utilizan el orden de las palabras, ya sea explícitamente al preentrenar con un objetivo de modelización del lenguaje, ya sea implícitamente al recurrir a redes neuronales recurrentes (RNR) o convolucionales (RNC). Esto es un problema para los acercamientos crosslingües que emplean vectores bilingües para entrenar, ya que la diferencia del orden de las palabras entre la lengua de origen y la de destino no se resuelve. En este trabajo, exploramos el reordenamiento de las palabras como etapa de procesamiento previa para la clasificaci´on de sentimiento crosslingüe a nivel de frase, con dos combinaciones de idiomas (Inglés-Castellano, Inglés-Catalán). Descubrimos que aunque el reordenamiento ayuda a los dos modelos, los RNC son más sensibles al reordenamiento local, mientras un reordenamiento global beneficia a los RNR.


Keywords:
Article Type:
scientifique
Faculty:
Ingénierie et Architecture
School:
HEIG-VD
Institute:
IICT - Institut des Technologies de l'Information et de la Communication
Date:
2019-09
Pagination:
8 p.
Published in:
Procesamiento del Lenguaje Natural
Numeration (vol. no.):
2019, vol. 63
ISSN:
1135-5948
External resources:
Appears in Collection:



 Record created 2019-11-26, last modified 2019-12-05

Fulltext:
Download fulltext
PDF

Rate this document:

Rate this document:
1
2
3
 
(Not yet reviewed)