menu icon

Enrich the data and rewrite the queries with the Elasticsearch percolator

This article is a transcript of the lightning talk we presented this week at Haystack - the Search and Relevance Conference. We showed a method allowing to enrich and rewrite user queries using Wikidata and the Elasticsearch percolator.

Enrich the data and rewrite the queries with the Elasticsearch percolator

Haystack offered us the opportunity to present a lightning talk during the conference. We presented an innovative method that can be used in order to rewrite user queries. This method has the advantage to require only an Elasticsearch instance and Open Data coming from Wikidata.

When dealing with voice search, a chatbot or even with a certain type of users or use cases, the user queries can be quite verbose. A rewriting process is then necessary to extract the meaningful keywords. A user query like How to prepare athletes to be present on D-Day taking into account all the complexity of the competition? can be eventually rewritten with just the following keywords: present, D-Day, competition.

For this task we are using Wikidata - an Open Source database maintained by the Wikimedia Foundation and the Elasticsearch percolator - a feature available in Elasticsearch since the early days but still not so well known.

The following slides present in detail the process we put in place.

Enrich data and rewrite queries with the Elasticsearch percolator de Lucian Precup

You can easily implement the same framework on your infrastructure but if you need assistance, do not hesitate to contact us.

Retour d’Expérience - Fine-tuning d’un modèle VOSK

05/01/2022

all.site est un moteur de recherche collaboratif. Il fonctionne comme Bing ou Google mais il a l’avantage de pouvoir aller plus loin en indexant par exemple les contenus média et en organisant les données de systèmes comme Slack, Confluence ou l’ensemble des informations présentes dans l’intranet d’une entreprise.

Read the article

Retour d’Expérience - Indexation des transcriptions de fichiers média

17/12/2021

all.site est un moteur de recherche collaboratif. Il fonctionne comme Bing ou Google mais il a l’avantage de pouvoir aller plus loin en indexant par exemple les contenus média et en organisant les données de systèmes comme Slack, Confluence ou l’ensemble des informations présentes dans l’intranet d’une entreprise.

Read the article

New Search & Data meetup - E-Commerce Search and Open Source

28/10/2021

The fifth edition of the Search and Data meetup is dedicated to e-commerce search and open source. A nice agenda to mark our return to the Meetup scene

Read the article

Expédition vers Synonym Graph dans Elasticsearch

21/04/2021

Dans cet article, nous expliquons comment nous sommes passés des anciens filtres de synonymes d'Elasticsearch aux nouveaux filtres de type graphe, les Synonym Graph Token Filter.

Read the article

Quand les requêtes sont très verbeuses

22/02/2021

Dans cet article, nous présentons une méthode simple pour réécrire les requêtes utilisateurs afin qu'un moteur de recherche basé sur des mots clés puisse mieux les comprendre. Cette méthode est très utile dans le contexte d'une recherche vocale ou une conversation avec un chatbot, contexte dans lequel les requêtes utilisateur sont généralement plus verbeuses.

Read the article

A2 le moteur qui sublime Elasticsearch

13/06/2018

Elasticsearch est une technologie ouverte qui permet aux intégrateurs de construire des solutions toujours plus innovantes et puissantes.

Read the article