[Résolu] Indexation des accents dans contenu HTML

As we transition to the new Hyland Community, some post links may be temporarily disrupted as we finalize redirects. We apologize for the inconvenience and are working to resolve this as quickly as possible. Details.

sebguillomon

Bonjour,

Décidément, je vais de surprises en surprises avec Alfresco  :x, j'ai créé des contenu HTML dans Alfresco et j'ai testé la recherche via un webservice, mis-à part le fait que la recherche semble instable, je ne comprenais pas pourquoi je ne pouvais pas faire de recherche sur les mot avec des caractères accentués.
J'ai donc ouvert un index avec le jar lukeall (http://www.getopt.org/luke/) et à ma grande surprise, les caractères accentués semble être mal traités par l'analyseur lucene utilisé, par exemple pour rechercher le mot "crédit" (donc "crédit" en html); il faut faire une recherche sur "cr&eacute dit" car le point virgule est supprimé et le reste du mot n'est pas traité. !!!

Quelqu'un a-t-il une solution pour résoudre se problème? Peut-on surcharger le mécanisme d'indexation ?

Merci bcp

sebguillomon

Bonjour,

Après quelques heures de tuning, j'ai réussi à avoir une indexation convenable pour les contenu français (saisis via un du code html ou plein texte ou document …), j'ai donc modifié le fichier "dataTypeAnalyzers_fr.properties" comme suit :

d_dictionary.datatype.d_text.analyzer=alfresco.lucene.analysis.MonAnalyzer
#d_dictionary.datatype.d_content.analyzer=org.apache.lucene.analysis.fr.FrenchAnalyzer
d_dictionary.datatype.d_content.analyzer=alfresco.lucene.analysis.MonAnalyzer
‍‍‍‍‍

avec MonAnalyzer :

import java.io.ByteArrayInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.util.Set;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.ISOLatin1AccentFilter;
import org.apache.lucene.analysis.LowerCaseFilter;
import org.apache.lucene.analysis.PorterStemFilter;
import org.apache.lucene.analysis.StopFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.fr.FrenchAnalyzer;
import org.apache.lucene.analysis.fr.FrenchStemFilter;
import org.apache.lucene.analysis.standard.StandardFilter;
import org.apache.lucene.analysis.standard.StandardTokenizer;

public class MonAnalyzer extends Analyzer{

   private static Set _stopTable;
   private static Set _excltable;

    /**
     * An array containing some common English words
     * that are usually not useful for searching.
     */
    public static String[] STOP_WORDS = FrenchAnalyzer.FRENCH_STOP_WORDS;

    /**
     * Builds an analyzer.
     */
    public MonAnalyzer()
    {
        this(STOP_WORDS);
    }

    /**
     * Builds an analyzer with the given stop words.
     *
     * @param stopWords a String array of stop words
     */
    public MonAnalyzer(String[] stopWords)
    {       
        _stopTable = StopFilter.makeStopSet(STOP_WORDS);
    }

    /**
     * Processes the input by first converting it to
     * lower case, then by eliminating stop words, and
     * finally by performing Porter stemming on it.
     *
     * @param reader the Reader that
     *               provides access to the input text
     * @return an instance of TokenStream
     */
    public final TokenStream tokenStream(String fieldName, Reader reader)
    {
       if(fieldName == null)
            throw new IllegalArgumentException("fieldName must not be null");
        if(reader == null)
        {
            throw new IllegalArgumentException("reader must not be null");
        } else {
           Reader in = new HTMLStripReader(reader);
           StringBuffer htmlToText = new StringBuffer();
            int ch;
            try {
             while ( (ch=in.read()) != -1 ) {
                if ( ch != Character.MIN_VALUE )
                   htmlToText.append((char)ch);
             }
          } catch (IOException e) {
             throw new IllegalArgumentException("Error while reading html content");
          }
          
          ByteArrayInputStream bis = new ByteArrayInputStream(htmlToText.toString().getBytes());
           InputStreamReader isr = new InputStreamReader(bis);
          
            TokenStream result = new StandardTokenizer(isr);
            result = new StandardFilter(result);
            result = new FrenchStandardFilter(result);
            result = new StopFilter(result, _stopTable);
            result = new ISOLatin1AccentFilter(result);
            result = new FrenchStemFilter(result, _stopTable);
            result = new PorterStemFilter(result);
            result = new LowerCaseFilter(result);
            
            return result;
        }
    }
}
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

En ajoutant tous ces filtres cela fonctionne correctement.

- FrenchStandardFilter supprime les apostrophes
- ISOLatin1AccentFilter supprime les accents

HTMLStripReader permet de convertir le html en texte

Les autres sont des grands classiques