Web Service : requête lucene Limitée à 1000 résultats

As we transition to the new Hyland Community, some post links may be temporarily disrupted as we finalize redirects. We apologize for the inconvenience and are working to resolve this as quickly as possible. Details.

laurentprad

Je développe un petit programme d'export Alfresco qui recherche des documents et crée un fichier csv avec les méta-données des documents.
Pour éliminer les différents timeout Alfresco, JBoss et Axis je modifie (temporairement) les fichiers :
+ custom-repository.properties : system.acl.maxPermissionCheckTimeMillis=2000000 ; system.acl.maxPermissionChecks=200000 ; lucene.query.maxClauses=2000000 ; lucene.maxAtomicTransformationTime=4000 ; lucene.write.lock.timeout=2000000 ; lucene.commit.lock.timeout= 20000000
+ jboss-service.xml : <attribute name="SocketTimeout">6000000</attribute>
+ server.xml : <Connector port="8080" address="${jboss.bind.address}" maxThreads="250" strategy="ms" maxHttpHeaderSize="8192" emptySessionPath="true" enableLookups="false" redirectPort="8443" acceptCount="100" connectionTimeout="2000000" disableUploadTimeout="true"/>
+ Et le timeout Axis dans le code : repositoryService.setTimeout(timeout); (private static final int timeout = 50000000; )

Maintenant, il n'y a plus d'erreur mais le CSV généré ne contient que 1000 lignes (alors qu'il il y a 40 000 documents dans la base).
Voici le code source utilisé :

FileCSV myCSV = new FileCSV (export.getDestinationFile());
Query query = new Query(Constants.QUERY_LANG_LUCENE, requete);                              
QueryResult result = getRepositoryService().query(store, query, true);

if (result != null && result.getResultSet() != null) {              
   ResultSetRow[] rows = result.getResultSet().getRows();              
   if (rows == null ||  rows.length == 0) {
      System.out.println("AUCUN document trouvé par la requete !!");
      myCSV.close();
      return;
   } else 
      System.out.println("Nombre de documents trouvés par la requete : " + String.valueOf(rows.length));
   
   // Pour chaque resultat = node
   for (int i = 0; i < rows.length ; ++i) {
      NamedValue[] props = rows[i].getColumns();
      List<Column> columns = export.getColumns();
…
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

J'aurais bien voulu utiliser "LimitBy limitBy = resultSet.getResultSetMetaData().getLimitedBy();" (http://forums.alfresco.com/en/viewtopic.php?f=6&t=13381) mais visiblement, cette méthode n'est utilisable que pour les API et pas les Web services.
Merci par avance si quelqu'un a une solution.

laurentprad

Bonjour,
J'ai maintenant trouvé un moyen de "découper" les résultats pour éviter cette limite de 1000 en utilisant "setFetchSize" :

// set the batch size in the query header
int batchSize = 500;
QueryConfiguration queryCfg = new QueryConfiguration();
queryCfg.setFetchSize(batchSize);
RepositoryServiceSoapBindingStub repositoryService = WebServiceFactory.getRepositoryService();
repositoryService.setHeader(new RepositoryServiceLocator().getServiceName().getNamespaceURI(), "QueryHeader", queryCfg);

// Propietes de repository service (la fonction getRepositoryService() ne doit plus être utilisée car elle ne prend pas le Header)
repositoryService.setUsername(username);
repositoryService.setPassword(password);
repositoryService.setTimeout(timeout);

Query query = new Query(Constants.QUERY_LANG_LUCENE, requete); 

//  get the first batch of results          
QueryResult result = repositoryService.query(store, query, true);

// Write the first lines (process the first query result) :
writeLines(result, myCSV, export);

// Look for next lines (process the next query results) :
String querySession = result.getQuerySession();
while (querySession != null) {
 //  get the next batch of results
   result = repositoryService.fetchMore(querySession);
   
   // Write the next lines :
   writeLines(result, myCSV, export);

   // process subsequent query results
   querySession = result.getQuerySession();   
}              
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Sauf que lorsque je le lance sur une base conenant beaucoup d'éléments, j'obtiens :

requete Lucene : @cm\:name:*pdf AND @cm\:name:BD_01* AND PATH:"/app:company_home/cm:MYPATH//*" AND @cm\:created:[2007\-09\-01T00:00:00 TO 2008\-09\-30T00:00:00]
AxisFault
 faultCode: {http://schemas.xmlsoap.org/soap/envelope/}Server.generalException
 faultSubcode:
 faultString:
 faultActor:
 faultNode:
 faultDetail:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {http://www.alfresco.org/ws/service/repository/1.0}RepositoryFault:<ns1:errorCode>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0</ns1:errorCode><ns1:message>org.alfresco.error.AlfrescoRuntimeException: Exception in Tr&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ansaction.</ns1:message>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {http://xml.apache.org/axis/}exceptionName:org.alfresco.repo.webservice.repository&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; .RepositoryFault
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; {http://xml.apache.org/axis/}stackTrace:
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at org.alfresco.repo.webservice.repository.RepositoryWebService.executeQuery(Repos&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; itoryWebService.java:176)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at org.alfresco.repo.webservice.repository.RepositoryWebService.query(RepositoryWe&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; bService.java:195)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at sun.reflect.GeneratedMethodAccessor473.invoke(Unknown Source)
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.ja
‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

Quelqu'un pourrait-il m'aider ?