WP4 - 05/08/24

Monday 5 Aug 2024, 11:00 → 12:30 UTC

Partecipanti: Sara Gelsumini, Deborah Busonero, Massimo Costantini, Diego Ciangottini, Andrea Adelfio, Cristina Knapic

Agenda:

Report attività:

 * DMs (Gaia, Fermi, Gadget, Ramses);

 * Portale web;

 * Rucio;

Discussione ingestion software

AOB

 

Minute:

• * DMS : GAIA: passate le complete source e le astrometry per un totale di 10 K di entries, alcuni dati restano in formato blob, da sistemare ma non intervengono nella estrazine dei metadati, per cui restano come payload dei file da scaricare e rielaborare. I metadati sono consolidati per le query di pertinenza. I dati andranno ancora rimaneggiati perchè non sono consolidati i formati di esposizione, ma non è un problema. Fermi: metadati consolidati, non ci saranno altre modifiche, verranno aggiunti solo dei tool di manipolazione files, ma non metadati.  Simulazioni: entrerà a breve in servizio per Sissa su PNRR e su interoperabilità la Dott.ssa Chaitra che potrà a breve aiutare a risolvere il problema dell'interoperabilità dei dati di Gadget. Per Pluto e RAMSES si pensa di fare una riunione in presenza a Torino con Andrea Mignone.

• Web portal: risolti i problemi di comunicazione tra servizi. Rimane aperto il problema di https con il sistema di autenticazione. Da capire come viene gestito da RAP. Tutti i servizi sono stati installati sui server messi a disposizione da Diego.
• Rucio: Si chiarisce che ciascun frontend Rucio sullo stesso endpoint possono gestire db diversi (in virtù del fatto che appartengono a VO diverse). Si riporta che il software di ingestione permette di fare l'estrazione dei metadati utilizzando una mappatura delle "posizioni" dove i metadati sono salvati nell'entità dato. La stessa mappatura viene utilizzata per indicare dove nel db relazionale devono venir scritti. Ci si domanda se sia utile passare per un JSON per comunicare a Rucio quali metadati salvare nel db ausiliario, o se sia più efficiente scrivere direttamente sul db, avendo cura di associare correttamente il DID di rucio in esso. La questione viene approfondita. Il plug in di scrittura al momento inserisce tutti i metadati come agglomerato Json, mentre per le ricerche sui metadati è utile avere colonne separate. Si valuta la possibilità di utilizzare la mappatura del db ausiliario solo per la configurazione di rucio per scopo di lettura da rucio (avendo però presente come è stato costruito il db e quali sono le tabelle e le colonne). Si valuta che rucio è in grad,o attraverso le sue configurazioni, di accettare in input la configurazione del db e anche se popolato da routine esterne può effettuare delle query. Si decide di indagare più approfonditamente la questione anche in prospettiva di adattare questo approccio per la gestione degli innovation grants. Giovedì prevista ulteriore riunione tematica, a fine mese incontro possibile a Bologna.