Estrazione della conoscenza da immagini nel dominio del patrimonio culturale

Nella sua accezione più ampia, il termine patrimonio culturale è utilizzato per indicare gli elementi, materiali e immateriali, dotati di valore culturale che denotano la sfera personale e sociale dell’individuo e ne caratterizzano i rapporti col territorio. In tal senso, il patrimonio culturale comprende luoghi, oggetti fisici e forme astratte intorno ai quali individui, popoli e società costruiscono un comune senso di appartenenza e manifestano la propria diversità culturale. Stati e organizzazioni internazionali, UNESCO fra tutte, consapevoli dell’importanza che il patrimonio culturale riveste a livello sociale e antropologico, promuovono azioni finalizzate alla sua tutela e valorizzazione. In ottemperanza di tali obiettivi il digitale offre importanti opportunità, come dimostrato dagli ingenti finanziamenti a livello europeo e nazionale. In Italia, Paese in cui il patrimonio culturale costituisce un asset fondamentale per la promozione del territorio1, i finanziamenti derivanti dal Piano Nazionale di Recupero e Resilienza per la Cultura (PNRR Cultura) sono destinati a promuovere i beni culturali sfruttando le potenzialità derivabili dalle attuali tecnologie. Tuttavia, all’interno dell’ ecosistema digitale occorre considerare le implicazioni negative di ordine etico, sociale e giuridico che, in taluni casi, possono fatalmente compromettere il patrimonio culturale e l’esistenza stessa dei popoli. Comprendere in che modo le tecnologie possono influenzare i rapporti tra società, economia e cultura è un’attività preliminare e necessarie per attuare, concretamente, processi volti alla tutela e la valorizzazione del patrimonio culturale. Ad oggi, con lo sviluppo di sistemi basati sull’intelligenza artificiale (AI) sempre più sofisticati, si attesta una maggiore presa di coscienza in relazione ai pericoli che un uso improprio, o talvolta illegittimo, di tali sistemi può impattare sulla vita degli individui. Negli ultimi anni, le diverse istituzioni hanno intensificato gli sforzi verso la definizione e l’attuazione di politiche per la standardizzazione dei sistemi basati su AI per garantirne un uso “affidabile”2. Inserite all’interno del contesto culturale, le tecnologie di AI e in particolare il Machine e il Deep Learning, mostrano enormi potenzialità per la realizzazione di attività in grado di enfatizzare le diverse peculiarità dei beni culturali. Contrariamente a quanto professato in passato, l’applicazione di tecnologie simili richiede una imprescindibile conoscenza del dominio di applicazione. Si tratta di una consapevolezza, come testimoniato dall’AI Act, del mutamento del trend di pensiero sull’intelligenza artificiale: non occorre disporre di soli informatici in grado di sviluppare modelli, bensì integrare le conoscenze con esperti di dominio al fine di rendere le soluzioni realmente efficaci muovendole da un alto livello di generalità verso una maggiore settorialità. L’applicazione delle tecnologie richiede, necessariamente, conoscenza del contesto per dare valore ai risultati conseguibili. In tale scenario si colloca il presente lavoro di tesi che, basato sulla nozione principale delle Digital Humanities quale disciplina trasversale per la definizione di metodologie per l’impiego di strumenti informatici alle discipline umanistiche, mira a formalizzare una metodologia di applicazione di tecnologie e standard diversi fra loro per la valorizzazione della conoscenza nascosta da immagini del patrimonio culturale. Le immagini rappresentano, nel settore culturale, uno dei mezzi principali di rappresentazione e disseminazione del patrimonio. Ad esempio, la realtà aumentata o virtuale (Augumentaty Reality, Virtual Reality), costituiscono soluzioni altamente interattive ma che richiedono la presenza in loco degli utenti. L’International Image Interoperability Framework (IIIF) rappresenta, invece, una soluzione ottimale per la condivisione semplice e veloce di materiale culturale attraverso la rete. Uno dei principali vantaggi del framework è la possibilità di rappresentare i file multimediali insieme alle descrizioni, permettendo agli utenti di navigare tra i contenuti visivi e informativi. È importante enfatizzare tale funzione dal momento che le immagini possiedono un ricco contenuto informativo caratterizzato da elementi visivi e testuali che possono celare una preziosa conoscenza. I risultati oggi raggiunti con lo sviluppo tecnologico hanno permesso l’implementazione di sofisticati modelli basati su reti neurali convolutive (Convolutional Neural Networks – CNNs), in grado di indagare semanticamente, con estrema precisione, il contenuto delle immagini per riconoscere, estrarre e analizzare testi ed elementi vari. Partendo dalle considerazioni sinora trattate, l’oggetto del presente lavoro di tesi sono le reti neurali convoluzionali, per la definizione di processi per l’estrazione automatica della conoscenza da immagini del dominio culturale, e lo standard International Image Interoperability Framework per la descrizione standardizzata delle risorse culturali. In particolare, l’obiettivo posto in essere ha una duplice finalità: da un lato contestualizzare l’uso delle reti neurali convoluzionali al dominio del patrimonio culturale per il riconoscimento e l’estrazione di elementi di varia natura, dall’altro individuare le modalità attraverso cui definire, automaticamente, un modello di Manifest IIIF per la descrizione standardizzata delle risorse culturali. Il lavoro portato avanti si fonda sulla possibilità di applicare efficacemente le tecniche di image classification e object detection per il riconoscimento e l’estrazione di elementi che possono costituire una importante base di conoscenza per il patrimonio culturale e, in aggiunta, permettere una descrizione standardizzata tramite IIIF. Il presente lavoro di dottorato ha inizio con un'introduzione generale relativa al settore dei beni culturali, inquadrando il contesto giuridico nazionale e l'attuale scenario in merito alla campagna di digitalizzazione promossa dalla Digital Library Italiana attraverso il "Piano nazionale di digitalizzazione del patrimonio culturale"3. In seguito, il lavoro prosegue con l’analisi sullo standard IIIF e le reti neurali convoluzionali, definendo caratteristiche e applicazioni correnti. Per ciò che concerne l'International Image Interoperability Framework, è stato delineato un sintetico stato dell’arte delle principali applicazioni in ambito MAB (Musei, Archivi e Biblioteche). Infine, il lavoro di tesi si focalizza sulla definizione di una metodologia per l'attuazione di un processo automatico di estrazione della conoscenza da immagini del settore del patrimonio culturale. Il processo implica la realizzazione automatica di un modello IIIF per rendere disponibili le risorse unitamente al contenuto informativo estratto mediante le reti neurali convoluzionali. La trattazione è posta ad un livello teorico definendo la metodologia, ovvero tecnologie, tecniche e strumenti in grado di valorizzare le risorse culturali sotto il piano descrittivo. La finalità del processo qui delineato è quella di promuovere il patrimonio culturale attraverso la conoscenza contenuta nelle immagini, aprendo a nuove sfide e opportunità per l’intera comunità di attori coinvolti nel mercato culturale. In tale scenario, capitalizzare la conoscenza significa poter fruire degli elementi informativi contenuti nelle immagini del patrimonio culturale consentendo, in un contesto sempre più orientato verso l’adozione di dati aperti e connessi, la creazione di una base informativa mediante la quale porre in stretta relazione i diversi ambiti culturali. Se correttamente gestite, allora, le informazioni provenienti da ciascuna istituzione, sia essa archivio, museo o biblioteca, possono essere integrate tra loro per contribuire alla valorizzazione del patrimonio culturale.

In its broadest definition, cultural heritage is used to indicate natural, tangible, and intangible elements that are endowed with cultural significance. The latter define the personal and social realm of individuals and determine their relationship with the local area. Cultural heritage encompasses places, physical objects, and abstract forms that enable individuals, peoples, and societies to create a common sense of belonging and display their cultural diversity. Countries and international organizations, UNESCO above all, are aware of the importance of cultural heritage from a social and anthropological perspective and promote actions aimed at safeguarding and valorizing it. In compliance with these objectives, digital technologies offer important opportunities, as demonstrated by the substantial funding at European and national levels. In Italy, the funding from the National Recovery and Resilience Plan for Culture (PNRR Culture) is meant to exploit the potential of current technologies to carry out activities finalized for the promotion of the national cultural heritage. Moreover, for a country such as Italy which owns a considerable number of cultural sites1, realizing such activities may constitute an impulse for tourism and, consequentially, the enhancement of territory. Even though the digital ecosystem allows remarkable possibilities, some aspects must be taken into account. The latter concerns the negative ethical, social, and legal consequences that, in some instances, can inevitably undermine the cultural heritage and existence of populations. The preliminary understanding of technologies and their impact on relations between society, economy, and culture is necessary for the correct safeguarding and promotion of cultural heritage. Currently, with the development of systems based on Artificial Intelligence (AI) becoming increasingly sophisticated, there is a greater awareness regarding the dangers related. In particular, attention is mostly paid to the misuse or illegitimacy of such systems that can negatively impact on individuals. In recent years, various institutions have intensified their efforts toward defining and implementing policies for the standardization of AI-based systems to ensure their “trustworthy”2 use. The cultural context can benefit greatly from using AI technologies, specifically Machine and Deep Learning, to create activities that highlight the unique characteristics of cultural heritage. Contrary to what has been said in the past, an interconnection between technologists and domain experts is necessary to define the correct methodology for the proper application of this kind of technologies. As witnessed by the AI Act, this is an awareness of the change in the trend of thinking on artificial intelligence: you do not need to have only computer scientists able to develop models but to integrate knowledge with domain experts to make effective solutions towards a greater sectorial. In this scenario, the present doctoral thesis aims to formalize a methodology for the application of different technologies and standards for the extraction of hidden knowledge by images of cultural heritage. The method here proposed reflects the main notion of Digital Humanities as a transversal discipline for the definition of practices and policies for the use of computational tools in the Humanities Sciences. In the cultural domain, images represent one of the main means of representing and disseminating heritage. For example, augmented or virtual reality (AR/VR) are highly interactive solutions that require, however, on-site users. Instead, the International Image Interoperability Framework (IIIF) is an optimal solution for the simple and fast sharing of cultural material via the Internet network. One of the main advantages characteristics of the framework is the possibility to represent both the media and descriptions allowing users to navigate between the visual and informative content. The importance of emphasizing this function lies in the fact that images are valuable sources of information, consisting of both text and visual objects, that can conceal knowledge that can be extracted. The results achieved today with technological development have allowed the implementation of sophisticated algorithms based on convolutional neural networks (CNNs) able to investigate semantically the content of images. The latter may automatically compute different operations such as recognition, extraction, and analysis of information with extreme precision and accuracy. By departing from these considerations, this doctoral thesis focuses on the possibility of adapting convolutional neural networks to the cultural domain for the automatic extraction of knowledge from images. In addition to that, the International Image Interoperability Framework is chosen as a model to provide a standardized description of resources. The ultimate goal is to define a methodology for the promotion and valorization of cultural objects via the extraction and representation of the knowledge they contain. In particular, the aim put in place has a double purpose: the first one concerns the contextualization of convolutional neural networks to the domain of cultural heritage for the automatic recognition and extraction of elements of various genres. The second purpose regards the identification of modalities for the automatic definition of an IIIF Manifest model to provide a standardized description of cultural resources. The work is focused on the application of image classification and object detection techniques to recognize and extract informative elements from cultural resources. The information here extracted constitute an additional value from which to derive optimum benefit for describing resources in IIIF. This doctoral thesis begins with a general introduction to the cultural heritage domain analyzing the importance for societies and individuals. In particular, some considerations are placed inherent to the actual national digitization scenario, focusing on the activities carried out by the Italian Digital Library within the “Piano nazionale di digitalizzazione del patrimonio culturale”3. The central parts of the work regard the analysis circa IIIF and convolutional neural networks, defining their characteristics and current applications. Especially for what concerns the International Image Interoperability Framework, applications in LAM (Libraries, Archives, and Museums) domains are presented. Finally, the doctoral work focuses on the definition of a methodology for implementing an automatic process of knowledge extraction from images of the cultural heritage domain. The process implies the automatic realization of an IIIF model for making resources available with their informative content enriched with the elements extractable by convolutional neural networks. The discussion is placed at a theoretical level, defining the methodology, which refers to technologies, techniques, and tools that can enhance cultural resources under a descriptive plan. The process outlined here aims to promote cultural heritage through the knowledge contained in the images, opening up new challenges and opportunities for the entire community of actors involved in the cultural market. Capitalizing knowledge means taking advantage of the information elements in cultural heritage images. This operation allows, in a context that is increasingly focused on linked open data (LOD), the development of an informative base that can connect the various cultural sectors. Then, if properly managed information from each institution, be it archives, museums, or libraries, can be integrated to help enhance cultural heritage.