Falin Mynd

REAL-TIME A/V INSTALLATION
2020

Falin Mynd

REAL-TIME A/V INSTALLATION
2020

Falin Mynd è un'installazione audiovisiva dedicata alla città di Milano che trae ispirazione dal concetto di immagine latente in ambito fotografico: un'impronta invisibile lasciata dalla luce sulla pellicola che viene rivelata solo dopo il suo sviluppo. In modo analogo i dati generati dagli abitanti della città di Milano e dai suoi visitatori generano paesaggi digitali astratti lasciando una traccia ottenuta della loro analisi ed interpretazione in tempo reale. In questo modo l’opera rende visibile l’indissolubile legame tra individuo e comunità mettendo in risalto come le due entità si influenzino vicendevolmente l’una con l’altra mutando la percezione della realtà che ci circonda fatta di luoghi, persone, colori e sensazioni. I dati costituiscono così un’immagine invisibile della città, una mappa di ciò che non è manifesto e che in Falin Mynd viene rivelato. 
Il progetto ha inaugurato il 20 luglio 2020 all’aeroporto di Malpensa all’interno del progetto 'Nice to MEET you', curato da MEET Digital Culture Center con il supporto di SEA.

EMOTION ANALYSIS
Lo sviluppo dell’installazione parte da una analisi di dati collegati alla città di Milano. In particolare si è preso in considerazione un layer di informazioni contenuto su Twitter in maniera similare a quanto esplorato in Amygdala.
Ogni ciclo vengono analizzati i tweet pubblicati nella città di Milano e ad ognuno di questi viene assegnato un valore emozionale, un indice di positività/negatività del contenuto ottenuto attraverso un'analisi semantica del testo e viene recuperata la geolocalizzazione dello stesso. I tweet analizzati vengono quindi organizzati per cluster e visualizzati sulla mappa generata in base alla posizione geolocalizzata e con colorazione derivante dal loro impatto emotivo.

tweet
In contemporanea viene utilizzato GDELT, un servizio che monitora le notizie pubblicate da media, agenzie stampa e giornali di tutto il mondo aggiornato in tempo reale, per filtrare le notizie provenienti dall’Italia e archiviare il valore emotivo a loro assegnato. La media dei valori rilevati diventa una sorta di rumore di fondo che va a deformare e modificare alcuni aspetti della generazione degli elementi visivi e sonori.

scheme FF
GENERATIVE MAP
Il cuore dell’installazione risiede in un sistema simulativo che genera una mappa della città in continua variazione. La sua realizzazione sfrutta una serie di algoritmi che cercano di imitare delle strutture emergenti e auto-organizzate presenti in alcuni sistemi biologici. In particolare formiche, termiti e alcuni tipi di funghi realizzano strutture estremamente complesse sulla base di elementari processi di comunicazione. La nostra idea ha coinvolto alcune di queste strategie per realizzare una struttura a network per la generazione di una mappa in continua evoluzione di Milano che partisse dalla struttura della città reale ma che allo stesso tempo avesse la libertà di poter cambiare, trasformarsi in base agli impulsi raccolti in un processo potenzialmente senza fine.

map2

Ai EMOTION INTERPRETATION
Ad ogni ciclo viene quindi selezionato un cluster localizzato sulla mappa e, in base alla sua posizione, viene innescata una esplorazione della città sfruttando una intelligenza artificiale allenata su migliaia di immagini della città di Milano. Il flusso di dati che viene utilizzato nella generazione della mappa e del luogo specifico diventa lo strumento per modificare la generazione di immagini artificiali. Questo nuovo strato nasce dalle foto scattate nella città e si trasforma in base allo stato emotivo presente.

imagery2
SOUNDTRACK
La componente sonora dell'opera è stata elaborata partendo dal concetto di crittografia musicale, la tecnica che permette di creare una sequenza di note codificando un contenuto non musicale, tipicamente un testo. I testi dei Tweet, convertiti in formato binario, creano sequenze numeriche che sono utilizzate come impulsi ritmici per innescare note musicali, ricavate anch’esse dalla conversione del testo. Queste strutture melodiche sono poi elaborate attraverso la tecnica compositiva contrappuntistica del canone. I suoni si intrecciano imitandosi progressivamente, creando flussi polifonici in continua trasformazione.


Latentscape Sound Graph FF2

Le note estratte dai tweet vengono ricavate partendo da accordi estesi oltre la forma di triade, seguendo temporalmente delle progressioni armoniche. I valori positivi e negativi rilasciati da GDELT vengono associati ad una scala maggiore o minore per esprimere una sensazione emotiva “globale”, sfruttando la natura espressiva data dalla struttura intervallare delle scale.
Tutta la parte di progettazione e programmazione è stata interamente realizzata con max/MSP e Javascript, in ultimo integrata all’interno di Ableton Live tramite M4L.


Produzione: fuse*
Direzione Artistica: Mattia Carretti, Luca Camellini
Concept: Mattia Carretti, Luca Camellini, Samuel Pietri, Riccardo Bazzoni
Software Artists: Luca Camellini, Samuel Pietri
Sound Design: Riccardo Bazzoni
Hardware Egineering: Matteo Mestucci
Prima Commessa: MEET Digital Culture Center