Alexandra Przegalinska. Ethical implications of affective computing

12/10/17

Alexandra Przegalinska – PhD in philosophy of artificial intelligence, Assistant Professor at Kozminski University, currently Research Fellow at the Center for Collective Intelligence at Massachusetts Institute of Technology (MIT) in Boston. Recent visiting scholar at The New School for Social Research/ Brown University in New York City (2014).  In 2011 Aleksandra worked as the Chairman of Media Regulation Working Party at the Council of European Union in Brussels. As a William J. Fulbright Scholar Aleksandra also majored in Sociology at The New School for Social Research in New York (2012), where she participated in research on identity in virtual reality, with particular emphasis on Second Life. Current primary research interest include consequences of introducing artificial intelligence systems to people’s social and professional sphere as well as wearable technologies and human/bot interaction

Implicazioni etiche della informatizzazione delle emozioni

Un’innovazione nel campo delle neuro-tecnologie è quella dei neuro-marcatori di tracciato, dispositivi predisposti, come affermano i loro  progettisti,  non solo a misurare, ma anche a migliorare le prestazioni cognitive dell’utente. Sono state create maschere per la misurazione del sonno, come le NeuroOn e Remee, dei livelli di concentrazione, come la maschera Melon, oppure degli stati affettivi come la maschera Affectiva.

I braccialetti Muse, che hanno funzionalità simile, misurano i livelli di stress attraverso parametri elettroencefalografici, e, in combinazione con una specifica formazione dell’utente, consentono di isolare gli stimoli esterni, favorendo una maggiore  concentrazione  e riflessione. Attraverso studi simili a quelli utilizzati dai creatori di Melon, i progettisti del Muse hanno dimostrato che l’utente può verificare i risultati già dopo due mesi, a condizione che il dispositivo sia utilizzato almeno tre minuti al giorno.  La rilevazione dei diversi stati emotivi deve essere affiancata da un’elaborazione emotiva. E’ un ponte che collega le emozioni con il computer. Il sistema funziona principalmente perché il nostro cervello elabora le nostre emozioni caotiche cercando di organizzarle e dare senso al nostro mondo. In questo modo il nostro presente e futuro e di conseguenza il futuro complessivo della nostra civiltà risulta sempre più comprensibile sia per noi che per il macchinario.

Il termine “neurotracking” è stato coniato già nel 1995 da Rosalind Picard a MIT, ma sono passati due decenni prima che questi dispositivi potessero essere prodotti, commercializzati e ampiamente utilizzati. Oggi sono in grado di misurare le emozioni in diversi modi: attraverso l’analisi del testo, i parametri fisiologici, l’osservazione dei modelli di comportamento e delle espressioni facciali, e infine il riconoscimento delle variabili emotive attraverso le variazioni della voce o della postura (“linguaggio del corpo”).

Affidabilità

Dai pochi studi attualmente disponibili effettuati su rilevatori di uso (Rooksby et al., 2014), sappiamo che il loro utilizzo  varia: non sempre sono organizzati in maniera logica e molto spesso utilizzati in parallelo. Negli esperimenti con neuro-marcatori di tracciati si utilizzano almeno due dispositivi con la stessa funzionalità, che rilevino le due dimensioni, sociale e individuale. Inoltre ci sono varie ragioni e strategie per monitorare tra cui intenzionali (creare un effetto) e narrativo (documentare gli eventi). Inoltre ci si potrebbe chiedere se gli utenti di due o più tracciatori con funzionalità simili tendano a fidarsi sempre più di tali dispositivi e quanto la fiducia nelle prestazioni influenzi la scelta di strategie quando viene utilizzato il dispositivo. Un’altra domanda importante è se la fiducia costruita sulla base dei risultati ottenuti viene compromessa quando i risultati non soddisfano le aspettative dell’utente oppure mostrino un declino in corso.

Tuttavia, è ben visibile la tendenza a delegare il ruolo del professionista a un rilevatore esperto o alla comunità, affidandosi a una rete di dispositivo/utente  piuttosto che a un esperto del settore come medici, dietisti, formatori e manager. I dispositivi di monitoraggio, originariamente intesi a supporto dei professionisti, oggi tendono a sostituirli. Lo sviluppo e la professionalità dei tracciati (o anche neuro-tracciati) insieme con la fiducia in essi può essere correlato con la de-professionalizzazione di molte professioni, oltre che con l’aumento di sfiducia negli esperti e l’incremento di fiducia nelle procedure, in algoritmi semplificati e nelle macchine.

Questo dipende dal continuo uso di marcatori di tracciato? Oppure la fiducia nell’uso dei dispositivi automaticamente aumenta la fiducia negli altri? Quale aspetto sociale emergerà dal collocare la fiducia in macchinari e nei gruppi attorno ad essi, e quale cambiamento organizzativo si trascinerà dietro?

Se la quantificazione dei valori viene interpretata come una tendenza de professionalizzante o una manifestazione peculiare della burocrazia, la società perderà la fiducia nei suoi sostenitori e dispositivi? Infine, qual è l’impatto dell’autoanalisi sull’identità: chi è “io” se esiste un “centro di controllo” separato chiaramente dall’individuo.

Si noti che, a differenza dei tracciatori “tradizionali” le cui funzioni erano e sono abbastanza esplicite (ad es. Pedometri, monitor di frequenza cardiaca, ecc., e siti che gestiscono i dati derivati da essi), i neuro-tracciatori hanno una varietà di possibili applicazioni che non possono essere ridotte semplicemente alla misurazione delle prestazioni sportive o dello stato di salute. Hanno “insight” dell’attività mentale dell’utente, cosa che provoca un processo sociale interessante e sottovalutato, che è quello di spostare la fiducia nelle conoscenze professionali della macchina: i dispositivi guadagnano – agli occhi degli utenti – lo statuto di esperti. L’uso di questi tipi di dispositivi innovativi è stato progettato per misurare i non ancora misurabili stati privati della mente. È indubbiamente richiesto un maggior sforzo da parte dell’utente e, inoltre, genera altre conseguenze a fronte di un senso di “self-disponibile” ad esempio quali simbiosi con il dispositivo (e potenzialmente un senso di pericolosità) nonché problemi di controllo e autocontrollo, particolarmente in un contesto organizzativo, ma questi  rappresentano soltanto alcuni dei pericoli.

Vale la pena ricordare che anche nel contesto allargato della società civile la fiducia è legata a un senso di appartenenza (Sztompka e Bogunia-Borowska 2008). Mentre la fiducia sviluppata attraverso il senso di appartenenza è quella fiducia che deriva dal fatto che gli altri corrisponderanno alle nostre aspettative, la fiducia negli esperti è quella credenza per cui il destino ( nostro e degli altri) dipende in qualche misura da noi. Nel contesto dei neuro-marcatori di tracciato dobbiamo considerare che ad essere un “esperto fidato” non sarà più un essere umano, ma una macchina che mostra dati “oggettivi”, non passibili di dialogo e negoziazione. Un funzionamento di questo tipo produce solo una funzione di  controllo e non autonomia e questo riduce drasticamente i risultati  positivi. A questo va aggiunta una critica sensata che viene frequentemente mossa, e cioè che una costante attenzione al tracciato riduce la privacy che combinata con una qualche “azione correttiva” produce un mix pericoloso.

Efficacia

Vale la pena sottolineare che, nel caso dei tracciatori moderni, in particolare dei neuro-tracciatori, l’efficienza è principalmente intesa come prestazione.

Se guardiamo da questa prospettiva- tecnologicamente mediata e, soprattutto, tecnologicamente definita- siamo portati alla visione aziendale della rete di Castells, dove l’attività di monitoraggio sembra essere un altro passo nello stesso processo dì networking. Secondo Castells (2006), un nuovo paradigma di rete è l’impatto ubiquitario delle nuove tecnologie. Questo in maniera crescente e progressiva riguarda la società nel complesso di una informatizzazione globale,  lasciando sempre meno spazio alla scelta dell’individuo nel partecipare a questa trasformazione tecnologica. Castells (2006) definisce questo fattore come “logica di rete”. Poiché la tecnologia influenza sempre più la società nel suo complesso, l’informatizzazione progressiva della vita moderna pregiudica la nostra libertà di partecipazione a queste trasformazioni tecnologiche, limitando la volontà di scelta e sostituendola con quello che Castells (2006) definisce come “logica di rete”. I costi dipendenti da questa progressiva convergenza  crescono con l’aumento del numero di persone che utilizzano i nuovi dispositivi. Secondo Castells (2006, 2009), questa nuova forma di organizzazione aziendale è una controparte storica del Fordismo (produzione industriale) dove la produttività dipende dalla abilità nel produrre, elaborare e utilizzare in modo efficiente le informazioni.

Tuttavia si potrebbe affermare che se i risultati ottenuti vengano utilizzati per valutazioni di dipendenti, il tracciato  potrebbe essere utilizzato per migliorare la gestione delle risorse umane; Può essere utile per coloro che hanno bisogno di conoscere i propri patterns di efficienza, persino per  trovare un equilibrio tra lavoro e vita personale. L’uso della tecnologia può avere una dimensione emancipatoria, e non quella (2012) dei suoi ultimi lavori.

Conclusione

Una sempre maggiore interazione tra. uomo e macchina in ambito lavorativo sarà inevitabile. È importante poter prevedere, dunque, come evolverà.  Se il dispositivo utilizzato per tracciare l’affetto lo semplifica e riduce a pochi stati emotivi semplici, non sarà una fonte di conoscenza affidabile ma solamente di una conoscenza semplificata con un elevato potenziale di rischio di manipolazione. Un’elaborazione, condivisa e non mediata, dei dati rilevati dall’attività del cervello possono dare origine a preoccupazioni legittime su metodi di controllo, come l’ Orwelliano Grande Fratello, specialmente in contesti lavorativi gestionali in cui il dipendente sarà collocato in posizione ancora più subordinata. Per gli utenti gli effetti negativi della dipendenza dalla tecnologia di tracciamento sono stati segnalati nella “Sindrome di Benessere” (Cedestrom e Spicer, 2015), dove sotto l’apparente auto-cura in realtà si persegue una oppressione sistematica e bio-politica che realizza solo gli standard esterni dell’auto-cura (benessere). Questo aspetto può essere letto attraverso il prisma di una  rigorosa critica marxista. Nella prima parte di questo capitolo è già segnalato che i tracciati neurali possono essere intesi come un dispositivo di gestione del sé, o addirittura diventare un potenziatore del “sé”. Dipende da chi è proprietario dei mezzi di produzione del “sé” quale sarà lo scopo del loro utilizzo: lo scenario di massimizzare il rendimento del capitale, purtroppo, sembra più probabile dell’altra opzione positiva, quella cioè di massimizzare i benefici sociali.

Da ciò discende un altro problema, l’uso della tecnologia di tracciamento, soprattutto se non ha soltanto una funzione superficiale, per lo più poco comprensibile, una motivazione di reciproca utilità non è duratura né significativa. Il monitoraggio infatti può comportare una riduzione a breve termine delle abitudini nocive; pur tuttavia, questa non è duratura. Il tracciamento con un singolo dispositivo diventa rapidamente routinario, dopo un mese o un anno gli utenti iniziano a cercare un degno successore al proprio tracker che diviene obsoleto. I neuro-tracciatori possono essere diversi? Dovranno esplorare sempre più angoli della mente per mantenere il nostro interesse?

La visualizzazione rende disponibile e commercializza ogni area del cervello? E chi avrà accesso a questi dati? Ora sono stati compiuti sforzi per umanizzare i dispositivi di monitoraggio e rendere le loro interfacce più user-friendly. Se l’applicazione del neuro-tracciatore può essere un test delle tendenze creative per creare condizioni ad esse favorevoli, può portare molti effetti positivi sia all’organizzazione che ai suoi dipendenti.

Tenendo conto di tutti questi dubbi, credo che, piuttosto che demonizzare la tecnologia, si dovrebbe fare uno sforzo per discutere e riflettere sui suoi effetti benefici e dannosi. Attualmente, nel contesto dell’attività di monitoraggio, vale la pena considerare almeno due possibili variabili nell’ interpretazione prese in prestito dalla teoria dei sistemi del tecno-determinismo (Clark e Chalmers, 2010) e dalla teoria critica, senza dubbio coerente con una gestione basata su criteri umani . Il primo tratta il computer portatile come un’ulteriore estensione dell’”Io”, l’altro come strumento di oppressione al di fuori dell’ “Io” ma che ha le potenzialità del migliore degli utensili.

Ethical implications of affective computing

Neurotrackery is an innovation in the field of tracking activity. The creators and designers of this novel technology state that their devices are aimed not only at measuring, but also improving the cognitive performance of the body. Neurotracking includes masks for precise measurements of sleep, for example, the NeuroOn and Remee masks as well as levels of concentration, such as the Melon mask or affective states such as the Affectiva mask. Another device although similar in its functionality is the Muse wristband measuring with electroencephalography stress levels, which in combination with a special training plan allows learning how to cut off from external stimuli, better focus and meditate. Through studies similar to those used by Melon’s creators, the developers of the Muse found that the user would see results after two months of daily use, provided the device is used at least three minutes per day. Tracking the various emotional states must be associated with the emotional processing (affective computing). It is a bridge that connects the emotions and the computers. This works primarily because our brains process our swirling emotions trying to sort out and understand them and make sense of our world. In this way our present and future and thus the overall future of civilization becomes easier to understand both for ourselves and the machines.

The term “neurotracking” was coined in as early as 1995 by Rosalind Picard at MIT, but two decades passed before these types of devices became fully functional, commercialized, and widely used. Now we know that the devices can measure emotions in a variety of ways: through text analysis, physiological parameters, observed patterns of behaviour and facial expressions, and recognizing emotions in the voice or posture (“body language”).

Trust

From the few currently available studies on the use of trackers in everyday life (Rooksby et al., 2014), we know that the way they are used varies: the devices are not always logically organized, and very often operate in parallel.

In neurotracking, at least two devices with the same functionality are used, as tracking has both social and individual dimensions. In addition, there are a variety of strategies and reasons for tracking, including intentional, (to create an effect), and observational (to document events). Thus, it can be asked whether users of two or more trackers with similar functionality have increased trust in such devices, and how trust in performance affects the choice of strategies when using the devices. Another important question is whether trust built on the basis of the achieved results is undermined when results do not meet user expectations or show declines in progress.

However, the trend of delegating the social role of an expert tracker or tracking community by trusting a device/user community rather than an expert in the field such as doctors, dieticians, trainers, managers is quite visible here. Tracking devices were originally meant to complement professional services, but increasingly replaced such services. The development and professionalism of tracking (this term is also known as neurotrackery) and the increase in trust can be correlated with the deprofessionalization of many professions as well as the increase in generalized lack of trust in experts and by building trust in procedures, averaged algorithms, and machines. Finally, if confidence in experts is replaced by trust in devices perceived as experts and in communities that validate user actions, what role does self-confidence play? Does it depend on the continued use of the trackers? Does trust in one device increase trust in others? What social process emerges from the allocation of trust in devices and the communities around them, and what organizational changes are behind them? If the quantification of values is construed as a deprofessionalization trend or a peculiar manifestation of bureaucracy, will society lose trust in its supporters and devices? Lastly, what is the impact of self-analysis on the identity: who is “I” as there is a clearly separated “control centre” from the controlled individual?

Note that unlike “traditional” trackers whose functions were and are fairly explicit (e.g. pedometers, heart rate monitors, etc., and sites that manage data derived from them), neurotrackers have a variety of possible applications that cannot be reduced to only to measure the efforts of sport or health status. They have “insight” into the user’s mental activity, which results in interesting and underestimated social process of externalizing professional knowledge on the machine: devices gain – in the user’s eyes – the status of experts. The use of this type of innovative device is designed to measure the non-measurable yet private state of mind. It undoubtedly requires more effort from the user, but it also generates many other consequences in exchange for the sense of “self-availability”, symbiosis with the device (but potentially also a feeling of danger) as well as self-control and control issues, especially in the organizational context, are but a few.

It is worth mentioning that even in the context of civic participation, trust is linked to a sense of belonging (Sztompka and Bogunia-Borowska 2008). While trust developed via belonging is defined as the hope that others will meet our expectations, trust in experts gives us the belief that the fate (our own, but also that of others) depends to some extent on us. In the context of the neurotrackers it calls for serious thought to that connection because the “trusted expert” is not a human being but the machine showing “objective” data, and is not subject to dialogue and negotiation. This results in pure control and subordination that can radically reduce any positive gains. To this should be added that a commonly and reasonably cited criticism of the surveillance nature of tracking is the loss of individual privacy, which combined with “corrective action” can be a dangerous mix.

Effectiveness

It should be noted that in the case of modern trackers, especially neurotrackers, efficiency is primarily understood as performance. When viewed in this light – technologically mediated and, above all, technologically defined – we are lead to Castells’ network enterprise view, where tracking activity appears to be another step in the same process of networking. According to Castells (2006), an element of the new network paradigm is the ubiquitous nature of the impact of new technologies. It increasingly affects society as a whole and the progressive computerization processes in the next spheres of life leave less and less space for the choice of willingness to participate in this conditional transformation technology. Castells (2006) defines this factor as “network logic”. Technology increasingly affects society as a whole; the progressive computerization of modern life impinges upon our ability to choose to participate in this conditional, transformative technology, limiting free-will and replacing it with what Castells (2006) defines as “network logic”. The costs of relying on values obtained as a result of this progressive cross-linking grow with the increase in the number of people using new devices. According to Castells (2006, 2009), this new form of business organization is a historical counterpart to Fordism (industrial production) and productivity depends on the ability to produce, process, and use knowledge-based information efficiently. However, the efficiency can also be understood as effectiveness. . It should be noted that if the values obtained are used for employee assessments, tracking could be used to better meet the demands of human resource management; it may be helpful for those who need to know about their own patterns of efficiency at least from the point of view of finding a balance between work and personal life..The use of technology can have an emancipatory dimension, not a compelling one as Castells (2012) mentions in his latest works.

Conclusion

Further interaction between a man and a machine in the professional landscape seems inevitable. It is important, however, to know how it will proceed. If the device used to monitor the affect simplifies and reduces this affect to a few simple emotional states, it will not be a reliable source of knowledge but that of simplified knowledge with a high potential for manipulation. Processing and sharing data directly from brain activity can also give rise to legitimate concerns about Orwellian Big Brother control methods, especially in the organizational context where the employee will be placed in even less privileged position. The negative effects of addiction to the wearable tracking technology in this dimension are already signalled in The Wellness Syndrome (Cedestrom and Spicer, 2015), where under the guise of self-care lies a systematic, bio-political oppression that implements the standards of external dimensions of self-care (wellness). This argument can be read through the prism of criticism in the spirit of strict Marx. In the first part of this chapter, it is already mentioned that neurotrackery can be understood as a management device of the self, or even become a producer of the “self”. Depending on who owns the means of production of the “self”, the purpose of their use will change: the scenario of maximizing the return on capital, unfortunately, appears to be more likely than the positive option: maximizing the social benefits. It turns out that another problem is the use of the tracking technology, especially if it is not only a superficial, poorly understood demonstration because the resulting imposed motivation to care for each other will not be lasting and meaningful. Tracking may result in a short-term reduction of harmful habits; however, this is not often long-lasting. Measuring with a single device quickly becomes routine, and after a month or a year users start searching for a worthy successor to their existing Tracker that is thrown away after being worn out. Will neurotrackers be different? Will they have to explore more and more corners of the mind to maintain our interest?

Does visualization make available and commercialise each area of the brain? And who will have access to this data? Now visible efforts are being made to humanize tracking devices and make their interfaces more user-friendly. If the application of neurotracking can be a test of creative trends to create favourable conditions for it, then it can bring many positive effects to both the organization and its employees.

Taking into account all these doubts, I believe that rather than demonizing the technology, one should make an effort for debate and reflection on its beneficial and harmful effects. Currently, in the context of the tracking activity, it is clearly worth considering at least two possible attitudes of interpretation: borrowed in the system theory of technodeterminism (Clark and Chalmers, 2010) and the discourse of critical theory, which humanities-based management is undoubtedly consistent with. If the first one treats the wearable computing as another extension of “I”, another one – as the tool of oppression external to “I” but potentially the tool system as well.