Pengawas privasi Inggris telah memperingatkan terhadap penggunaan apa yang disebut teknologi “analisis emosi” untuk apa pun yang lebih serius daripada permainan pesta anak-anak, mengatakan ada risiko diskriminasi yang melekat pada penerapan teknologi biometrik “tidak dewasa” yang membuat klaim pseudoscientific tentang kemampuan mengenali orang. emosi menggunakan AI untuk menginterpretasikan input data biometrik.

Sistem AI semacam itu ‘berfungsi’, jika kita dapat menggunakan kata tersebut, dengan mengklaim dapat ‘membaca daun teh’ dari satu atau lebih sinyal biometrik, seperti detak jantung, gerakan mata, ekspresi wajah, kelembapan kulit, pelacakan gaya berjalan, nada vokal dll, dan melakukan deteksi emosi atau analisis sentimen untuk memprediksi bagaimana perasaan orang tersebut — mungkin setelah dilatih tentang kumpulan data visual wajah cemberut, wajah tersenyum dll (namun Anda dapat segera melihat masalah dengan mencoba menetapkan wajah individu ekspresi ke keadaan emosional absolut – karena tidak ada dua orang, dan seringkali tidak ada dua keadaan emosional, yang sama; maka halo ilmu semu!).

Wakil komisaris pengawas, Stephen Bonner, tampaknya setuju bahwa omong kosong teknologi tinggi ini harus dihentikan – mengatakan hari ini tidak ada bukti bahwa teknologi semacam itu benar-benar berfungsi seperti yang diklaim (atau akan pernah berhasil).

“Perkembangan di pasar biometrik dan emosi AI belum matang. Mereka mungkin belum bekerja, atau memang pernah, ”dia memperingatkan dalam sebuah pernyataan. “Meskipun ada peluang, risikonya saat ini lebih besar. Di ICO, kami khawatir bahwa analisis data yang salah dapat mengakibatkan asumsi dan penilaian tentang seseorang yang tidak akurat dan mengarah pada diskriminasi.

“Satu-satunya penyebaran biometrik yang berkelanjutan adalah yang berfungsi penuh, akuntabel, dan didukung oleh sains. Saat ini, kami belum melihat teknologi AI emosi berkembang dengan cara yang memenuhi persyaratan perlindungan data, dan memiliki pertanyaan yang lebih umum tentang proporsionalitas, keadilan, dan transparansi di bidang ini.”

Dalam sebuah posting blog yang menyertai tembakan Bonner di haluan biometrik yang cerdik, Kantor Komisi Informasi (ICO) mengatakan organisasi harus menilai risiko publik sebelum menggunakan teknologi semacam itu – dengan peringatan lebih lanjut bahwa mereka yang gagal bertindak secara bertanggung jawab dapat menghadapi penyelidikan. (Jadi bisa juga mempertaruhkan penalti.)

“ICO akan terus meneliti pasar, mengidentifikasi pemangku kepentingan yang ingin membuat atau menggunakan teknologi ini, dan menjelaskan pentingnya peningkatan privasi dan kepatuhan data, sambil mendorong kepercayaan dan keyakinan dalam cara kerja sistem ini,” tambah Bonner.

Pengawas memiliki panduan biometrik yang lebih lengkap yang akan datang pada musim semi – yang dikatakan hari ini akan menyoroti perlunya organisasi untuk memperhatikan keamanan data dengan benar – jadi peringatan Bonner menawarkan pencicip panduan yang lebih komprehensif yang akan datang dalam setengah tahun ke depan atau lebih .

“Organisasi yang tidak bertindak secara bertanggung jawab, menimbulkan risiko bagi orang yang rentan, atau gagal memenuhi harapan ICO akan diselidiki,” tambah pengawas itu.

Posting blognya memberikan beberapa contoh penggunaan biometrik yang berpotensi terkait — termasuk teknologi AI yang digunakan untuk memantau kesehatan fisik pekerja melalui penggunaan alat skrining yang dapat dikenakan; atau penggunaan metode visual dan perilaku seperti posisi tubuh, ucapan, gerakan mata dan kepala untuk mendaftarkan siswa untuk ujian.

“Analisis emosi bergantung pada pengumpulan, penyimpanan, dan pemrosesan berbagai data pribadi, termasuk respons perilaku atau emosional bawah sadar, dan dalam beberapa kasus, data kategori khusus. Penggunaan data semacam ini jauh lebih berisiko daripada teknologi biometrik tradisional yang digunakan untuk memverifikasi atau mengidentifikasi seseorang,” lanjutnya. “Ketidakmampuan algoritme yang tidak cukup dikembangkan untuk mendeteksi isyarat emosional, berarti ada risiko bias sistemik, ketidaktepatan, dan bahkan diskriminasi.”

Ini bukan pertama kalinya ICO memiliki kekhawatiran atas meningkatnya penggunaan teknologi biometrik. Tahun lalu, komisaris informasi saat itu, Elizabeth Denham, menerbitkan sebuah opini yang menyatakan keprihatinannya tentang apa yang dia ungkapkan sebagai potensi dampak “signifikan” dari penggunaan teknologi pengenalan wajah langsung (LFR) yang tidak tepat, sembrono, atau berlebihan — memperingatkan hal itu dapat menyebabkan ‘besarnya pengawasan gaya saudara dari publik.

Namun peringatan itu menyasar teknologi yang lebih spesifik (LFR). Dan Bonner dari ICO mengatakan kepada The Guardian bahwa ini adalah pertama kalinya regulator mengeluarkan peringatan menyeluruh tentang ketidakefektifan teknologi yang sama sekali baru — dengan alasan hal ini dibenarkan oleh kerugian yang dapat ditimbulkan jika perusahaan membuat keputusan yang berarti berdasarkan data yang tidak berarti, per laporan surat kabar itu.

Di mana regulasi biometriknya?

ICO mungkin merasa tergerak untuk melakukan intervensi yang lebih substansial di bidang ini karena anggota parlemen Inggris tidak proaktif dalam hal regulasi biometrik.

Tinjauan independen terhadap undang-undang Inggris di bidang ini, yang diterbitkan musim panas ini, menyimpulkan bahwa negara tersebut sangat membutuhkan undang-undang baru untuk mengatur penggunaan teknologi biometrik — dan meminta pemerintah untuk mengajukan undang-undang utama.

Namun pemerintah tampaknya tidak terlalu memedulikan desakan tersebut atau berbagai peringatan peraturan ini — dengan reformasi perlindungan data terencana, yang disajikan awal tahun ini, menghindari tindakan untuk meningkatkan transparansi algoritmik di seluruh sektor publik, misalnya, sementara — pada biometrik secara khusus – ia hanya menawarkan langkah-langkah sentuhan lembut yang bertujuan mengklarifikasi aturan tentang (khususnya) penggunaan data biometrik oleh polisi (mengambil tentang mengembangkan standar praktik terbaik dan kode etik). Sangat jauh dari kerangka komprehensif yang diminta oleh tinjauan hukum independen yang ditugaskan oleh lembaga penelitian Ada Lovelace.

Bagaimanapun, RUU reformasi data tetap terhenti setelah musim panas kekacauan politik dalam negeri yang telah menyebabkan dua pergantian perdana menteri secara berurutan. Pemikiran ulang legislatif juga diumumkan awal bulan ini oleh menteri luar negeri (masih menjabat) untuk masalah digital, Michelle Donelan — yang menggunakan pidato konferensi Partai Konservatif baru-baru ini untuk membidik Peraturan Perlindungan Data Umum (GDPR) UE, alias kerangka kerja yang diubah menjadi undang-undang Inggris pada tahun 2018. Dia mengatakan bahwa pemerintah akan “mengganti” GDPR dengan sistem perlindungan data Inggris yang dipesan lebih dahulu — tetapi memberikan sedikit detail yang berharga tentang apa sebenarnya yang akan menggantikan kerangka dasar tersebut.

GDPR mengatur pemrosesan data biometrik saat digunakan untuk mengidentifikasi individu — dan juga mencakup hak untuk meninjau manusia atas keputusan algoritmik substansial tertentu. Jadi jika pemerintah berniat merobek buku peraturan saat ini, hal itu menimbulkan pertanyaan tentang bagaimana — atau bahkan apakah — teknologi biometrik akan diatur di Inggris Raya di masa mendatang?

Dan itu membuat pernyataan publik ICO tentang risiko sistem AI biometrik pseudoscientific menjadi lebih penting. (Perlu dicatat juga bahwa regulator memeriksa nama keterlibatan Institut Ada Lovelace (yang menugaskan tinjauan hukum yang disebutkan di atas) dan British Youth Council yang katanya akan terlibat dalam proses dialog publik yang rencananya akan digunakan untuk membantu membentuknya. panduan biometrik ‘berpusat pada orang’ yang akan datang.)

“Mendukung bisnis dan organisasi pada tahap pengembangan produk dan layanan biometrik menanamkan pendekatan ‘privasi dengan desain’, sehingga mengurangi faktor risiko dan memastikan organisasi beroperasi dengan aman dan sesuai hukum,” tambah ICO, dalam apa yang dapat ditafsirkan sebagai agak tajam. komentar tentang prioritas kebijakan pemerintah.

Kekhawatiran regulator tentang teknologi analisis emosional juga bukan merupakan risiko akademis.

Misalnya, sebuah perusahaan yang berbasis di Manchester, Inggris bernama Silent Talker adalah salah satu entitas yang terlibat dalam konsorsium yang mengembangkan teknologi ‘detektor kebohongan AI’ yang sangat kontroversial — disebut iBorderCtrl — yang diajukan sebagai cara untuk mempercepat pemeriksaan imigrasi. jauh di tahun 2017. Ironisnya, proyek iBorderCtrl mengumpulkan dana Litbang UE, bahkan ketika para kritikus menuduh proyek penelitian mengotomatiskan diskriminasi.

Tidak jelas apa status teknologi ‘pendeteksi kebohongan AI’ yang mendasarinya sekarang. Perusahaan Manchester yang terlibat dalam proyek ‘bukti konsep’ – yang juga terkait dengan penelitian di Manchester Metropolitan University – dibubarkan musim panas ini, menurut catatan Companies House. Tetapi proyek iBorderCtrl juga dikritik atas dasar transparansi, dan telah menghadapi sejumlah tindakan kebebasan informasi yang berusaha membuka tutup proyek dan konsorsium di belakangnya – dengan, tampaknya, keberhasilan yang terbatas.

Dalam contoh lain, startup kesehatan Inggris, Babylon AI, mendemonstrasikan AI “pemindaian emosi” yang disematkan ke dalam platform telehealth pada presentasi tahun 2018 — mengatakan bahwa teknologi tersebut memindai ekspresi wajah secara real time untuk menghasilkan penilaian tentang perasaan dan perasaan orang tersebut. menyajikan bahwa untuk dokter untuk berpotensi bertindak.

CEO-nya Ali Parser mengatakan pada saat itu bahwa teknologi pemindaian emosi telah dibuat dan menyiratkan bahwa itu akan masuk ke pasar – namun perusahaan kemudian membantah klaim tersebut, dengan mengatakan bahwa AI hanya digunakan dalam pengujian dan pengembangan pra-pasar. telah diturunkan prioritasnya demi fitur bertenaga AI lainnya.

ICO pasti akan senang bahwa Babylon memikirkan kembali penggunaan AI untuk mengklaim perangkat lunaknya dapat melakukan pemindaian emosi jarak jauh.

Posting blognya selanjutnya mengutip contoh terkini lainnya di mana teknologi biometrik, secara lebih luas, digunakan — termasuk di bandara untuk merampingkan perjalanan penumpang; perusahaan keuangan yang menggunakan teknologi pengenalan wajah langsung untuk pemeriksaan ID jarak jauh; dan perusahaan menggunakan pengenalan suara untuk akses akun yang nyaman, daripada harus mengingat kata sandi.

Regulator tidak memberikan komentar khusus tentang kasus penggunaan yang dikutip tetapi tampaknya akan dipertahankan mencermati semua aplikasi biometrik mengingat potensi risiko tinggi terhadap privasi dan hak orang — meskipun perhatian paling khusus akan diarahkan pada penggunaan teknologi yang menyelipkan rantai mereka dan menyimpang ke dunia fiksi ilmiah.

Posting blog ICO mencatat bahwa tampilannya ke “biometrics futures” adalah bagian penting dari “fungsi pemindaian cakrawala” -nya. Yang mana teknokrat berbicara untuk ‘pengawasan jenis teknologi AI ini diprioritaskan karena cepat turun ke pipa pada kita semua’.

“Pekerjaan ini mengidentifikasi teknologi dan inovasi penting yang akan berdampak pada privasi dalam waktu dekat – tujuannya adalah untuk memastikan bahwa ICO siap menghadapi tantangan privasi yang dapat dibawa oleh teknologi transformatif dan memastikan inovasi yang bertanggung jawab didorong,” tambahnya.