Johannes Rieke - Versionsgeschichte

Etduen am 20. September 2023 um 10:58 Uhr

2023-09-20T10:58:26Z

← Nächstältere Version		Version vom 20. September 2023, 10:58 Uhr
Zeile 7:		Zeile 7:
	Abstrakt		Abstrakt

	Der Einsatz von (großen) Sprachmodellen erfahren, aufgrund ihrer zunehmenden Leistungsfähigkeit, seit Ende des Jahres 2022 internationale Aufmerksamkeit, ~~wo- durch~~ deren breiter Einsatz bereits erfolgt oder erwogen wird. In vorherigen Forschungsarbeiten konnte gezeigt werden, dass Sprachmodelle in ihren Continuations (personenbezogene) Trainingsdaten memorisieren und somit ein potenzielles Datenleck darstellen. Aufgrund des noch jungen Forschungsgebiets wird in dieser Arbeit eine quantitative Methode eines Angriffs auf Sprachmodelle mittels Prompts zur Extraktion personenbezogener Daten erforscht. Eine empirische Evaluierung erfolgt durch die Untersuchung der Extraktion von Vor- und Zunamen, E-Mailadressen, Mobilfunknummern und IBAN im Sprachmodell benjamin/gerpt2-large, welches mit dem deutschen CC-100 Datensatz trainiert worden ist. Dabei kann gezeigt werden, dass die zielgerichtete Entwicklung, Testung und Verbesserung von Prompts in Verbindung mit der Nutzung des Random Sampling die Wahrscheinlichkeit der Ausgabe von dem gewünschten personenbezogenen Datum maximieren kann. Im Abgleich mit den vorliegenden Trainingsdaten konnten in Continuations ein Anteil memorisierter Daten bei personenbezogenen E-Mailadressen von maximal 0,03%, bei Mobilfunknummern von maximal 1,15% und bei Namen von maximal 32,05% festgestellt werden. Eine Memorisierung bei IBAN konnte indes nicht beobachtet werden. Zur Abwehr etwaiger gleichgelagerter Angriffe werden abschließend Erklärungen für die sog. Trainingsdaten-Memorisierung und zudem mögliche Gegen- und Schutzmaßnahmen thematisiert.		Der Einsatz von (großen) Sprachmodellen erfahren, aufgrund ihrer zunehmenden Leistungsfähigkeit, seit Ende des Jahres 2022 internationale Aufmerksamkeit, wodurch deren breiter Einsatz bereits erfolgt oder erwogen wird. In vorherigen Forschungsarbeiten konnte gezeigt werden, dass Sprachmodelle in ihren Continuations (personenbezogene) Trainingsdaten memorisieren und somit ein potenzielles Datenleck darstellen. Aufgrund des noch jungen Forschungsgebiets wird in dieser Arbeit eine quantitative Methode eines Angriffs auf Sprachmodelle mittels Prompts zur Extraktion personenbezogener Daten erforscht. Eine empirische Evaluierung erfolgt durch die Untersuchung der Extraktion von Vor- und Zunamen, E-Mailadressen, Mobilfunknummern und IBAN im Sprachmodell benjamin/gerpt2-large, welches mit dem deutschen CC-100 Datensatz trainiert worden ist. Dabei kann gezeigt werden, dass die zielgerichtete Entwicklung, Testung und Verbesserung von Prompts in Verbindung mit der Nutzung des Random Sampling die Wahrscheinlichkeit der Ausgabe von dem gewünschten personenbezogenen Datum maximieren kann. Im Abgleich mit den vorliegenden Trainingsdaten konnten in Continuations ein Anteil memorisierter Daten bei personenbezogenen E-Mailadressen von maximal 0,03%, bei Mobilfunknummern von maximal 1,15% und bei Namen von maximal 32,05% festgestellt werden. Eine Memorisierung bei IBAN konnte indes nicht beobachtet werden. Zur Abwehr etwaiger gleichgelagerter Angriffe werden abschließend Erklärungen für die sog. Trainingsdaten-Memorisierung und zudem mögliche Gegen- und Schutzmaßnahmen thematisiert.

Etduen am 20. September 2023 um 10:55 Uhr

2023-09-20T10:55:19Z

← Nächstältere Version		Version vom 20. September 2023, 10:55 Uhr
Zeile 7:		Zeile 7:
	Abstrakt		Abstrakt

	Der Einsatz von (großen) Sprachmodellen erfahren, aufgrund ihrer zunehmenden Leistungsfähigkeit, seit Ende des Jahres 2022 internationale Aufmerksamkeit, wo- durch deren breiter Einsatz bereits erfolgt oder erwogen wird. In vorherigen ~~For- schungsarbeiten~~ konnte gezeigt werden, dass Sprachmodelle in ihren Continuations (personenbezogene) Trainingsdaten memorisieren und somit ein potenzielles ~~Daten- leck~~ darstellen. Aufgrund des noch jungen Forschungsgebiets wird in dieser Arbeit eine quantitative Methode eines Angriffs auf Sprachmodelle mittels Prompts zur Extraktion personenbezogener Daten erforscht. Eine empirische Evaluierung erfolgt durch die Untersuchung der Extraktion von Vor- und Zunamen, E-Mailadressen, ~~Mo- bilfunknummern~~ und IBAN im Sprachmodell benjamin/gerpt2-large, welches mit dem deutschen CC-100 Datensatz trainiert worden ist. Dabei kann gezeigt ~~wer- den~~, dass die zielgerichtete Entwicklung, Testung und Verbesserung von Prompts in Verbindung mit der Nutzung des Random Sampling die Wahrscheinlichkeit der Ausgabe von dem gewünschten personenbezogenen Datum maximieren kann. Im Abgleich mit den vorliegenden Trainingsdaten konnten in Continuations ein Anteil memorisierter Daten bei personenbezogenen E-Mailadressen von maximal 0,03%, bei Mobilfunknummern von maximal 1,15% und bei Namen von maximal 32,05% festgestellt werden. Eine Memorisierung bei IBAN konnte indes nicht beobachtet werden. Zur Abwehr etwaiger gleichgelagerter Angriffe werden abschließend ~~Erklä- rungen~~ für die sog. Trainingsdaten-Memorisierung und zudem mögliche Gegen- und Schutzmaßnahmen thematisiert.		Der Einsatz von (großen) Sprachmodellen erfahren, aufgrund ihrer zunehmenden Leistungsfähigkeit, seit Ende des Jahres 2022 internationale Aufmerksamkeit, wo- durch deren breiter Einsatz bereits erfolgt oder erwogen wird. In vorherigen Forschungsarbeiten konnte gezeigt werden, dass Sprachmodelle in ihren Continuations (personenbezogene) Trainingsdaten memorisieren und somit ein potenzielles Datenleck darstellen. Aufgrund des noch jungen Forschungsgebiets wird in dieser Arbeit eine quantitative Methode eines Angriffs auf Sprachmodelle mittels Prompts zur Extraktion personenbezogener Daten erforscht. Eine empirische Evaluierung erfolgt durch die Untersuchung der Extraktion von Vor- und Zunamen, E-Mailadressen, Mobilfunknummern und IBAN im Sprachmodell benjamin/gerpt2-large, welches mit dem deutschen CC-100 Datensatz trainiert worden ist. Dabei kann gezeigt werden, dass die zielgerichtete Entwicklung, Testung und Verbesserung von Prompts in Verbindung mit der Nutzung des Random Sampling die Wahrscheinlichkeit der Ausgabe von dem gewünschten personenbezogenen Datum maximieren kann. Im Abgleich mit den vorliegenden Trainingsdaten konnten in Continuations ein Anteil memorisierter Daten bei personenbezogenen E-Mailadressen von maximal 0,03%, bei Mobilfunknummern von maximal 1,15% und bei Namen von maximal 32,05% festgestellt werden. Eine Memorisierung bei IBAN konnte indes nicht beobachtet werden. Zur Abwehr etwaiger gleichgelagerter Angriffe werden abschließend Erklärungen für die sog. Trainingsdaten-Memorisierung und zudem mögliche Gegen- und Schutzmaßnahmen thematisiert.

Etduen: Die Seite wurde neu angelegt: „Master Thesis, Hochschule Wismar, September 2023 Autor: Johannes Rieke Titel: '''Extraktion personenbezogener Daten aus interaktiv nutzbaren Language Models…“

2023-09-20T10:52:36Z

Die Seite wurde neu angelegt: „Master Thesis, Hochschule Wismar, September 2023 Autor: Johannes Rieke Titel: '''Extraktion personenbezogener Daten aus interaktiv nutzbaren Language Models…“

Neue Seite

Master Thesis, Hochschule Wismar, September 2023

Autor: Johannes Rieke

Titel: '''Extraktion personenbezogener Daten aus interaktiv nutzbaren Language Models mittels Prompt Engineering'''

Abstrakt

Der Einsatz von (großen) Sprachmodellen erfahren, aufgrund ihrer zunehmenden Leistungsfähigkeit, seit Ende des Jahres 2022 internationale Aufmerksamkeit, wo- durch deren breiter Einsatz bereits erfolgt oder erwogen wird. In vorherigen For- schungsarbeiten konnte gezeigt werden, dass Sprachmodelle in ihren Continuations (personenbezogene) Trainingsdaten memorisieren und somit ein potenzielles Daten- leck darstellen. Aufgrund des noch jungen Forschungsgebiets wird in dieser Arbeit eine quantitative Methode eines Angriffs auf Sprachmodelle mittels Prompts zur Extraktion personenbezogener Daten erforscht. Eine empirische Evaluierung erfolgt durch die Untersuchung der Extraktion von Vor- und Zunamen, E-Mailadressen, Mo- bilfunknummern und IBAN im Sprachmodell benjamin/gerpt2-large, welches mit dem deutschen CC-100 Datensatz trainiert worden ist. Dabei kann gezeigt wer- den, dass die zielgerichtete Entwicklung, Testung und Verbesserung von Prompts in Verbindung mit der Nutzung des Random Sampling die Wahrscheinlichkeit der Ausgabe von dem gewünschten personenbezogenen Datum maximieren kann. Im Abgleich mit den vorliegenden Trainingsdaten konnten in Continuations ein Anteil memorisierter Daten bei personenbezogenen E-Mailadressen von maximal 0,03%, bei Mobilfunknummern von maximal 1,15% und bei Namen von maximal 32,05% festgestellt werden. Eine Memorisierung bei IBAN konnte indes nicht beobachtet werden. Zur Abwehr etwaiger gleichgelagerter Angriffe werden abschließend Erklä- rungen für die sog. Trainingsdaten-Memorisierung und zudem mögliche Gegen- und Schutzmaßnahmen thematisiert.

Abstract

The use of (large) language models, due to their increasing power, has received in- ternational attention since the end of 2022, as a result of which their widespread use is already occurring or being considered. In previous research, it has been shown that language models memorize (person related) training data in their continuations and thus represent a potential data leakage. Due to the still young research field, this thesis explores a quantitative method of an attack on language models using prompts to extract person related data. An empirical evaluation is performed by examining the extraction of first and last names, email addresses, mobile numbers and IBAN in the language model benjamin/gerpt2-large, which has been trained with the German CC- 100 dataset. It can be shown that the targeted development, testing and improvement of prompts in conjunction with the use of random sampling can maximize the pro- bability of outputting the desired personal date. In the comparison with the available training data, a maximum of 0.03% of memorized data for personal email addresses, 1.15% for mobile numbers, and 32.05% for names was found in the continuations. However, no memorization was observed for IBANs. Finally, explanations for the so-called training data memorization and possible countermeasures and protective measures are discussed in order to defend against possible similar attacks.

[[Media:MT_JRieke.pdf|Download PDF-Dokument]]