AEPL

AEPL-Bericht "Governance of AI" (Steuerung der KI)

Veröffentlicht am 15/06/2020

Für eine bessere europäische Governance der Künstlichen Intelligenz.

Die Europäische Union möchte :

  • Eine KI, die den Menschen und den Bürger in den Vordergrund stellt ;
  • Zuverlässige und damit vertrauenswürdige Technologien ;
  • Diese Technologien in den Dienst einer demokratischen Gesellschaft, einer dynamischen und nachhaltigen Wirtschaft und des ökologischen Wandels stellen.

Die AEPL steht voll und ganz hinter diesen Zielen. Die folgenden Vorschläge sollen dazu beitragen, sie zu verwirklichen.

Wir stützen seine Vorschläge auf drei Quellen, die das Funktionieren der Union begründen.

  • An allererster Stelle steht der Vertrag über die Arbeitsweise der Union, insbesondere die Artikel 8 (Beseitigung von Ungleichheiten), 9 (horizontale Sozialklausel), 10 (Bekämpfung von Diskriminierungen), 11 (Umweltschutz), 12 (Verbraucherschutz), 15, 1 und 3 (Grundsatz der offenen Regierungsführung), 16 (Schutz personenbezogener Daten).
  • Zweitens die Charta der sozialen Grundrechte, insbesondere die Artikel 8, 21, 31 (gerechte und billige Arbeitsbedingungen), 37, 38 und 42.
  • Schließlich ist der Europäische Grundstein für soziale Rechte, insbesondere sein Grundsatz 10.

Darüber hinaus fordert die AEPL die Kommission auf, die Vorschläge des EP zur KI umzusetzen, insbesondere die Empfehlungen in das Dokument des Europäischen Parlaments in Anhang 1.

Die Maßnahmen der EU zielen darauf ab, "den Einsatz von KI zu beschleunigen". Die Einführung von KI erfordert natürlich das Vertrauen der Nutzer. Wir finden mutatis mutandis die Logik der Maschinenrichtlinie (1989), die im Zusammenhang mit der Errichtung des Binnenmarktes verfasst wurde, um den freien Warenverkehr zuverlässiger zu gestalten.

So motiviert das Kriterium "vertrauenswürdig" eine Regulierungsinitiative, die auf Zuverlässigkeitsanforderungen beruht, um Risiken zum Schutz von Verbrauchern und Daten zu beherrschen. Das regulatorische Ziel scheint auf die großen Risiken von "Hochrisikosystemen der künstlichen Intelligenz" abzuzielen, die "klare Regeln" erfordern.

Die Beherrschung von Risiken, die Vertrauen in die Bürger schaffen, ist im aktuellen Kontext der Pandemie nicht gleichgültig. Der vorliegende Vorschlag betrifft eine der wichtigsten Funktionen des Staates: den Schutz der Bürgerinnen und Bürger, das Ergreifen von Maßnahmen und das Erkennen von Risiken. Pflege präventiv beim Inverkehrbringen und bei der Nutzung. Upstream ist die Konzeption; downstream ist nach dem Vorbild der DSGVO der Schutz      2insbesondere der grundlegenden öffentlichen Freiheiten.

Die Pandemie erinnert uns auf tragische Weise daran, dass dieser Schutz und diese Fürsorge so sehr mit hoheitlichen Aufgaben des Staates gleichgesetzt werden können, dass sie wesentliche Einschränkungen der demokratischen Freiheiten rechtfertigen. Es geht hier nicht darum, die Debatte über die Angemessenheit dieser Rechtfertigung zu entscheiden, aber es ist der richtige Ort, um daran zu erinnern, dass Schutz und Fürsorge zur vertikalen Ebene der res publicaDie Werte sind unbezahlbar und werden daher auf der horizontalen Ebene der Einzelinteressen durchgesetzt.i.

Durch die Auferlegung von Grenzen und Regeln für den horizontalen Handel gehört die Macht dem Rechtsstaat und nicht dem Gesetz des Stärkeren.

Die demokratische Qualität der Entscheidungsfindung und der Prozesse der Regelbildung, die Transparenz dieser Prozesse, die Unabhängigkeit der öffentlichen Behörden von Einzelinteressen, die Übereinstimmung von Taten mit Worten, Ankündigungen und Verpflichtungen - all dies sind Voraussetzungen, um das Vertrauen der Bürger zu weben.

In diesem Sinne übermittelt Ihnen die AEPL die folgenden Warnungen und Anregungen am Vorabend der Ausarbeitung des von der Union gewünschten Regelwerks.

   1. Politischer Mut: Man kann es nicht allen recht machen

Es wird für die europäischen Behörden nicht einfach sein, die Rechtsstaatlichkeit angesichts der von den Märkten und den KI-Oligarchien gewollten wirtschaftlichen De-facto-Zustände zu festigen.

Tatsächlich drängen wirtschaftliche Kräfte von allen Seiten darauf, so schnell wie möglich zum "business as usual" zurückzukehren und sogar öffentliche Schutzmaßnahmen - vor allem ökologische - im Namen der Wachstumsimperative vor die Klammer zu ziehen. So wird eine Verschiebung der Klimaziele für 2030 gefordert, die Idee der Kommission für einen Green Deal wird angegriffen, eine Reihe von Akteuren des digitalen Sektors verunglimpfen die DSGVO, die Industrie plädiert für eine Lockerung der nationalen Vorschriften usw. Die Kommission hat sich in den letzten Jahren immer wieder für eine Lockerung der nationalen Vorschriften ausgesprochen.ii

Mit anderen Worten: Um das Instrument an seinem Platz, nämlich auf der vertikalen Achse des öffentlichen Interesses, zu fixieren, bedarf es eines starken politischen Engagements.

  1. Platzierung des Geräts in den EU-Rechtsrahmen.

Die Lage der Einrichtung auf der vertikalen Achse von Schutz und Fürsorge erfordert die Annahme "harter" Normen - Richtlinie(n) - im Gegensatz zur Soft Law. In der Tat haben solche "weichen" Normen den Effekt, dass das System auf der horizontalen Achse der Einzelinteressen "heruntergezogen" wird, die bestenfalls moralisch durch gute Praktiken abgemildert werden, die freiwillig im Zeichen der sozialen Verantwortung der Unternehmen umgesetzt werden. Es geht hier nicht darum, die Ehrenhaftigkeit und die Bedeutung solcher Praktiken in Frage zu stellen, sondern darum, ihre Mängel in Bezug auf die Verallgemeinerung, die Durchsetzbarkeit und den Schutz der Privatsphäre hervorzuheben. 3 für den gesamten Sektor und der Nachhaltigkeit. Die Einhaltung bewährter Praktiken lässt nämlich Parteilichkeit und Sporadizität zu, die die von der Kommission erwartete Zuverlässigkeit und das Vertrauen nicht zulassen können.

Muss man an die schädlichen Auswirkungen der Soft LawWas ist zum Beispiel mit dem sozialen Dialog, der durch "freiwillige Vereinbarungen" gelähmt wurde, obwohl die Sozialpartner die Macht hatten, echte Tarifverträge zu schließen? Oder über die enttäuschenden Ergebnisse der offene Methode der Koordinierung die die Hoffnungen, die der Luxemburg-"Prozess" in Bezug auf die Beschäftigung eröffnet hatte, dämpfte?

Im Gegensatz dazu entfalten die mit Sanktionen bewehrten Verpflichtungen im Haushaltsbereich ihre volle Stärke.

Die Sicherheit von KI-Produkten erfordert umso solidere Regeln, als eine Tendenz zur Lockerung der Sicherheitsvorschriften zu beobachten ist, entweder in den Normen, die den Rahmen für die Betriebsgenehmigungen bildeniiioder unter Einhaltung der Präventionsvorschriften während der Produktion.iv. Diese Nachlässigkeit scheint im Widerspruch zu den wachsenden ökologischen und sicherheitspolitischen Forderungen der Bürger zu stehenv. Er veranschaulicht die Wirksamkeit von Lobbys und die präventive Nachlässigkeit in einer Reihe von Unternehmen.

  1. Die Strategie der Industrie: die Zeit beherrschen.

Die Industrie will in einer Welt, die den Zweck von Innovationen und ihre Auswirkungen auf das Gleichgewicht der Ökosysteme zunehmend in Frage stellt, die Kontrolle über die Art der Innovationen und das Tempo ihrer Vermarktung behalten.

  1. Notwendigkeit, das Vorsorgeprinzip zu verteidigen.

In dem oben erwähnten strategischen Kontext, auf Initiative des Europäischen RisikoforumsviDie Industrie hat eine Pseudo-Untersuchungsmethode entwickelt und versucht, die Regierung davon zu überzeugen, diese zu übernehmen. Innovationsprinzip (die sie kontrolliert), die mit dem Realen konkurriert Vorsorgeprinzip das einzige, das im Recht existiert. Dieses Pseudoprinzip der Innovation dient dazu, alle Arten von Verzögerungen, mehr oder weniger dauerhaften Abweichungen und Ausnahmen vom rechtlichen Inkrafttreten des Vorsorgeprinzips zu rechtfertigen. Das Ziel ist natürlich eine Anerkennung von mindestens de facto am besten de jure eines Innovationsprinzips, das das Vorsorgeprinzip und die Regulierung in Schach halten würde. Die AEPL akzeptiert solche Manöver nicht.

    5. Unterscheiden Sie zwischen Wissenschaft und Technowissenschaft.vii

In der gleichen strategischen Richtung stiften Sektoren regelmäßig Verwirrung zwischen wissenschaftlicher Grundlagenforschung und technologischer Innovation, zwischen Wissenschaft und Technowissenschaft. Im Namen dieser Vermischung sollten letztere die gleichen Garantien der Freiheit genießen (akademische Freiheit, wenn          4 kann man sagen) als die Grundlagenforschung. Dabei wird übersehen, dass die unentgeltliche Daseinsberechtigung, das Wissen voranzutreiben, und der gemeinnützige pädagogische Auftrag die Grundlagenforschung auf die vertikale Ebene des Allgemeininteresses stellen. Die technologische Innovation in der horizontalen Ebene der Marktbeziehungen muss sich hingegen in die Regeln des Allgemeininteresses einfügen.

Die Verwirrung wird natürlich durch die Unterinvestitionen in die akademische Forschung (in Belgien seit Ende der 1970er Jahre) und die Übernahme der finanziellen Verantwortung durch die Industrie geschürt.

  1. Aus den Erfahrungen in anderen Bereichen der technologischen Innovation lernen.

Insbesondere die Agrochemiebranche signalisiert eine sehr umfassende Typologie von Taktiken zur Zeitersparnis, Kontrolle und Ablenkung: Verzögerung der Umsetzung von VorschriftenviiiDie meisten Menschen, die sich mit dem Thema beschäftigen, haben keine Ahnung, was sie tun sollen, wenn sie nicht wissen, was sie tun sollen, wenn sie nicht wissen, was sie tun sollen, wenn sie nicht wissen, was sie tun sollen, wenn sie nicht wissen, was sie tun sollen, wenn sie nicht wissen, was sie tun sollen, wenn sie nicht wissen, was sie tun.ixSie können ihre eigenen Ergebnisse durchsetzen, Wissenschaftler aus öffentlichen Einrichtungen und Universitäten an sich binden und kontrollieren...

Selbst wenn das Ergebnis am Ende nicht das ist, was man sich von dieser oder jener Genehmigung erhofft hat, ermöglicht die gewonnene Zeit die Entwicklung anderer Produktionen, die ebenfalls die Möglichkeit haben, Wurzeln zu schlagen, bevor sie möglicherweise in einer mehr oder weniger fernen Zukunft wieder verworfen werden.

Das sogenannte "Prinzip" der Innovation erhält so seinen Sinn, damit die Industrie immer die Zeit im Griff hat. Denn ihr geht es nicht um die Langfristigkeit, sondern um die Abfolge der kurzen Begriffe auf der horizontalen Ebene der Märkte Innovationen eingeführt werden, die Gewinne abwerfen, bevor sie möglicherweise auf der vertikalen Ebene des öffentlichen Interesses verworfen werden. Das Prinzip der Innovation muss einfach jedes Mal dem Prinzip der Vorsorge vorangehen, was auch logisch ist, wenn beide Prinzipien gleichberechtigt nebeneinander stehen. Zu diesem Zweck möchte die Industrie, dass Innovation anerkannt wird grundsätzlich. In diesem Moment tritt der De-facto-Status an die Stelle des Rechtsstaats, zumindest für die notwendige Zeit der Profite. Die AEPL kann und will sich nicht an einem solchen Szenario beteiligen.

In diesem Zusammenhang weisen wir auf die perversen Auswirkungen von zwei EU-Verfahren hin, die im Bereich der KI nicht wiederholt werden dürfen.

PrimoIn der Agrochemie ist es das "Bestätigungsdatenverfahren", das die Marktzulassung mit der Auflage erteilt, dass der Hersteller die Sicherheitsdokumentation des Produkts in Zukunft vervollständigen muss.

SecundoDie Kommission ist der Ansicht, dass die Verhandlungen über denselben Gegenstand im Falle einer Meinungsverschiedenheit im Rat wiederholt werden sollten (Rat, Kommission, Parlament). Diese aufeinanderfolgenden Verfahren dienen nur dazu, auf das Zeitgewinnspiel der Industrie einzugehen und die Kommission in jeder Verhandlungsrunde dazu zu bringen, ihre Vorschläge für Schutzniveaus abzuschwächen, in der Hoffnung, im Rat eine Einigung zu erzielen.x. Es ist am             5 Das Parlament muss die Entscheidung treffen.

Schließlich kann man die Zertifizierung von Produkten, die ein bestimmtes Risikoniveau beinhalten, nicht dem Hersteller selbst anvertrauen: In diesem Fall ist die Zertifizierung der Konformität des Produkts mit den grundlegenden Sicherheitsanforderungen der Union durch Dritte erforderlich. Das Risikoniveau, die Qualifikation der Dritt-Zertifizierer und ihre Unabhängigkeit müssen Gegenstand einer breiten demokratischen Debatte sein.

"In Bezug auf KI-Anwendungen mit geringem Risiko erwägt die Kommission ein nicht verpflichtendes Kennzeichnungssystem, wenn sie höhere Standards anwenden." Dies würde zweifellos eine Selbstzertifizierung durch die Hersteller voraussetzen. Dieses Prinzip der Selbstzertifizierung würde eine ernsthafte kritische Prüfung im Hinblick auf seine Anwendung in den letzten dreißig Jahren verdienen.

  1. Anforderungen an Unabhängigkeit und Transparenz.

Die Bürgerinnen und Bürger der Union erwarten von den staatlichen Behörden Entschlossenheit im Kampf gegen Lobbys, Interessenkonflikte und AbsprachenxiDie Behörde muss sich gegen den Druck von Wirtschaftsakteuren auf Wissenschaftler wehren. Die EU-Behörde muss die Transparenz und Öffentlichkeit der Entscheidungsprozesse sicherstellen. Die Berufung auf das Geschäftsgeheimnis oder das geistige Eigentum ist zu billig, um die Undurchsichtigkeit insbesondere von Expertenstudien zu organisieren.xii. Öffentliche, vom Parlament überprüfte Verfahren müssen die Unabhängigkeit der mit den Bewertungen beauftragten Wissenschaftler gewährleisten.xiii.

Das Gericht der Europäischen Union hob seinerseits am 7. März 2019 eine Entscheidung der Europäischen Behörde für Lebensmittelsicherheit (EFSA) auf. Das Gericht entschied, dass die vertraulichen Studien zur Toxizität von Glyphosat veröffentlicht werden müssen, da das "Interesse der Öffentlichkeit am Zugang zu Informationen" in Umweltfragen über den kommerziellen Interessen stehe.xiv. Die AEPL ist der Ansicht, dass dieselbe Regel auch im Bereich der KI gilt.

Die Kommission erläutert ihre Absichten in Bezug auf KI und erklärt: "KI-Systeme sollten transparent und nachvollziehbar sein und gleichzeitig eine menschliche Kontrolle gewährleisten. Die Behörden sollten in der Lage sein, die von den Algorithmen verwendeten Daten zu testen und zu zertifizieren. Verzerrungsfreie Daten sind notwendig, um zu trainieren, dass Hochrisikosysteme richtig funktionieren, und um die Einhaltung von Grundrechten, insbesondere der Nichtdiskriminierung, zu gewährleisten."

Die Kommission stellt klar, dass ihre Regelung nicht für militärische Anwendungen gilt. Die AEPL erinnert jedoch daran, dass Technologieoligopole diesen Unterschied nicht machen. Das geht so weit, dass es die Arbeiter von Google waren, die vor kurzem die Durchlässigkeit zwischen zivilen und militärischen Anwendungen in Schach hielten. Diese Art von Verwirrung muss berücksichtigt werden, wenn es um Transparenz geht.

Andererseits setzen Oligopole astronomische und manchmal unappetitliche Mittel ein, um das Recht des Stärkeren durchzusetzen und auf der vertikalen Ebene der öffentlichen Behörden, die nur über

des Gesetzes zum Schutz der Bürgerinnen und Bürger.                                                                                 6

Über die Frage der Sicherheit und des Datenschutzes hinaus sollte das System auch das Bürgerrecht auf Transparenz der Funktionsweise von Algorithmen gewährleisten. Ein Recht auf digitales Wissen sollte die kritische Durchleuchtung, das Audit, wie Dominique Cardon es nennt, der Algorithmen ermöglichen.

  1. Silos aufbrechen und die Debatte auf andere Akteure ausweiten.

Ungeachtet der in den vorangegangenen Abschnitten genannten Schwierigkeiten ist eine Verschiebung der Machtverhältnisse zu beobachten, die insbesondere durch die wachsende Macht der Zivilgesellschaft, die Rechenschaft fordert, und den besorgniserregenden Rückgang des Vertrauens in traditionelle Institutionen, einschließlich privater Unternehmen, ausgelöst wird.xvi.

Die seit dem Rio-Gipfel 1992 diskutierte Notwendigkeit, unseren Lebensstil in Richtung Nachhaltigkeit zu überarbeiten, hat eine kleine, aber wachsende Zahl von Wirtschaftsakteuren, darunter viele Industrieunternehmen, dazu veranlasst, die von den Vereinten Nationen entwickelten Grundsätze der nachhaltigen Entwicklung in ihre Unternehmensstrategie zu integrieren.xvii.

Dies geschah auf unterschiedliche Weise, da die Grundsätze nicht direkt auf gewinnorientierte Akteure übertragbar sind. Eine dieser Maßnahmen bestand darin, den Begriff der verantwortungsbewussten Innovation eingehend zu untersuchen, insbesondere nach der Entscheidung der Europäischen Kommission, die sogenannten "Nachhaltigkeitskriterien" in die Richtlinie aufzunehmen. "Responsible Research and Innovation" (Verantwortungsvolle Forschung und Innovation) in das Programm Horizon2020 aufgenommen. Auf der Grundlage dieser Erfahrung wird das beigefügte Dokument Kommentare ausführlich zu den am 19. Februar 2020 veröffentlichten Dokumenten  zeigt den ganzen Reichtum der Debatte um diese großen Herausforderungen und ein anderes Verständnis für komplexe Realitäten, wenn erfahrene Akteure aus der Praxis hinzugezogen werden.

Schlussfolgerung.

Die AEPL stellt diese Debatte über die Sicherheit von Systemen in eine breitere reflexive Gelegenheit des Zwecks der technologischen Innovation im Sinne ihres Beitrags zum Wohlergehen und zum Fortschritt der Menschheit. Dieser Fortschritt muss auf ein Wachstum des Seins und nicht des Habens ausgerichtet sein, im Einklang mit den irdischen und sozialen Interdependenzen stehen und daher langfristig ausgerichtet sein. Daher ist die AEPL der Ansicht, dass diese Regulierungsinitiative in eine demokratische Dynamik über die wünschenswerte Natur von Innovationen eingebettet sein sollte.

Das Vorsorgeprinzip in Verbindung mit dem Verhältnismäßigkeitsprinzip ist sicherlich einer der Schlüssel für den richtigen Umgang mit einer Innovation, von der man sich wünscht, dass sie lebensfähig istxviii.

Zu diesem Zweck fordern wir die europäischen Behörden auf, mit einer breiten Palette von Akteuren vor Ort zusammenzuarbeiten und Brücken zwischen den verschiedenen Teilen der Gesellschaft zu bauen, mit Unternehmen, Staaten, der Zivilgesellschaft, Universitäten und mit Investoren, die nachhaltige Finanzwirtschaft betreiben.

Die AEPL fordert die europäischen Behörden auf, die Werkzeuge der KI zu mobilisieren, um die Green       7 Deal und zur Überbrückung von sozialen Brüchen. Enormer Bedarf besteht bei der Entwicklung der Fähigkeiten der Menschen, der Verbreitung von Wissen, der Kultur, der Pflege in all ihren Formen, der Entwicklung öffentlicher Dienstleistungen und dem Zugang aller zu diesen Dienstleistungen. Wenn die EU ihre technologische Unabhängigkeit erhöhen will, kann sie dies durch die Umsetzung eines Programms für gemeinsame Projekte und die Entwicklung von Instrumenten erreichen. ad hoc. Mit anderen Worten: die Werkzeuge für eine gemeinsame Intelligenz entwerfen.

Auf der Grundlage eines solchen demokratisch definierten Projekts stellen sich die ebenfalls demokratischen Fragen, welche Daten gesammelt werden sollen, von wem, zu welchem Zweck, welcher Verarbeitung unterworfen, für welchen Beitrag zur Debatte über gesellschaftliche Entscheidungen... Solche Daten und Metadaten würden dann als Gemeingut behandelt werden.

Juni 2020

  • Alain Supiot, Regieren mit Zahlen, 2015.
  • Zum Beispiel die Lobbyarbeit der französischen Arbeitgeber, Raphaëlle Besse Desmoulières, Jean-Michel Bezat, Cédric Pietralunga, Nabil Wakim, Klima: Arbeitgeber versuchen, die Normen zu beeinflussen, Die Welt22. April 2020.
  • Zum Beispiel für Frankreich: Service Planète, Die Welt, 9. Juni 2018, oder Stéphane Mandard, Lubrizol: Schwache Kontrollen an riskanten Standorten, Id.5. Oktober 2019.
  • Zum Beispiel Stéphane Mandard, Lubrizol: Ein vernichtender Bericht für die Zuliefererfirmen, Die Welt23. Oktober 2019.
  • So stellte der Europäische Rechnungshof 2018 in Bezug auf die Luftverschmutzung fest: "Die Gesundheit der europäischen Bürger ist nach wie vor unzureichend geschützt". Er empfahl der Kommission, Grenzwerte zu erlassen, die mehr " strengen " (Die Welt, 12. September 2018).
  • In diesem Fall das Europäische Risikoforum (European Risk Forum(ERF), einer Lobbying-Plattform für Unternehmen aus den Bereichen Chemie, Tabak und fossile Brennstoffe.
  • Zum Beispiel Jean-Marc Lévy-Leblond, Es gibt keine Garantie dafür, dass eine Zivilisation eine wissenschaftliche Aktivität aufrechterhältDas Gespräch wurde von David Larousserie geführt, Die Welt18. März 20.
  • Eine Verzögerung wie die im Prozess, der eigentlich die endokrinen Disruptoren regulieren sollte und der zur Verurteilung durch den Europäischen Gerichtshof geführt hat, diskreditiert die Kommission.
  • Um sich davon zu überzeugen, sollte man sich über die 25 Diskussionen zwischen Kommission und Mitgliedstaaten von 2013 bis 2019 über bienenkillende Neonicotinoide informieren. Siehe z. B, Die Welt, 22. Dezember 2018.
  • Siehe z. B. die Arbeit von Corporate Europe Observatory, die die Absprachen zwischen Lobbyisten und europäischen Entscheidungsträgern aufdeckt.
  • insbesondere das Papier von David Demortain, Soziologe am INRA im Interdisziplinären Laboratorium für Wissenschaft, Innovation und Gesellschaft, Die Welt, 07. Februar 2018.
  • Muss man an den Fall des deutschen BfR-Instituts erinnern, das - oft wortwörtlich - das Dossier kopierte 8 von der Industrie eingereichten Zulassungsantrags zur Bewertung von Glyphosat (vgl. Die Welt, 16. Januar 2019)?
  • Stéphane Horel, Glyphosat: Ein Sieg für die Transparenz, Die Welt10. und 11. März 2019.
  • die Mittel, die zur Verteidigung von Glyphosat eingesetzt werden (Stéphane Foucart und Stéphane Horel, Monsanto hat fast 1500 Menschen in Europa fichiert, Die Welt8. und 9. September 2019).
  • https://edelman.com/trustbarometer
  • https://www.wbcsd.org/Overview/NewsInsights/General/News/RealizingsystemsTransformationWBCSDembarkingonarefreshvonitslandmarkVision2050
  • https://www.greenfacts.org/pole3pdf, https://www.youtube.com/watch?v=PZmNZi8bon8

 ix Vgl. z. B. Stéphane Foucart, Trübe Verbindungen zwischen öffentlicher Forschung und Agrochemie, LM, 18. Juni 2018.

Nächste Nachricht :
AEPL-Bericht "Religion und die EU-Außenpolitik".

Veröffentlicht am 01/01/2021

de_DEDeutsch