John Warner ist Herausgeber, Speaker, Forscher, Berater und Autor von acht Büchern, darunter der Washington Post #1 Bestseller My First Presidentiary: A Scrapbook of George W. Bush, vor allem aber Why They Can’t Write: Killing the Five-Paragraph Essay and Other Necessities (Johns Hopkins UP) und The Writer’s Practice: Building Confidence in Your Nonfiction Writing (Penguin), das in Schreibkursen von der Mittelstufe bis zum College in den ganzen USA weit verbreitet ist. Mit 20 Jahren Erfahrung in der Hochschullehre und elf Jahren als Mitarbeiter von Inside Higher Ed hat sich John zu einem landesweit gefragten Experten mit Blick auf die Arbeit von Bildungsinstitutionen und Lehrpersonen sowie der Schreibpädagogik entwickelt. Er ist Mitinhaber von Eyler Warner & Associates, einer Beratungsfirma, die Pädagogen und Bildungseinrichtungen bei ihrer Entwicklung unterstützt. John ist außerdem wöchentlicher Kolumnist der Chicago Tribune, wo er über Bücher und Lesen schreibt, und hat einen zugehörigen Newsletter, The Biblioracle Recommends auf Substack. Ebenso ist er auf Twitter als @biblioracle zu finden.
Es kommt eher selten vor, dass jemand mit meinem speziellen Arbeitsprofil, Interessen sowie Fachwissen erlebt, wie sein Kerngeschäft zu einem landesweit heiß diskutierten Thema wird. Aber die Veröffentlichung der ChatGPT-Anwendung von OpenAI hat eine lebhafte Diskussion darüber ausgelöst, wie wir Schülerinnen und Schülern das Schreiben in der Schule beibringen. Und damit kenne ich mich aus.
Ich bin mir nie so richtig sicher, welche Schnittmenge es zwischen den unterschiedlichen Besucherinnen und Besuchern des John Warner „Schreibuniversums“ gibt. Aber während ich für die Leute auf meinem Blog „The Biblioracle“ der Buchempfehler bin, kennen mich viele andere als den Autor von Why They Can’t Write: Killing the Five-Paragraph Essay and Other Necessities, und The Writer’s Practice: Building Confidence in Your Nonfiction Writing oder als Blogger über Bildungsthemen bei Inside Higher Ed.
Ganz ohne Bescheidenheit und irgendwie zu meiner eigenen Überraschung bin ich ein Experte auf dem Gebiet des Schreibunterrichts geworden. Dieses Fachwissen entstand aus der Frustration heraus, die ich jahrelang bei Versuchen erlebte, Erstsemestern das Schreiben beizubringen, und feststellte, dass sie zunehmend verwirrt waren von dem, was ich von ihnen verlangte. Als gäbe es keinen roten Faden zwischen dem, was sie vor der Uni erlebt hatten, und dem, was von ihnen im Studium erwartet wurde.
Dabei handelte es sich um überdurchschnittlich gute Studierende an ausgewählten Universitäten (University of Illinois, Virginia Tech, Clemson), denen es nicht unbedingt an schriftlichen Kompetenzen mangelte, die aber gegenüber dem Schreiben eine sehr negative Einstellung zeigten.
Um es auf den Punkt zu bringen und nicht alles zu wiederholen, was ich in Why They Can’t Write behandle: Anstatt sich in einem authentischen Schreibanlass (Botschaft/Zielpublikum/Zweck) adäquat auszudrücken, produzierten sie Simulationen des Schreibens: Sie nutzten vorgeschriebene Regeln und Vorlagen (wie das five-paragraph essay-Format), die zwar in standardisierten Prüfungen zum Bestehen ausreichten, sie aber nicht auf die Anforderungen des akademischen Schreibens im Studiums vorbereiteten.
Mit meinen Büchern möchte ich die Art und Weise, wie wir das Schreiben unterrichten, auf systemischer und pädagogischer Ebene verändern. Was Lehrpersonen und Schulen von ihren Schülerinnen und Schülern fordern, ist nicht besonders großartig, aber diese Anforderungen sind stark mit den Systemen verknüpft, in denen Lehrpersonen zu viele Schülerinnen und Schüler unterrichten oder die Punktzahl in einer Prüfung wichtiger ist als das tatsächliche Lernen von Inhalten und Zusammenhängen. Wir müssen nicht nur hier und da verändern, wie und was wir unterrichten, sondern grundlegend auch die Umgebung, in der dieser Unterricht stattfindet.
Und es ist schwer zu erklären, wie nun schon Generationen von Schülerinnen und Schülern seit Jahren diese erschreckende Situation ausbaden müssen. Der untenstehende Tweet der Schriftstellerin Lauren Groff (Matrix), die beklagt, was die Schule mit der Einstellung ihres Sohnes zum Schreiben gemacht hat, ist ein nicht selten von Eltern sowie Schülerinnen und Schülern zu hörender Hilferuf.
Im Kern geht es um die Frage, wie wir das, was wir lesen und schreiben, wertschätzen. Und leider haben wir dem Schreiben von Schülerinnen und Schülern zahlreiche Werte zugeordnet, die sich weit von dem entfernt haben, was wir an den Texten, die wir lesen und schreiben, tatsächlich wertschätzen.
Zusammen mit vielen anderen habe ich seit Jahren lautstark auf diese Probleme hingewiesen, zu oft ohne jegliche Resonanz. Aber in den letzten Wochen sahen die Menschen, was ChatGPT erschaffen kann – und plötzlich wurden alle ganz aufmerksam.
Zunächst ist es wichtig ChatGPT zu verstehen – was ist das eigentlich und was kann es? ChatGPT ist ein Large Language Model (LLM), welches mithilfe von Datensätzen trainiert wird, um auf Fragen in natürlicher Sprache zu antworten. Der Algorithmus „weiß“ nichts. Wenn ChatGPT einen Auftrag (eng. prompt) erhält, stellt ChatGPT lediglich neue Muster auf Grundlage bereits bestehender Muster zusammen. Es ist nicht mit den Regeln der Grammatik vertraut. Es sortiert nicht und wertet den Inhalt nicht aus. Es „liest“ nicht, es schreibt nicht. Es ist im Grunde ein Schwätzer und Blender. Es erhält von uns als Nutzern eine Eingabeaufforderung und antwortet mit einer Reihe von Wörtern, die auf die Aufforderung passen können oder auch nicht, die aber in einer fließenden Syntax geschrieben sind.
Dieser Screenshot von der ChatGPT-Homepage gibt einen guten Überblick darüber, was ChatGPT laut OpenAI kann.
Über den zugrundeliegenden Algorithmus (GPT3) schrieb ich zum ersten Mal im März 2021 bei Inside Higher Ed. Damals wurde der Chatbot mit der Aufgabe konfrontiert, einige Schreibaufgaben auf Uni-Niveau zu beantworten. Sein Output wurde dann mit den Ergebnissen menschlicher Studierender verglichen, die dieselben Fragen beantworteten.
In drei der vier Fächer – Forschungsmethoden, US-amerikanische Geschichte und Recht – bestand die KI mit der Note 3 oder besser. Der beste Mensch schnitt in jeder Kategorie besser ab als die KI, aber in zwei Kategorien (Forschungsmethoden, Recht) schlug die KI einen oder mehrere der menschlichen Probanden.
Nur im Fach Kreatives Schreiben ging die KI baden.
Nun aber, im Jahr 2023, würde ihr das bei kreativen Schreibaufträgen nicht mehr passieren.
Oben neben dem lilafarbenen Symbol steht mein Auftrag. Darunter steht die Antwort von ChatGPT. Es dauerte etwa 60 Sekunden, bis der Text verarbeitet und fertiggestellt war.
Das Ergebnis ist nicht gerade gut, aber auch nicht schlecht. Es ist völlig in Ordnung, nicht unähnlich dem, was ein Student in einem Einführungskurs für kreatives Schreiben produzieren würde. Für eine Kurzgeschichte ist der Anfangssatz eher ungewöhnlich, aber aufmerksame Studierende, die den Text schnell überarbeiten, könnten den Satz herausnehmen und das Ergebnis somit verbessern. Im Grunde bestünde eine sinnvolle Redaktionsarbeit darin, jede Information zu streichen, die in meinem Schreibauftrag bereits auftaucht, und somit implizit zu erschließende Leerstellen für die Lesenden zu schaffen.
Das Seltsamste ist vielleicht die Wahl des Songs, denn die fröhliche Stimmung der Musik und der Text, in dem es um eine Frau geht, die ihrem Partner sagt, dass er sich nicht von anderen Mädchen verführen lassen soll, passen überhaupt nicht zum Kontext. Ein gutes Beispiel dafür, dass der Algorithmus der KI kein Gespür für Bedeutung und Kontext hat.
Der Passage fehlt es auch an einem Gefühl für den Ort und die Atmosphäre. Die Beschreibungen sind kalt und steril. Aber ich werde das mit einem zusätzlichen Prompt beheben.
Das ist schon nicht mehr ganz so schlecht. Es ist auch noch nicht gut, aber in einem Einführungskurs kann man nicht unbedingt nur Gutes erwarten. Trotzdem fehlt da etwas. Es fühlt sich eher unspezifisch an, stimmlos. Mal sehen, ob ich ihm ein bisschen auf die Sprünge helfen kann:
Wenn Sie Molly Ivins nicht kennen, sollten Sie dies dringend ändern, denn sie ist die beste Autorin von politischen Kommentaren in der Geschichte des Genres, und sie hat einen sehr markanten, ganz eigenen Schreibstil.
Aber das hier klingt eigentlich nicht so, als würde Molly Ivins über Politik schreiben. Dennoch reicht die Aufforderung aus, um der Prosa etwas Leben einzuhauchen. Zumindest einige unmittelbare Verbesserungen gegenüber der vorherigen Version lassen sich feststellen.
Vergleichen Sie diese beiden Sätze:
Eight grade student, Sarah sat on her bed in her room, staring at the ceiling as she thought about Billy, the cute boy in her class.
und
Eighth-grader Sara was holed up in her room, trying to puzzle out the meaning of life, or at least the meaning of Billy, the cute boy in her math class.
Letzterer ist eindeutig besser, lebendiger. „Holed up“ und „puzzled out“ sind häufig gewählte Metaphern, aber eindeutig besser als die konkrete Sprache des ersten Beispiels. Und der Satz über das „puzzle out … the meaning of Billy“ ist geradezu gut.
Und wissen Sie, wer mit mir einer Meinung bzgl. der besseren Erzählung ist? ChatGPT.
Wenn die KI so etwas beherrscht, dann stellen Sie sich vor, was sie aus einem vorgefertigten Arbeitsauftrag machen kann, der in einem literaturbasierten Englischunterricht an einer High School vorkommt, wie z. B. diese Aufgabe in einer Literaturprüfung zur Hochschulzugangsberechtigung: „In vielen fiktiven Werken haben Häuser eine symbolische Bedeutung. Bei solchen Häusern kann es sich um buchstäbliche Häuser oder um unkonventionelle Häuser (z. B. Hotels, Krankenhäuser, Klöster oder Boote) handeln. Wählen Sie ein belletristisches Werk aus, in dem ein buchstäbliches oder unkonventionelles Haus als bedeutsames Symbol dient. Analysieren Sie dann in einem gut geschriebenen Aufsatz, wie dieses Haus zur Interpretation des Werks als Ganzes beiträgt. Fassen Sie nicht nur die Handlung zusammen.“
Ich werde Sie mit der Antwort nicht langweilen, denn es lohnt sich nicht, sie zu lesen, aber sie würde ohne weiteres die Höchstpunktzahl 5 erhalten. Vor allem angesichts der Tatsache, dass die Bewertenden nicht darauf achten, ob der Inhalt der Antwort genau oder wahr ist.
Es lässt sich nicht genug betonen: ChatGPT erzeugt keine Bedeutung. Es arrangiert Wortmuster. Ich könnte es anweisen, in den erstellten Text eine Anomalie im Kontext der 1970er Jahre einzufügen – wie bspw. das Mädchen, das Billys Instagram-Account anschaut – und es würde sie in den Text einfügen, ohne einen Hinweis auf diese Anomalie zu geben. Die Anwendung erinnert an das alte Sprichwort, dass eine Million Affen nur lange genug auf eine Schreibmaschine einhämmern müssen, bis einer von ihnen durch Zufall die Werke von Shakespeare hervorbringt, mit dem Unterschied, dass ChatGPT auf einem Datensatz trainiert wurde, der eben jegliches Kauderwelsch eliminiert.
Viele beklagen, dass diese Technologie das Ende des Englischunterrichts in der High-School bedeutet – jenes Unterrichts also, in dem man ein paar Bücher liest und dann einige Pro-forma-Aufsätze schreibt, die zeigen, dass man die Bücher irgendwie gelesen hat, oder zumindest die Zusammenfassungen, oder dass man sich wenigstens die Zeit genommen hat, ein Online-Portal zu nutzen und sich den Aufsatz von anderen Usern zu besorgen, bei dem man ein paar Wörter geändert hat, um dem Plagiatsdetektor zu entgehen, oder dass man gleich jemanden beauftragt hat, den Aufsatz für einen zu schreiben.
Ich hoffe inständig, dass dies das Ende des Englischunterrichts an der High-School bedeutet, der in solchen Klagen beschrieben wird, denn diese Kurse verdienen es zu sterben, weil wir etwas Besseres in dieser Zeit machen können, wenn das eigentliche Ziel darin besteht, den Schülerinnen und Schülern beim Schreibenlernen zu helfen.
Aber jetzt, da diese Technologie in der Welt ist und weithin verfügbar sein wird, müssen wir darüber nachdenken, wie der Englischunterricht in Zukunft aussehen soll. Ich denke seit Jahren darüber nach und habe vielleicht einen Vorsprung vor anderen, aber ich möchte klarstellen, dass ChatGPT kein Problem geschaffen hat, das es nicht schon gab.
Es sollte sich lohnen, die Arbeit zu machen.
Diejenigen, die nun das Ende des Sprachenunterrichts herbeibeschwören, gehen davon aus, dass Schülerinnen und Schüler immer die erstbeste Möglichkeit wählen, Arbeit aus dem Weg zu gehen, sollte es die Möglichkeit dazu geben.
Was sagt diese Annahme über das aus, was wir den Schülerinnen und Schülern in der Schule abverlangen, wenn wir davon ausgehen, dass sie alles tun werden, um es zu vermeiden?
Die endgültige Erkenntnis, wo wir falsch abgebogen sind, kam mir, als ich vor einer Gruppe von Erstsemestern unseres Schreibkurses stand und eine hypothetische Situation vorstellte, in der ich ihnen allen Einser-Noten geben würde, aber die Klasse würde sich nie treffen, sie würden keine Aufgaben bekommen, sie würden kein Feedback oder Unterricht erhalten. Sie würden nichts lernen. Als ich das zum ersten Mal tat, sagten etwa 60-65% der Studierenden, dass sie diesen Deal annehmen würden.
Das war beunruhigend.
Das letzte Mal, als ich dies vorschlug, sechs oder sieben Jahre später, sagten 85%, dass sie das Angebot annehmen würden.
Das war verheerend.
Die Studierenden waren nicht faul oder dachten, dass ihnen etwas automatisch zustünde. Sie reagierten völlig rational auf die Anreize des Systems. Eine Eins, ohne etwas gelernt zu haben, war viel wertvoller als etwas zu lernen und dabei eine schlechtere Note als eine Eins zu riskieren.
Ich wollte den Schülerinnen und Schülern beweisen, dass sich das Schreiben lohnt, und entwickelte im Laufe der Jahre das Curriculum, welches in The Writer’s Practice zusammengefasst ist.
Die Erfahrungen in diesem Buch sind so konzipiert, dass sie sowohl intrinsisch interessant sind als auch ein Lernen ermöglichen, das für die Schüler sichtbar und für ihr Leben relevant ist. Meiner Erfahrung nach wollen Schülerinnen und Schüler tatsächlich etwas lernen, denn sie sind Menschen. Das Problem ist, dass die Schule aufgehört hat, ihre Menschlichkeit zu würdigen, und stattdessen durch „Schülerhaftigkeit“ ersetzt hat.
Der erste Schritt besteht darin, den Schülerinnen und Schülern etwas zu geben, das es wert ist, getan zu werden.
Schätze den Prozess mehr als das Produkt.
Es ist ein Fehler jetzt zu denken, dass wir die KI mit unseren Aufträgen austricksen könnten. Es gibt einiges, in dem die KI nicht gut ist – zum Beispiel erweist sie sich als schlechterer Dichter im Vergleich zu Steve Miller (der auch nicht gerade für die Qualität seiner Texte bekannt ist), wenn man der KI die Reimwörter aus dem Song The Joker gibt.
Aber für die typische Schulaufgabe liefert sie zuverlässig passable Ergebnisse.
Ich habe einige der wichtigsten Schreibaufträge, die ich in The Writer’s Practice verwende, getestet. Einige davon sind für sich genommen anfällig für ChatGPT, während es bei anderen sehr schwierig wäre, sie zum jetzigen Zeitpunkt überzeugend zu lösen. Aber aufgrund der Fortschritte im Bereich KI in den letzten Jahre, habe ich wenig Vertrauen, dass wir ChatGPT in seiner Fähigkeit, Blödsinn gut aussehen zu lassen, weit voraus sind.
Der Grund, warum ich zuversichtlich bin, dass meine Pädagogik nicht anfällig für ChatGPT ist, liegt darin, dass ich nicht nur das Endprodukt bewerte, sondern auch den Prozess, der nötig ist, um dorthin zu gelangen. Ich bitte die Schülerinnen und Schüler zu beschreiben, wie und warum sie bestimmte Dinge getan haben. Ich sammle die Entwürfe, die dem endgültigen Schreibprodukt vorausgehen.
Ich spreche mit den Schülerinnen und Schülern unter vier Augen über sich selbst und ihre Arbeit.
Wenn wir davon ausgehen, dass Schülerinnen und Schüler lernen wollen – und das tue ich -, sollten wir Interesse an ihrem Lernen und nicht an ihrer Leistung zeigen.
Leider hatte ich während des größten Teils meiner Laufbahn weder die Zeit noch die Mittel, um die höchsten Ziele meiner eigenen pädagogischen Haltung zu erreichen. Der National Council for Teachers of English (NCTE) in den USA empfiehlt, dass jeder Lehrer drei Gruppen mit jeweils höchstens fünfzehn Schülerinnen und Schülern unterrichtet, was einer Gesamtschülerzahl von 45 entspricht. Ich hatte nie weniger als 65 Studierende in einem Semester, und in einigen Semestern waren es sogar mehr als 150.
Lehrkräfte an weiterführenden Schulen arbeiten unter einer noch größeren Belastung und unter noch schwierigeren Umständen. Wenn das System die Lehrkräfte, die diese Arbeit leisten müssen, nicht unterstützt, können wir uns genauso gut von dem Algorithmus überwältigen lassen.
Schaffe die traditionelle Benotung ab, um das Niveau zu steigern.
Die KI erschafft keine herausragenden Arbeiten, vor allem nicht ohne die Art von Korrekturen, die ich oben beschreibe – Korrekturen, die ich nur vornehmen kann, weil ich ein vergleichsweise ausgefeiltes Verständnis vom Erzählhandwerk besitze und weiß, was ich der KI sagen muss. Ein Schüler, der Aufwand in der Schule vermeiden möchte, würde wahrscheinlich das erste akzeptieren, was die KI ihm anbietet, es einreichen und das Beste hoffen. Es ist ähnlich wie bei Plagiatoren, die sich leicht erwischen lassen. Sie sind nicht fleißig genug, um ihre Taten zu vertuschen.
Aber ein Teil des Problems besteht darin, dass wir – und hier schließe ich mich mit ein – darauf konditioniert wurden, oberflächliche Kompetenz (wie flüssige Prosa) mit einer Note wie 3+, 2- oder 2 zu belohnen. Wir müssen uns vielleicht daran gewöhnen, Pro-forma-Arbeiten, die nur zum Schein gemacht werden, nicht mit guten Noten zu belohnen, oder es könnte bedeuten, dass wir andere Kompetenzen finden müssen, auf die wir uns bei der Benotung konzentrieren.
Dieser Prozess der Abschaffung von Noten oder Schaffung alternativer Benotungsmodellen, der in den letzten Jahren erheblich an Dynamik gewonnen hat, stellt einen vielversprechenden Weg dar, die für Schülerinnen und Schüler sinnvollen und hilfreichen Lernzugänge herauszufinden. Denjenigen, die sich für diese Entwicklung interessieren, empfehle ich Susan Blums Sammelband Ungrading: Why Rating Students Undermines Learning (And What to Do Instead), natürlich auch, weil ich darin ein Kapitel über Wile E. Coyote als Held der Ungrader geschrieben habe.
Integriere die KI in deine Arbeit.
Da ich erst ein paar Tage damit herumgespielt habe, sind meine Gedanken noch verfrüht und vorläufig. Doch ich sehe das Potenzial, Aufgaben so zu gestalten, dass die Schülerinnen und Schüler ermutigt und befähigt werden, die KI in ihrer Arbeit zu nutzen. In seinem Substack interviewt Lincoln Michel die Autorin Chandler Klang Smith dazu, wie sie eine ähnliche Technologie, Sudowrite, bei der Erstellung ihrer Belletristik einsetzt. Die KI könnte als Werkzeug oder Spielzeug eingesetzt werden, um Lernerfahrungen zu ermöglichen.
Ich bin mir sicher, dass es Leute gibt, die mir darin weit voraus sind. Ich möchte diese Leute finden und mir anhören, was sie zu sagen haben.
Das Auftauchen dieser Technologie ist so schockierend, da sie uns zur Auseinandersetzung mit unseren Werten zwingt, anstatt den Status quo unhinterfragt weiterlaufen zu lassen. Das konnte ich schon nicht, als ich noch unterrichtete, denn die Art und Weise, wie sich die Schüler abmühten, gab mir das Gefühl, dass ich meine Arbeit schlecht machte, und ich wollte herausfinden, wie ich es besser machen konnte.
Es ist für uns (als Gesellschaft) möglich zu beschließen, dass junge Menschen nicht mehr schreiben lernen müssen, da wir über Technologien verfügen, die das für uns erledigen können.
Ich fände das aber sehr schade, denn eines der Dinge, die ich am Schreiben schätze, ist der Akt des Schreibens selbst. Es ist ein körperlicher Prozess, der mich mit meiner eigenen Menschlichkeit verbindet, indem er mich mit meinem Geist in Berührung bringt, so wie eine Wanderung durch den Wald mich mit meinem Körper in Berührung bringen kann. Schreiben ist für mich gleichzeitig Ausdruck und Erkundung.
In einem Artikel wie diesem ist das Schreiben der Ausdruck und die Erforschung einer Idee (oder einer Sammlung von Ideen). Nur durch das Schreiben kann ich vollständig verstehen, was ich denke.
In der Belletristik ist das Schreiben für mich der Ausdruck und die Erkundung des – in Ermangelung eines besseren Wortes – Lebens. Gegen Ende meines Romans The Funny Man sagt mein Erzähler: „Jeder hat eine Geschichte, und die besten sind die, die wir uns selbst erzählen.“ Das war ein kleines Easter Egg, eine versteckte Botschaft, die ich in den Text eingebaut habe, bevor ich eine Ahnung hatte, dass er eines Tages veröffentlicht werden würde, um mich daran zu erinnern, wie interessant es war, das Rätsel des Romanschreibens zu lösen. Es stammt zwar aus dem Mund meines Erzählers, aber der Gedanke ist von mir.
Schreiben lohnt sich. Schreiben ermutigt. Schreiben macht sogar Spaß. Als Menschen sind wir darauf programmiert, zu kommunizieren. Wir sind auch darauf programmiert, zu spielen. Unter den richtigen Umständen erlaubt uns das Schreiben, beides gleichzeitig zu tun.
Es ist keine unlösbare Aufgabe, diesen Erfahrungsraum für Schülerinnen und Schüler zugänglich zu machen. Wir wissen bereits viel darüber, was zu tun ist. Die Frage ist nur, ob wir uns dazu entschließen, es zu tun oder nicht.
Aus dem Englischen von Hauke Pölert & Hermann Dzingel in Zusammenarbeit mit einer KI
Gastbeitrag in Originalsprache
ChatGPT Can’t Kill Anything Worth Preserving
It’s not every week that someone with my particular employment profile and expertise has something they’re knowledgable about become a hot topic of national discussion, but the release of OpenAI’s, ChatGPT interface generated a sudden flurry of discussion about how we teach students to write in school, which is something I know a lot about.
I’m never sure how much overlap there is for the various audiences that consist of the John Warner Writer Experience Universe, but while to folks here I am, “The Biblioracle,” book recommender par excellence, to a whole other group I am the author of Why They Can’t Write: Killing the Five-Paragraph Essay and Other Necessities, and The Writer’s Practice: Building Confidence in Your Nonfiction Writing, and a blogger about education issues at Inside Higher Ed.
Modesty aside, and somewhat to my surprise, I have become an expert in how we teach writing. That expertise was birthed from the frustration I experienced in trying to teach writing to first-year college students over the years, and finding them increasingly disoriented by what I was asking them to do, as though there was no continuity between what they’d experienced prior to college, and what was expected of them in college.
These were well-above average students at selective schools (University of Illinois, Virginia Tech, Clemson), who did not necessarily lack writing skill, but had very negative attitudes towards writing. To cut to the chase, and to keep from repeating everything I cover in Why They Can’t Write, rather than having students wrestle with the demands of trying to express themselves inside a genuine rhetorical situation (message/audience/purpose), they were instead producing writing-related simulations, utilizing prescriptive rules and templates (like the five-paragraph essay format), which passed muster on standardized tests, but did not prepare them for the demands of writing in college contexts.
My books are a call to change how we approach teaching writing at both a systemic and pedagogical level. What teachers and schools ask students to do is not great, but that asking is bound up with the systems in which it happens, where teachers have too many students, or where grades or the score on an AP test are more important than actually learning stuff. It’s not just that we need to change how and what we teach. We have to fundamentally alter the spaces in which this teaching happens.
It is difficult to overstate how bad things have been for a couple of generations of students. This tweet from the writer Lauren Groff (Matrix), lamenting what school had done to her son’s attitudes towards writing is a not uncommon testimony I hear from parents and students alike.
Deep down, this is a question about what we value, in what we read, what we write, and unfortunately, we have attached a set of values to student writing that are disconnected from anything we actually value about what we read, and what we write.
Along with many others, I’ve been shouting about these problems for years, often into what felt like a void, but this past week, once people had a chance to see what the ChatGPT could produce, suddenly attention was being paid.
It’s important to understand what ChatGPT is, as well as what it can do. ChatGPT is a Large Language Model (LLM) that is trained on a set of data to respond to questions in natural language. The algorithm does not “know” anything. All it can do is assemble patterns according to other patterns it has seen when prompted by a request. It is not programmed with the rules of grammar. It does not sort, or evaluate the content. It does not “read”; it does not write. It is, at its core, a bullshitter. You give it a prompt and it responds with a bunch of words that may or may not be responsive and accurate to the prompt, but which will be written in fluent English syntax.
This snapshot from the ChatGPT homepage is a good overview of what OpenAI says ChatGPT can do.
I first wrote about the underlying algorithm (GPT3) at Inside Higher Ed back in March 2021, when it was put to the task of trying to answer some college-level writing assignments and then compared to the output of human students answering the same questions.
For three of the four subjects – research methods, U.S. history and law – the AI passed with a C or better grade. The top human scored better than the AI in each category, but in two categories (research methods, law), the AI beat one or more of the humans.
The subject it tanked was creative writing.
It would not tank creative writing anymore.
At the top next to the purple icon is my prompt. Below that is ChatGPT’s response. It took about 60 seconds for it to process and produce the text.
This is not good, exactly, but it also isn’t bad. It’s perfectly okay, not unlike the kind of thing that a student would produce in an introductory creative writing course. For a short story, that opening sentence is weird, but a clever student making a quick edit could excise it and improve the outcome immediately. In fact, a good overall editorial strategy would be to cut any line that’s explicitly in my prompt, so what remains is learned via inference. The weirdest part is perhaps the choice of song, as the upbeat spirit of the song and lyrics about a woman telling her partner not to be tempted by other girls doesn’t quite fit the scenario. It’s a good example of how the algorithm has no appreciation of meaning and context.
The passage also lacks a sense of place and atmosphere. The descriptions are sterile. I’m going to fix that with an additional prompt.
That’s actually starting to approach not bad. It’s not good, exactly, but in an introductory class, you don’t necessarily expect good. Still, it’s lacking something. It feels rather generic, voiceless. Let’s see if I can help it out a bit:
If you don’t know Molly Ivins, you should because she’s the best political commentary writer in the history of the genre, and she wrote in a very distinctive style.
This doesn’t actually sound like Molly Ivins writing about politics, but the prompt is enough to inject some spark of life into the prose. You can see a couple of immediate improvements over the previous version.
Compare these two sentences:
Eight grade student, Sarah sat on her bed in her room, staring at the ceiling as she thought about Billy, the cute boy in her class.
And
Eighth-grader Sara was holed up in her room, trying to puzzle out the meaning of life, or at least the meaning of Billy, the cute boy in her math class.
The latter is clearly better, more alive. “Holed up” and “puzzled out” are common phrasings, but clearly better than the generic language of the first example. And that line about puzzling out the “meaning of Billy” is downright good.
You know who agrees with me about which is the better narrative? ChatGPT.
If the AI can produce this, imagine what it can do with a canned prompt that you might commonly find in a literature-based high school English class, such as this one, from a sample AP Literature exam, “In many works of fiction, houses take on symbolic importance. Such houses may be literal houses or unconventional houses (e.g., hotels, hospitals, monasteries, or boats). Choose a work of fiction in which a literal or unconventional house serves as a significant symbol. Then, in a well-written essay, analyze how this house contributes to the interpretation of the work as a whole. Do not merely summarize the plot.”
I won’t bore you by pasting the answer, because it’s not worth your time to read it, but it would easily receive the maximum score a 5, particularly given the fact that the AP graders do not pay any attention to whether or not the content of the answer is accurate or true.
I cannot emphasize this enough: ChatGPT is not generating meaning. It is arranging word patterns. I could tell GPT to add in an anomaly for the 1970s – like the girl looking at Billy’s Instagram – and it would introduce it into the text without a comment about being anomalous. It is not entirely unlike the old saw about a million monkeys banging on a typewriter for along enough, that one of them would produce the works of Shakespeare through random chance, except this difference is, ChatGPT has been trained on a data set that eliminates all the gibberish.
Many are wailing that this technology spells “the end of high school English,” meaning those classes where you read some books and then write some pro forma essays that show you sort of read the books, or at least the Spark Notes, or at least took the time to go to Chegg or Course Hero and grab someone else’s essay, where you changed a few words to dodge the plagiarism detector, or that you hired someone to write the essay for you.
I sincerely hope that this is the end of the high school English courses that the lamentations are describing because these courses deserve to die, because we can do better than these courses if the actual objective of the courses is to help students learn to write.
But now that this technology is in the world, and will be widely available, we must think about what high school English should look like going forward. I’ve been thinking about these things for years, so I have a head start on others, but let me be clear ChatGPT has not created a problem that wasn’t already present.
Make the work worth doing.
One of the assumptions those who say this is the end of high school English make about students is that if students can find an end around doing the actual work of school, they will definitely take it.
What does it say about what we ask students to do in school that we assume they will do whatever they can to avoid it?
The final epiphany that cemented how wrong a turn we had made was the first time I stood in front of a class of first-year students on the second day of our writing course and I presented a hypothetical where I give them all A grades, but class would never meet, they would no no assignments, they would get no feedback or instruction. They would learn nothing. That first time I did it, about 60-65% of students said they’d take that deal.
Disturbing.
The last time I did it, six or seven years later, 85% said they’d take that deal.
Disastrous.
The students were not lazy or entitled. They were responding rationally to the incentives of the system. An A without learning anything was far more valuable than learning anything, and risking a grade lower than an A. School had nothing to do with learning, and writing courses especially were unlikely to be interesting or engaging.
Well, I set out to prove students wrong, that there was writing worth doing, and over the years developed the curriculum that is collected in The Writer’s Practice in order to try to prove that.
The experiences in the book are designed to be both intrinsically interesting, and to engender learning that is both visible to students and relevant to their lives. In my experience, students actually do want to learn stuff because students are people too. The problem is school has ceased to honor their humanity, instead substituting “student-ness.”
First step, et’s give students something worth doing.
Value the process, rather than the product.
It is a mistake to think we can out-prompt the AI. There are some things the AI is not good at yet – for example, it is an inferior lyricist to Steve Miller (not exactly known for the quality of his lyrics) when provided all the rhyming words from “The Joker.”
But for the typical school assignment, it reliably turns out passable results.
I’ve tested some of the core prompts that I use in The Writer’s Practice. In isolation, some are vulnerable to ChatGPT, while others would be very difficult for it to pull off convincingly at this time, but based on the progress I’ve seen, I have little confidence that we can stay ahead of its ability to bullshit.
But the reason why I’m confident my pedagogy is not vulnerable to ChatGPT is because I do not only grade the end product, but instead, value the process it takes to get there. I ask students to describe how and why they did certain things. I collect the work product that precedes the final document.
I talk to the students, one-on-one about themselves, about their work.
If we assume students want to learn – and I do – we should show our interest in their learning, rather than their performance.
Unfortunately, for the vast majority of my career, I did not have the time or resources necessary to fulfill the highest aims of my own pedagogy. The National Council for Teachers of English (NCTE) recommends each instructor teach three sections of a maximum of fifteen students each, for a total of 45 students. I never had fewer than 65 students in a semester, and some semesters had in excess of 150.
High school teachers are working under even greater burdens, and in more challenging circumstances. If the system will not support the teachers who must do the work, we may as well let ourselves be overwhelmed by the algorithm.
Raise the bar by getting rid of traditional grading.
The AI does not generate excellent work, particularly not without the kind of tweaking you see me doing above, tweaking which I can do because I possess a relatively sophisticated understanding of narrative craft and know what to tell the AI to do. A student doing an end run around school would likely accept the first thing the bot gives it, turn it in, and hope for the best. It’s similar to how plagiarists are easy to catch. They’re not diligent enough to cover up their perfidy.
But part of the problem is that we – and very much including myself here – have been conditioned to reward surface-level competence (like fluent prose) with a grade slike a C+, B-, or B. We may have to get used to not rewarding pro forma work that goes through the motions with passing grades, or it may mean finding other elements of the experience to focus on in terms of grading.
This process of “ungrading” or alternative grading has been gaining significant momentum in recent years, and I think it is a promising way of figuring out what is meaningful to students and what kinds of approaches help them learn. For those who are curious about this movement, I recommend Susan Blum’s edited collection, Ungrading: Why Rating Students Undermines Learning (And What to Do Instead), but then again, I would because I wrote a chapter in it on Wile E. Coyote as the hero of ungraders.
Incorporate the AI into the work.
Having played around with this stuff for only a few days, my thoughts are early and provisional, but I could see potential in crafting assignments that encourage and empower students to utilize the AI in their work. At his Substack,
Lincoln Michel interviewed the author Chandler Klang Smith, about how she uses a similar technology, Sudowrite, to help produce her fiction. The AI could be used as a tool, or a toy in a way that opens up experiences of learning.
I’m certain there’s people who are way ahead of me on how to do this well. I’ll be seeking them out and listening to what they have to say.
The reason the appearance of this tech is so shocking is because it forces us to confront what we value, rather than letting the status quo churn along unexamined. I couldn’t do that while I was teaching because the way students were struggling made me feel like I was doing a terrible job, and I wanted to figure out how to do better.
It’s possible that one of the things we (as in society collectively) will decide is that students don’t need to learn to write anymore, since we have technology that can do that for us.
I think this would be a shame because one of the things I value about writing, is the act of writing itself. It is an embodied process that connects me to my own humanity, by putting me in touch with my mind, the same way a vigorous hike through the woods can put me in touch with my body.
For me, writing is simultaneously expression and exploration.
In a piece like this, writing is the expression and exploration of an idea (or collection of ideas). It is only through the writing that I can fully understand what I think.
With fiction, for me, writing is the expression and exploration of for lack of a better word: life. Towards the end of my novel, The Funny Man, my narrator says, “Everyone’s got a story, and the best ones are those we tell ourselves.” That was a little Easter Egg I put in the text before I had any notion that it would one day be published as a reminder of how interesting it was to solve the puzzle of writing a novel. It is in the mouth of my narrator, but the sentiment is mine.
Writing is rewarding. Writing is empowering. Writing is even fun. As human, we are wired to communicate. We are also wired for “play.” Under the right circumstances, writing allows us to do both of these things at the same time.
It is not an impossible challenge to make this universe of experience accessible to students. We know much about what has to be done already.
It’s really a matter of whether or not we will decide to do it.
