Voivatko AI-ilmaisimet pelastaa meidät ChatGPT:ltä? Kokeilin 3 online-työkalua selvittääkseni

Tämä on toinen artikkeli sarjasta, josta on tulossa tekoälyn luoman tekstin ongelmia.

Tässä osassa tarkastelemme tekoälyystäväni kanssa kysymystä siitä, onko mahdollista taistella tekoälyn tuottamaa plagiointia vastaan ja miten se voisi toimia.

Myös: Mikä on ChatGPT ja miksi sillä on merkitystä? Tässä on mitä sinun on tiedettävä

Ennen kuin jatkan, meidän on kuitenkin puhuttava plagioinnin käsitteestä ja siitä, miten se liittyy tähän ongelmaan. Webster's määrittelee "plagioinnin" "varastamiseksi ja välittämiseksi (toisen ideat tai sanat) omaksi: käyttää (toisen tuotantoa) lähteen mainitsematta".

Tämä sopii tekoälyn luomaan sisältöön. Vaikka joku, joka käyttää tekoälytyökalua, kuten Notion AI tai ChatGPT, ei varasta sisältöä, mutta jos kyseinen henkilö ei mainitse sanoja tekoälyltä peräisin olevina ja väitä niitä omikseen, se täyttää edelleen plagioinnin sanakirjan määritelmän.

ZDNET suosittelee

Parhaat AI-chatbotit: ChatGPT ja muita mielenkiintoisia vaihtoehtoja kokeiltavaksi

AI chatbotit ja kirjoittajat voivat auttaa keventämään työtaakkaasi kirjoittamalla sähköposteja ja esseitä ja jopa laskemalla. He käyttävät tekoälyä luodakseen tekstiä tai vastatakseen kyselyihin käyttäjän syötteen perusteella. ChatGPT on yksi suosittu esimerkki, mutta on muitakin huomionarvoisia chatbotteja.

Lue nyt

Tässä kokeellisessa artikkelissa olen pyytänyt ChatGPT:tä auttamaan. Sanani ovat tavallisella ja lihavoitulla tekstillä. Tekoälyn sanat on kursivoitu. Käytän myös kolmea verkossa toimivaa ChatGPT-plagiaatinilmaisinta (jota kuvailen tarkemmin alla). Jokaisen tekoälyn luoman osan jälkeen näytän ilmaisimien tulokset. Artikkelin lopussa tarkastellaan, kuinka hyvin ilmaisimet toimivat yleisesti.

Tässä on tulos yllä olevasta tekstistä, jonka kirjoitin itse:

• GPT-2-lähtöilmaisin: 99,98 % todellinen
• Writer AI Content Detector: 100 % ihmisen luoma sisältö. Fantastinen!
• Sisällön mittakaavassa AI Content Detection: 100 % ihmissisällön pisteet. Näyttää hyvältä!

Aloitetaan tällä.

Selitä, miksi ChatGPT voi olla todellinen ongelma opettajille ja toimittajille plagioinnin suhteen

ChatGPT on muunnos OpenAI:n kehittämästä GPT (Generative Pre-trained Transformer) kielimallista. Se on suunniteltu luomaan ihmisen kaltaista tekstiä ennustamalla seuraavan sanan tai lauseen tietyssä syöttösekvenssissä. Vaikka ChatGPT voi olla hyödyllinen työkalu tekstin luomiseen ja kehotteisiin vastaamiseen, se voi olla myös ongelma opettajille ja toimittajille plagioinnin suhteen.

Yksi tärkeimmistä syistä, miksi ChatGPT voi olla ongelma opettajille ja toimittajille, on se, että se voi luoda tekstiä, joka on hyvin samanlaista kuin todelliset ihmiskirjoittajat. Tämä tarkoittaa, että opiskelijat tai muut henkilöt voivat mahdollisesti käyttää ChatGPT:tä tekstin luomiseen, jonka he voivat sitten lähettää omaksi työkseen ja siten plagioida.

Myös: Voiko Notion AI kirjoitusapu kirjoittaa tämän artikkelin?

Opettajille ja toimittajille voi olla erittäin vaikeaa havaita, onko tietty teksti ChatGPT:n luoma vai ihmisen kirjoittama, koska luodussa tekstissä ei välttämättä ole ilmeisiä virheitä tai eroja, jotka paljastaisivat sen keinotekoisen alkuperän. Tämä voi vaikeuttaa opettajien ja toimittajien kykyä tunnistaa ja estää plagiointia, koska he eivät välttämättä pysty kertomaan, onko tietty teksti alkuperäinen vai kopioitu toisesta lähteestä.

Kaiken kaikkiaan ChatGPT ja muut vastaavat kielimallit voivat olla ongelma opettajille ja toimittajille plagioinnin suhteen, koska ne voivat luoda tekstiä, jota on vaikea erottaa ihmisten kirjoittamasta, mikä helpottaa opiskelijoiden ja muiden henkilöiden plagiointia ilman, että havaittu.

• GPT-2-lähtöilmaisin: 99,69 % todellinen
• Writer AI Content Detector: 97 % ihmisen luomasta sisällöstä. Fantastinen!
• Sisällön mittakaavassa AI Content Detection: 87 % ihmissisällöstä. Hyvältä näyttää!

Muista, että kursiivilla näkyvä teksti on tekoälyn luoma.

Näytä minulle ainakin kolme tapaa, joilla voin havaita, että ChatGPT:tä käytettiin tekstin tuottamiseen

On useita tapoja, joilla voit mahdollisesti havaita, käytettiinkö ChatGPT:tä tai muuta kielimallia tekstin tuottamiseen. Tässä on kolme mahdollista lähestymistapaa, joita voit käyttää:

1. Etsi tekstistä toistuvia tai epätavallisia kuvioita: Yksi tapa havaita, käytettiinkö kielimallia tekstin luomiseen, on etsiä toistuvia tai epätavallisia kuvioita kirjoituksesta. Kielimallit voivat esimerkiksi toistaa tiettyjä lauseita tai sanayhdistelmiä tai käyttää epätavallisia tai epäjohdonmukaisia lauserakenteita.
2. Tarkista omaperäisyyden puute: Toinen tapa havaita, käytettiinkö tekstin luomiseen kielimallia, on tarkistaa, ettei kirjoituksessa ole omaperäisyyttä. Jos tekstinpätkä näyttää olevan kopioitu toisesta lähteestä tai se sisältää tietoa, joka on laajalti saatavilla Internetissä tai muista lähteistä, se voi olla merkki siitä, että se on luotu kielimallilla.
3. Käytä plagiointitarkistusta: Lopuksi voit käyttää plagiointitarkistusta tarkistaaksesi, näyttääkö teksti olevan kopioitu toisesta lähteestä. Vaikka plagioinnin tarkistusohjelma ei välttämättä pysty lopullisesti määrittämään, käytettiinkö tekstin luomiseen kielimallia, se voi auttaa sinua tunnistamaan tapauksia, joissa kopiointi tai sanamuoto on muutettu muista lähteistä.
4. Huomaa, kun vastaus on ilmeisen väärä: Puhuin tästä Notion AI -arvostelussani, jossa korostin tekstiä, jonka tekoäly kirjoitti näennäisesti auktoriteetilla, mutta joka oli räikeän väärin. Jos opiskelija tai kirjoittaja ei hallitse täysin keskusteltavaa aihetta, hän ei välttämättä huomaa epätarkkuuksia vaan jättää ne tekoälyn luomaan vastaukseen. Väärät lausunnot eivät tietenkään ole vain tekoälyn kirjoitustyökalun toimivalta. Monet bloggaajat ja kommentoijat esimerkiksi yksinkertaisesti toistavat muiden bloggaajien lausuntoja ja luovat täysin "väärien faktojen" kaikukammion, mikä osoittaa, että vaikka älykkyys voi olla keinotekoista, tyhmyys on universaali piirre.

Muista, että voi olla vaikeaa määrittää lopullisesti, käytettiinkö tekstin luomiseen kielimallia, eivätkä nämä menetelmät välttämättä aina ole tehokkaita. Ne voivat kuitenkin olla hyödyllisiä työkaluja, joiden avulla voit tunnistaa mahdolliset kielimallin luoman tekstin esiintymät.

Tässä testisarjassa vain yllä oleva kursivoitu sisältö ajettiin tarkistuspaketin läpi.

• GPT-2-lähtöilmaisin: 99,98 % väärennös
• Writer AI Content Detector: [ ei tulosta ]
• Sisällön mittakaavassa AI Content Detection: 0 % ihmissisällöstä. Ilmeisesti AI

Luettele kolme plagiointitarkistusta, jotka voivat havaita ChatGPT-tekstin

Innovaatio

• Kokeilin Apple Vision Prota ja se on paljon odotettuani edellä
• Tämä pieni satelliittikommunikaattori on täynnä ominaisuuksia ja mielenrauhaa
• Kuinka käyttää ChatGPT:tä: Kaikki mitä sinun tarvitsee tietää
• Nämä ovat 5 suosikki tekoälytyökaluani työhön

On syytä huomata, että tällä hetkellä ei ole olemassa plagiointitarkistusta, joka on erityisesti suunniteltu tunnistamaan ChatGPT:n tai muiden kielimallien luomaa tekstiä. Vaikka jotkin plagioinnin tarkistajat saattavat pystyä tunnistamaan tiettyjä kielimallin luoman tekstin ominaisuuksia, jotka voisivat viitata sen keinotekoiseen alkuperään, ei ole takeita siitä, että ne pystyvät määrittämään lopullisesti, onko tekstin luotu kielimallilla.

Tässä on kolme plagiointitarkistusta, joita voit harkita tunnistaaksesi mahdolliset kielimallin luoman tekstin esiintymät:

1. Turnitin: Turnitin on suosittu plagiointitarkistus, jota koulut ja yliopistot käyttävät laajalti. Se vertaa tekstinpätkää muiden tekstien tietokantaan tunnistaakseen kopiointi- tai parafrasointitapaukset. Vaikka se ei ehkä pystykään lopullisesti määrittämään, onko tekstin luoma kielimalli, se voi mahdollisesti tunnistaa tiettyjä kielimallin luoman tekstin ominaisuuksia, jotka voisivat viitata sen keinotekoiseen alkuperään.
2. PlagScan: PlagScan on toinen plagiointitarkistus, joka vertaa tekstinpätkää muiden tekstien tietokantaan tunnistaakseen kopiointi- tai parafraasointitapaukset. Kuten Turnitin, se voi tunnistaa tiettyjä kielimallin luoman tekstin ominaisuuksia, jotka voisivat viitata sen keinotekoiseen alkuperään, mutta sitä ei ole erityisesti suunniteltu havaitsemaan kielimallin luomaa tekstiä.
3. Copyleaks: Copyleaks on plagiointitarkistus, joka käyttää edistyneitä koneoppimisalgoritmeja tekstin skannaamiseen ja vertaamiseen muiden tekstien tietokantaan kopioiden tai uudelleenlauseiden tunnistamiseksi. Vaikka se voi tunnistaa tietyt kielimallin luoman tekstin ominaisuudet, sitä ei ole erityisesti suunniteltu tunnistamaan kielimallin luomaa tekstiä.

On syytä huomata, että mikään plagiointitarkistus ei ole täysin idioottivarma, ja aina on mahdollista, että kielimallin luoma teksti voi jäädä havaitsematta. Siksi on tärkeää käyttää plagiointitarkistusta vain yhtenä osana laajempaa strategiaa plagioinnin havaitsemiseksi ja ehkäisemiseksi.

• GPT-2-lähtöilmaisin: 99,62 % todellinen
• Writer AI Content Detector: [ ei tulosta ]
• Sisällön mittakaavassa AI Content Detection: 86 % ihmissisällöstä. Hyvältä näyttää!

Online AI plagiaattitarkistus

Useimpia plagioinnin ilmaisimia käytetään vertaamaan kirjoittamista muihin kirjoituksiin. Esimerkiksi kun opiskelija palauttaa esseen, Turnitinin kaltainen tuote skannaa lähetetyn esseen tietokannassaan valtavaan muiden esseiden kirjastoon sekä muihin asiakirjoihin ja Internetissä olevaan tekstiin määrittääkseen, sisältääkö lähetetty essee jo kirjoitettua sisältöä.

Mutta tekoälyn kirjoitustyökalut luovat alkuperäistä sisältöä, ainakin teoriassa. Kyllä, he rakentavat sisältönsä siitä, mihin heidät on koulutettu, mutta heidän rakentamansa sanat ovat jossain määrin ainutlaatuisia jokaisessa sävellyksessä.

Myös: AI:n todellinen tavoite ei ehkä enää ole älykkyys

Sellaisenaan yllä mainitut plagiointitarkistukset eivät todennäköisesti toimi, koska tekoälyn luomaa sisältöä ei luultavasti ollut olemassa esimerkiksi toisen opiskelijan paperissa.

Joten otin Googleen ja etsin ilmaisimia, jotka on erityisesti suunniteltu etsimään tekoälyn ohjaaman sisällön ilmaisimia. Löysin kolme. Alla olevissa kuvakaappauksissa esitetyn testisisällön osalta kysyin ChatGPT:ltä seuraavaa: "Onko star trek parempi kuin star wars? Perustele ja selitä" Sen vastaus ei ollut ollenkaan huono, ja syötin vastauksen kolmelle testaajalle.

• GPT-2-lähtöilmaisin: 99,98 % todellinen
• Writer AI Content Detector: 100 % ihmisen luoma sisältö. Fantastinen!
• Sisällön mittakaavassa AI Content Detection: 100 % ihmissisällön pisteet. Näyttää hyvältä!

GPT-2-lähtöilmaisin (tarkkuus 66 %)

Tämä ensimmäinen työkalu rakennettiin New Yorkissa toimivan AI-yrityksen Hugging Facen hallinnoiman koneoppimiskeskuksen avulla. Vaikka yritys on saanut 40 miljoonaa dollaria rahoitusta luonnollisen kielen kirjastonsa kehittämiseen, GPT-2-ilmaisin näyttää olevan käyttäjän luoma työkalu, joka käyttää Hugging Face Transformers -kirjastoa. Kuudesta suorittamastani testistä se oli tarkka neljälle.

Writer.com AI Content Detector (tarkkuus ei käytössä)

Writer.com on tekoälykirjoitusta luova palvelu, joka on suunnattu yritystiimeille. Sen AI Content Detector -työkalu voi skannata luotua sisältöä. Valitettavasti pidin tätä työkalua epäluotettavana. Kuudesta skannauksesta, jonka suoritin sen läpi, se epäonnistui kolmessa. Niistä kolmesta, joilla se ajettiin onnistuneesti, kaksi oli oikein ja yksi väärin.

Tämän artikkelin julkaisemisen jälkeen Writer.comin ihmiset ottivat yhteyttä ZDNETiin. Toimitusjohtaja May Habibilla oli tämä kommentti:

AI-ilmaisimen kysyntä on kasvanut pilviin. Liikenne on kasvanut 2-3x viikossa sen jälkeen kun lanseerattiin pari kuukautta sitten. Meillä on nyt sen takana tarvittava skaalaus varmistaaksemme, että se ei heikkene, ja tavoitteemme on pitää se ilmaiseksi - ja ajan tasalla saadaksemme uusimpien mallien tuotokset, mukaan lukien omamme. Jos tekoälytulostusta aiotaan käyttää sanatarkasti, se on ehdottomasti määritettävä.

Sisältö mittakaavassa AI sisällöntunnistus (tarkkuus 50 %)

Kolmannen löytämäni työkalun oli myös tekoälyn sisällöntuotantoyrityksen tuottama, mutta tämä näytti toimivan luotettavasti. Sisältö at Scale esittelee itsensä nimellä "Autamme SEO-painotteisia sisältömarkkinoijia automatisoimalla sisällön luomisen". Sen markkinointikehotus on: "Lähetä avainsanaluettelo ja saat yli 2 600 sanan blogitekstejä, jotka ohittavat tekoälysisällön havaitsemisen – kaikki ilman ihmisen puuttumista!" Kuudesta suorittamastani testistä se oli tarkka kolmessa.

Lopulliset ajatukset

Tekoälyyn perustuva plagiointi on kasvava ongelma, koska tekoälytyökalut, kuten Notion AI ja ChatGPT, voivat luoda tekstiä, jota on vaikea erottaa ihmisten kirjoittamasta tekstistä. On olemassa useita tapoja havaita, onko tekoäly luonut tekstin, kuten etsimällä toistuvia tai epätavallisia kuvioita, tarkistamalla alkuperäisyyden puutteen tai käyttämällä plagiointitarkistusta. Plagioinnin tarkistimet, kuten Turnitin, PlagScan ja Copyleaks, saattavat pystyä tunnistamaan tietyt kielimallin luoman tekstin ominaisuudet, mutta ne eivät ole idioottivarmoja.

Jopa löytämäni erikoistyökalut olivat valitettavan sopimattomia tehtävään. Paras tapaus oli GPT-2 Output Detector, mutta se sai vain kaksi kolmasosaa lähetetystä tekstistä oikein.

Tässä vaiheessa en usko, että olemme valmiita antamaan tekoälyn taistella tekoälyä vastaan. Sen sijaan meidän on turvauduttava ihmisen havaintoon (mikä tarkoittaa, että ihmisten on kiinnitettävä huomiota) tunnistaaksemme tekoälyn luomia teoksia.

Älä oleta heti, että jokin on koneella valmistettua. Vain siksi, että jokin on tyhmää tai hirveän epätarkkoja, älä oleta heti, ettei se ole ihmisen kirjoittama. Kuten olemme kaikki tulleet tietämään, ihmiset pystyvät kirjoittamaan uskomattoman huonoja asioita yksinään.

Myös: OpenAI:n ChatGPT on pelottavan hyvä työssäni, mutta se ei voi korvata minua (vielä)

Niin mitä mieltä olet? Voitko kertoa, onko pala tekoälyä luotu? Oletko käyttänyt näitä tekoälyn kirjoitustyökaluja kuukausien aikana sen jälkeen, kun ne yhtäkkiä tulivat saataville? Luuletko, että ne ovat apu tai este koulutukselle ja journalismille? Kerro meille alla olevissa kommenteissa. Näin ChatGPT vastasi tähän:

Kielimallina en voi nähdä fyysisiä kirjoituksia tai olla vuorovaikutuksessa niiden kanssa, joten en voi sanoa, onko teos tekoälyn luomaa vai ei. Voin kuitenkin kertoa, että saatavilla on useita tekoälyn kirjoitustyökaluja, ja niillä voidaan luoda monenlaista kirjoitettua sisältöä, mukaan lukien uutisartikkeleita, fiktiota, runoutta ja muuta.

Minulla ei ole henkilökohtaista kokemusta näiden työkalujen käytöstä, koska olen vain tietokoneohjelma, enkä pysty selaamaan Internetiä tai käyttämään fyysisiä työkaluja. Voin kuitenkin kertoa, että joidenkin ihmisten mielestä tekoälykirjoitustyökalut ovat hyödyllisiä koulutuksessa ja journalismissa, sillä ne voivat säästää aikaa ja vaivaa automatisoimalla tiettyjä tehtäviä. Toiset ovat ilmaisseet huolensa siitä, että näitä työkaluja voidaan käyttää harhaanjohtavan tai puolueellisen sisällön tuottamiseen tai kirjoittajien korvaamiseen. Loppujen lopuksi se, ovatko tekoälykirjoitustyökalut apua vai estettä, riippuu siitä, miten niitä käytetään ja missä kontekstissa niitä käytetään.

Niin, se on siinä.