TRANSFORMATIF GPT DAN AI TERHADAP INTERAKSI DIGITAL

Pelbagai aspek kehidupan seharian dipengaruhi oleh kecerdasan buatan (AI), yang telah muncul sebagai aspek penting dalam dunia teknologi hari ini. Penciptaan model Generative Pre-trained Transformer (GPT) oleh OpenAI adalah kemajuan besar dalam bidang ini, yang telah mengubah cara manusia berinteraksi dengan platform digital (Vaswani et al., 2017).

 

Keluarga model rangkaian neural yang terkenal, Generative Pre-trained Transformer (GPT) tertumpu kepada pemprosesan bahasa semula jadi. Dengan menggunakan senibina transformer dan dilatih terlebih dahulu pada korpora(corpus) teks yang besar, model GPT menyediakan kemampuan pembuatan dan pemahaman bahasa yang kuat. Skala model telah meningkat dengan ketara dengan setiap iterasi, menghasilkan prestasi yang lebih canggih.

 

Model-model GPT mempunyai pelbagai aplikasi dalam pelbagai industri. Model-model ini membantu kuasa chatbot yang memberi respons seperti manusia pada bila-bila masa dalam perkhidmatan pelanggan (OpenAI, 2021). GPT membantu menjana prosa inovatif dan informatif, mempercepatkan proses penulisan (OpenAI, 2021). Model-model ini juga penting dalam terjemahan bahasa, memandangkan ia meningkatkan komunikasi antara budaya (Brown et al., 2020).

 

Model GPT disertakan dalam jadual berikut:

Model	Developer	Year	Parameters	Training Data	Key Notes	References
GPT-1	OpenAI	2018	117M	BookCorpus	Original GPT model	(Radford et al., 2018)
GPT-2	OpenAI	2019	1.5B	WebText	Strong text generation	(Radford et al., 2019)
GPT-3	OpenAI	2020	175B	Common Crawl	Impressive few-shot learning	(Brown et al., 2020)
GPT-3.5	Anthropic	2022	20B	-	Faster inference than GPT-3	(Anthropic, 2022)
GPT-4	Anthropic	2022	100T (expected)	-	Next generation model, not released yet	(Metz, 2022)
GPT-3.5 Turbo	Anthropic	2023	7.5B	-	Faster version of GPT-3.5	(Anthropic, 2023a)
GPT-4 Dragon	Anthropic	2023	100T	-	Expanded GPT-4 for researchers	(Anthropic, 2023b)
GPT-3.6	OpenAI	2023	10B	-	Upgrade over GPT-3	(OpenAI, 2023)
GPT-4 Muse	Anthropic	2023	200B	-	GPT-4 focused on creativity	(Anthropic, 2023c)

 

Seperti yang ditunjukkan dalam jadual, model-model GPT telah berkembang dengan pesat dari segi saiz dan keupayaan dengan setiap versi Baharu. Dengan penyelidikan dan pembangunan GPT yang berterusan, OpenAI dan Anthropic berusaha untuk melampaui batasan model bahasa besar. Kemajuan yang menarik dalam keupayaan pemprosesan bahasa tabii (Natural Language processing) dijangkakan memandangkan model-model ini akan terus berevolusi.

 

RUJUKAN

1. Anthropic. (2022). Anthropic AI research lab tackles high-stakes problems using self-correcting AI. https://www.anthropic.com
2. Anthropic. (2023a). Introducing GPT-3.5 Turbo. https://www.anthropic.com/blog/announcements/introducing-gpt-3-5-turbo
3. Anthropic. (2023b). Introducing GPT-4 Dragon. https://www.anthropic.com/blog/announcements/introducing-gpt-4-dragon 
4. Anthropic. (2023c). Introducing GPT-4 Muse. https://www.anthropic.com/blog/announcements/introducing-gpt-4-muse
5. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., ... Amodei, D. (2020). Language models are few-shot learners. https://arxiv.org/abs/2005.14165
6. Metz, C. (2022, April 11). A.I. researchers are making more than just code. The New York Times. https://www.nytimes.com/2022/04/11/technology/ai-anthropic-research-lab.html
7. OpenAI. (2023). OpenAI API: GPT-3 upgrades. https://platform.openai.com/docs/guides/gpt-3/upgrades
8. Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf
9. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
10. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems.

 

Disediakan oleh:
Hashimah Amat Sejani

Tarikh Input: 28/12/2023 | Kemaskini: 28/12/2023 | nazlina