GPT-3

هذه صفحة مكتوبة بالعربية البسيطة، انظر الصفحة الأصلية
Generative Pre-trained Transformer 3 (GPT-3)
المؤلف الأصليOpenAI[1]
الإطلاق المبدئيJune 11, 2020 (beta)
المستودع[{{#property:P1324}} {{#property:P1324}}]
النوعAutoregressive Transformer language model
الرخصةCode unavailable, only accessible by a paywalled API
الموقع الإلكترونيopenai.com/blog/openai-api

محول توليدي مسبق التدريب 3 (GPT-3) Generative Pre-trained Transformer 3 هو نموذج لغوي ذاتي الانحدار والذي يستخدم التعلم العميق لإنتاج نص شبيه بالنص البشري. فهو نموذج التنبؤ اللغوي من الجيل الثالث في سلسلة GPT-n التي تم إنشاؤها بواسطة OpenAI، وهو مختبر أبحاث ذكاء اصطناعي ربحي ومقره سان فرانسيسكو.[2] تبلغ سعة الإصدار الكامل لـ GPT-3 175 مليار بارامتر للتعلم الآلي. GPT-3، الذي تم تقديمه في مايو 2020، وهو قيد الاختبار التجريبي اعتباراً من يوليو 2020،[3] وهو جزء من اتجاه في أنظمة معالجة اللغات الطبيعية (NLP) لتمثيلات اللغة المدربة مسبقاً.[1]قبل إصدار GPT-3، كان أكبر نموذج لغوي هو تورنغ NLG من مايكروسوفت، والذي تم تقديمه في فبراير 2020، بسعة 17 مليار بارامتر أو أقل من 10 بالمائة مقارنة بـ GPT-3.[4]

جودة النص الذي تم إنشاؤه بواسطة GPT-3 عالية جداً بحيث يصعب تمييزها عن تلك التي يكتبها الإنسان، والتي لها فوائد ومخاطر على حد سواء.[4] قدم واحد وثلاثون باحثًا ومهندسًا من OpenAI الورقة الأصلية بتاريخ 28 مايو 2020 والتي تقدم GPT-3. في ورقتهم، حذروا من المخاطر المحتملة لـ GPT-3 ودعوا إلى إجراء بحث للتخفيف من تلك المخاطر.[1]:34 فقد وصف ديفد تشالمرز، الفيلسوف الأسترالي، GPT-3 بأنه "أحد أكثر أنظمة الذكاء الاصطناعي إثارة للاهتمام والأهمية التي تم إنتاجها على الإطلاق."[5]

وقد أعلنت مايكروسوفت في 22 سبتمبر 2020 أنها قامت بترخيص الاستخدام "الحصري" لـ GPT-3؛ ولا يزال بإمكان الآخرين استخدام واجهة برمجة التطبيقات العامة لتلقي المخرجات، ولكن مايكروسوفت هي المتحكم الحصري في شفرة المصدر.[6]

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

خلفية مسبقة[تحرير | عدل المصدر]

وفقاً لـ الإكونومست، أدت الخوارزميات المحسّنة وأجهزة الحاسب القوية والزيادة في البيانات الرقمية إلى ثورة في التعلم الآلي، حيث أدت التقنيات الجديدة في العقد الأول من القرن الحادي والعشرين إلى "تحسينات سريعة في المهام" بما في ذلك التأثير باللغة.[7] يتم تدريب نماذج البرامج على التعلم باستخدام آلاف أو ملايين الأمثلة في "بنية ... تعتمد بشكل واسع على البنية العصبية للدماغ".[7]وهي إحدى الهياكل المستخدمة في معالجة اللغات الطبيعية (NLP) هي شبكة عصبونية تعتمد على نموذج التعلم العميق الذي تم تقديمه لأول مرة في عام 2017 - المحول.[8] تعتمد نماذج GPT-n على بنية الشبكة العصبية للتعلم العميق القائمة على المحولات. هناك عدد من أنظمة البرمجة اللغوية العصبية القادرة على المعالجة والتنقيب والتنظيم والربط والتباين والفهم وتوليد إجابات للأسئلة.[9]

في 11 يونيو 2018، نشر باحثو ومهندسو OpenAI ورقتهم الأصلية على النموذج التوليدي - نماذج اللغة - أنظمة الذكاء الاصطناعي - التي يمكن تدريبها مسبقاً باستخدام مجموعة هائلة ومتنوعة من النصوص عبر مجموعات البيانات، في عملية أطلقوا عليها generative pre-training (GP).[10] فقد وصف المؤلفون كيف تم تحسين أداء فهم اللغة في معالجة اللغة الطبيعية (NLP) في GPT-n من خلال عملية "التدريب المسبق التوليدي لنموذج اللغة على مجموعة متنوعة من النصوص غير المصنفة، متبوعاً بضبط دقيق تمييزي لكل مهمة محددة" هذا ما ألغى الحاجة إلى الإشراف البشري وللتصنيف اليدوي الذي يستغرق وقتاً طويلاً.[10]

في فبراير 2020، قدمت مايكروسوفت برنامج توليد تورنغ للغة الطبيعية Turing Natural Language Generation (T-NLG)، والذي كان آنذاك "أكبر نموذج لغة تم نشره على الإطلاق عند 17 مليار متغير."[11] فقد كان أداء البرنامج أفضل من أي نموذج لغة آخر في مجموعة متنوعة من المهام التي تضمنت تلخيص النصوص و الإجابة على الأسئلة.[11]


الإمكانيات[تحرير | عدل المصدر]

وصفت النسخة التمهيدية بتاريخ 28 مايو 2020 أرخيف بواسطة مجموعة من 31 مهندساً وباحثاً في OpenAI[أ] تطوير GPT-3 ، وهو الجيل الثالث من "نموذج اللغة الحديث" .[1][4]فقد زاد الفريق من قدرة GPT-3 بأكثر من أمرين من حيث الحجم مقارنة بسابقه، GPT-2،[12] مما جعل GPT-3 أكبر نموذج لغة غير متفرق\هزيل حتى الآن.[1]:14[2]حيث يمنح العدد الأكبر من البارامترات لـ GPT-3 مستوى أعلى من الدقة مقارنة بالإصدارات السابقة ذات السعة الأصغر.[13]حيث تكون سعة GPT-3 أكبر بعشر مرات من قدرة تورنغ NLG الخاصة بـ مايكروسوفت.[4]

ستين بالمائة من مجموعة البيانات الموزونة قبل تدريب GPT-3 تأتي من نسخة تم تصفيتها\ترشيحها من زحف المشاع والتي تتكون من 410 مليار أزواج البايتات التي تم ترميزها.[1]:9 والمصادر الأخرى هي 19 مليار توكن من WebText2 تمثل 22٪ من الإجمالي المرجح، و 12 مليار توكن من Books1 تمثل 8٪، و 55 مليار توكن من Books2 تمثل 8٪، و 3 مليار توكن من ويكيبيديا تمثل 3٪.[1]:9 تم تدريب GPT-3 على مئات المليارات من الكلمات وهو قادر على الترميز في CSS و JSX و Python وغيرها.[3] نظراً لكون بيانات تدريب GPT-3 شاملة، فإنها لا تتطلب مزيداً من التدريب على مهام لغوية مميزة.[3]

في 11 يونيو 2020، أعلنت شركة OpenAI أنه يمكن للمستخدمين طلب الوصول إلى API GPT-3 سهل الاستخدام - "مجموعة أدوات التعلم الآلي" - لمساعدة OpenAI "في استكشاف نقاط القوة والقيود" لهذه التقنية الجديدة.[14][15] وصفت الدعوة كيف أن واجهة برمجة التطبيقات هذه تحتوي على واجهة "نص داخل، نص مكتوب" للأغراض العامة يمكنها إكمال "أي مهمة باللغة الإنغليزية" تقريباً، بدلاً من حالة الاستخدام الفردية المعتادة.[14] وفقاً لأحد المستخدمين، الذي كان لديه حق الوصول إلى إصدار أولي خاص من OpenAI GPT-3 API، كان GPT-3 "جيداً بشكل رهيب" في كتابة "نص متماسك بشكل مثير للدهشة" مع بضع مطالبات بسيطة فقط.[16]

نظراً لإمكانية GPT-3 "إنشاء مقالات إخبارية يجد المقيمون البشريون صعوبة في تمييزها عن المقالات التي يكتبها البشر،"[4] تمتلك GPT-3 "إمكانية تطوير التطبيقات المفيدة والضارة لنماذج اللغة."[1]:34 في ورقة 28 مايو 2020، قام الباحثون بوصف تفصيلي لـ"الآثار الضارة المحتملة لـ GPT-3"[4] والتي تتضمن "معلومات مضللة، بريد عشوائي\مؤذي، التصيد الاحتيالي، إساءة استخدام الإجراءات القانونية والحكومية، كتابة المقالات الأكاديمية الاحتيالية وذرائع الهندسة الاجتماعية".[1]حيث يلفت المؤلفون الانتباه إلى هذه المخاطر للدعوة إلى إجراء بحث حول التخفيف من حدة المخاطر.[1]:34

مراجعات[تحرير | عدل المصدر]

قال فرهاد مانجو في مراجعته في 29 يوليو 2020 في نيويورك تايمز إن GPT-3 - التي يمكنها إنشاء كود حاسب والشعر، بالإضافة إلى النثر - ليست فقط "مذهلة" و "مخيفة" و "متواضعة"، ولكن أيضاً "أكثر من مرعبة قليلاً".[17]

قدمت صحيفة ديلي نوس سلسلة من المقالات بقلم تسعة مفكرون فلاسفة عن GPT-3.[18] وصف الفيلسوف الأسترالي ديفد تشالمرز GPT-3 بأنه "أحد أكثر أنظمة الذكاء الاصطناعي إثارة للاهتمام والأكثر أهمية على الإطلاق".[5]

وقد ذكرت مراجعة في مجلة ويرد أن GPT-3 "أثار القشعريرة عبر وادي السِليكون".[19]

ذكر مقال في نحو علم البيانات أن GPT-3 تم تدريبه على مئات المليارات من الكلمات وهو قادر على الترميز في CSS و JSX و Python ولغات أخرى.[3]

ذكرت ناشونال لو رفيو أن GPT-3 هي خطوة رائعة في العملية الأكبر، حيث وجد OpenAI وآخرون "تطبيقات مفيدة لكل هذه القوة" مع الاستمرار في "العمل نحو المزيد من الذكاء العام".[20]

ذكرت مقالة في تكنولوجي رفيو، بقلم ناقد التعلم العميق غاري ماركس [21]، أن "فهم وإدراك العالم\البشر في GPT-3 غالباً ما يكون متوقفاً بشكل خطير وجدي، مما يعني أنه لا يمكنك الوثوق حقاً بما يقوله".[22] وفقًا للمؤلفين، يقوم GPT-3 بنمذجة العلاقات بين الكلمات دون فهم المعنى الكامن وراء كل كلمة.

أمثلة وتطبيقات[تحرير | عدل المصدر]

  • تم تنفيذ GPT-3 بواسطة جيسون رورر في مشروع روبوت محادثة ذو طابع قديم باسم مشروع ديسمبر، والذي يمكن الوصول إليه عبر الإنترنت، ويسمح للمستخدمين بالتحدث مع العديد من أنظمة الذكاء الاصطناعي باستخدام تقنية GPT-3.
  • تم استخدام GPT-3 بواسطة غارديان لكتابة مقال عن الذكاء الاصطناعي غير ضار بالبشر. تم تغذيتها ببعض الأفكار وأنتجت ثمانية مقالات مختلفة، والتي تم دمجها في النهاية في مقال واحد[23].
  • في سبتمبر 2020، أعلنت مايكروسوفت عن ترخيصها الحصري لمولد لغة الذكاء الاصطناعي GPT-3. ومع ذلك، فقد أثار مخاوف من أن الذكاء الاصطناعي يمكن أن يزيد من حملات التضليل، التي كانت تستهلك الكثير من الجهود البشرية.[24]


. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

انظر أيضاً[تحرير | عدل المصدر]

ملاحظات[تحرير | عدل المصدر]

  1. ^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario

مراجع[تحرير | عدل المصدر]

  1. ^ أ ب ت ث ج ح خ د ذ ر قالب:Cite arxiv
  2. ^ أ ب Shead, Sam (July 23, 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. Retrieved July 31, 2020. Four preprints were released between May 28 and July 22, 2020.
  3. ^ أ ب ت ث Bussler, Frederik (July 21, 2020). "Will GPT-3 Kill Coding?". Towards Data Science. Retrieved August 1, 2020.
  4. ^ أ ب ت ث ج ح Sagar, Ram (June 3, 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. Retrieved July 31, 2020.
  5. ^ أ ب Chalmers, David (July 30, 2020). Weinberg, Justin (ed.). "GPT-3 and General Intelligence". Daily Nous. Philosophers On GPT-3 (updated with replies by GPT-3). Retrieved August 4, 2020.
  6. ^ Hao, Karen (September 23, 2020). "OpenAI is giving Microsoft exclusive access to its GPT-3 language model". MIT Technology Review (in الإنجليزية). Retrieved 2020-09-25. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases.
  7. ^ أ ب "An understanding of AI's limitations is starting to sink in". The Economist. June 11, 2020. ISSN 0013-0613. Retrieved July 31, 2020.
  8. ^ قالب:Cite arxiv
  9. ^ "Natural Language Processing". Retrieved 2020-07-31.
  10. ^ أ ب Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (June 11, 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). p. 12. Retrieved July 31, 2020.
  11. ^ أ ب Sterling, Bruce (February 13, 2020). "Web Semantics: Microsoft Project Turing introduces Turing Natural Language Generation (T-NLG)". Wired. ISSN 1059-1028. Retrieved July 31, 2020.
  12. ^ "Language Models are Unsupervised Multitask Learners" (PDF). Retrieved December 4, 2019. GPT-2, is a 1.5B parameter Transformer Cite journal requires |journal= (help)
  13. ^ Ray, Tiernan (June 1, 2020). "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. Retrieved July 31, 2020.
  14. ^ أ ب "OpenAI API". OpenAI. June 11, 2020.
  15. ^ "TechCrunch – Startup and Technology News". TechCrunch. June 11, 2020. Retrieved July 31, 2020. If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.”
  16. ^ Arram (July 9, 2020). "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. Retrieved July 31, 2020.
  17. ^ Manjoo, Farhad (July 29, 2020). "How Do You Know a Human Wrote This?". The New York Times. ISSN 0362-4331. Retrieved August 4, 2020.
  18. ^ Weinberg, Justin, ed. (July 30, 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". Daily Nous. Retrieved July 31, 2020.
  19. ^ Simonite, Tom (July 22, 2020). "Did a Person Write This Headline, or a Machine?". Wired. ISSN 1059-1028. Retrieved July 31, 2020.
  20. ^ Claypoole, Theodore (July 30, 2020). "New AI Tool GPT-3 Ascends to New Peaks, But Proves How Far We Still Need to Travel". The National Law Review. Retrieved August 4, 2020. Cite has empty unknown parameter: |1= (help)
  21. ^ Marcus, Gary (2018-12-01). "The deepest problem with deep learning". Medium (in الإنجليزية). Retrieved 2020-09-29.
  22. ^ Marcus, Gary; Davis, Ernest (August 22, 2020). "GPT-3, Bloviator: OpenAI's language generator has no idea what it's talking about". MIT Technology Review. Retrieved August 23, 2020.
  23. ^ GPT-3 (2020-09-08). "A robot wrote this entire article. Are you scared yet, human? | GPT-3". The Guardian (in الإنجليزية). ISSN 0261-3077. Retrieved 2020-09-15.
  24. ^ "Pragmatic Grizzly on Twitter". Twitter.com. Retrieved 24 September 2020.

وصلات خارجية[تحرير | عدل المصدر]

تمّ الاسترجاع من "https://www.marefa.org/GPT-3"