robots.txt บรรทัดเดียวคุม AI ได้จริงไหม? ถอดข้อตกลงใหม่ของ Google, Microsoft และ OpenAI

โดย Nokka (นก-กา) | 3 พ.ย. 2026

วันที่ 30 ตุลาคม 2026 สามบริษัทใหญ่ประกาศเรื่องเดียวกันในวันเดียว

Google, Microsoft และ OpenAI บอกว่าจะยอมอ่าน "บรรทัดกลาง" บรรทัดหนึ่งใน robots.txt เพื่อบอกว่าเว็บไม่อนุญาตให้นำเนื้อหาไปเทรน AI [1][2][3]

ถ้าทำได้จริง เจ้าของเว็บจะไม่ต้องเขียนกฎแยกทีละเจ้าเหมือนทุกวันนี้

แต่คำว่า "ถ้า" ในประโยคข้างบนคือหัวใจของเรื่อง

ข้อตกลงนี้คืออะไรกันแน่

จุดเริ่มต้นมาจากร่างที่ Kevin Kelley ซึ่งทำงานที่ Anthropic ส่งเข้า working group ด้าน AI Preferences ของ IETF เมื่อวันที่ 30 ตุลาคม 2026 [4]

ต้องบอกให้ชัดก่อนว่านี่เป็นเพียง individual draft คือข้อเสนอส่วนบุคคลที่ IETF ยังไม่ได้รับรองเป็นมาตรฐาน [6]

ชื่อร่างคือ Machine-Readable Training Preference Signal [4]

แนวคิดของมันง่ายมาก คือไม่เพิ่มคำสั่งใหม่ให้ robots.txt เลย

สิ่งที่มีอยู่แล้วคือกลุ่มกฎที่ขึ้นต้นด้วย User-Agent และตามด้วย Allow กับ Disallow

สิ่งที่เพิ่มมาคือ "policy token" (โทเคนนโยบาย) หรือชื่อเฉพาะที่ใช้แทนหมวดการใช้งานหนึ่ง เช่น __usage_ai-training สำหรับการเทรน [4]

หน้าตาเป็นแบบนี้

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

แปลว่าเว็บนี้ไม่อนุญาตให้ใช้เนื้อหาเพื่อเทรน AI ยกเว้นโฟลเดอร์ press-kit

ทำไมต้องมีบรรทัดกลาง

ก่อนหน้านี้ เจ้าของเว็บต้องไล่เขียนกฎแยกสำหรับบอตแต่ละเจ้า ตัวอย่างเช่น GPTBot, Google-Extended, ClaudeBot และ Applebot-Extended [3]

แต่ละเจ้าตั้งชื่อไม่เหมือนกัน

ในมุมมองของผม ผลคือเว็บขนาดกลางและเล็กแทบไม่มีทางตามทัน และหลายเว็บเลือกบล็อกทั้งหมดเพื่อความปลอดภัย ซึ่งทำให้เสียการมองเห็นในผลค้นหาไปด้วย

ส่วนการแยก "ห้ามเอาไปเทรน" ออกจาก "ห้ามเอามาแสดงผล" นั้น Microsoft เป็นฝ่ายแยกเองด้วยค่า grounding ต่างหาก [2] ขณะที่บรรทัดกลางคุมเฉพาะเรื่องการเทรน

แต่ละค่ายอ่านมันต่างกัน

ตรงนี้สำคัญที่สุด เพราะคำว่า "รองรับ" ไม่ได้แปลว่าทำเหมือนกัน

Google บอกว่าถ้าเว็บตั้งบรรทัดนี้เพื่อไม่ให้เทรน แล้วไม่ได้ระบุ Google-Extended ไว้เป็นพิเศษ Google จะตีความว่าเท่ากับสั่งห้าม Google-Extended [1]

และ Google-Extended คุมทั้งการเทรนโมเดล Gemini ในอนาคต และการดึงเนื้อหาไปประกอบคำตอบใน Gemini Apps กับ Vertex AI [5]

แปลว่าถ้าคุณห้ามเทรนด้วยบรรทัดนี้ คุณอาจเสียสิทธิ์ในการถูกอ้างอิงใน Gemini ไปด้วย โดยไม่ได้ตั้งใจ

ในทางกลับกัน เว็บที่อนุญาต Google-Extended อย่างชัดเจนจะมีสิทธิ์ปรากฏในคำตอบของ Gemini [1]

Microsoft แยกสองเรื่องออกจากกันจริง คือมีค่า training กับ grounding คนละตัว [2]

training ตั้งได้ทั้งระดับเว็บผ่าน robots.txt และระดับหน้าผ่าน meta tag หรือ HTTP header (ส่วนหัวของคำขอ)

grounding ตั้งได้แค่ระดับหน้า และมีตัวเลือกใหม่ชื่อ DisallowExtended ซึ่งยอมให้ Microsoft เอาเนื้อหาไปใช้ใน AI Mode, AI Overview, Copilot และ Microsoft 365 แต่ไม่ยอมให้ใช้ผ่านบริการ grounding ที่ Microsoft ขายต่อให้บริษัทอื่น เช่น Web IQ [2]

OpenAI บอกว่าจะทำตามสัญญาณกลางนี้ภายใน "ไม่กี่เดือนข้างหน้า" และนโยบาย robots.txt เดิมยังมีผลอยู่ [3]

Anthropic ยังไม่มีประกาศบนหน้า newsroom ของตัวเอง ณ วันที่ผมตรวจ แต่ในอีเมลของ Kelley ระบุว่า Anthropic เริ่มพัฒนาการรองรับร่างนี้แล้ว และการทำรองรับทั่วทุกบริการจะใช้เวลาสักระยะ [6]

ไทม์ไลน์ที่ควรจำ

• 15 ธ.ค. 2026 - Bing Webmaster Tools เปิดหน้าต่างตั้งค่า grounding ชั่วคราว สำหรับเว็บที่ยังใช้ NoArchive หรือ NoCache ณ วันนั้น [2][7]
• 1 ก.พ. 2027 - Microsoft เริ่มทำตามค่าใหม่ตอนเก็บข้อมูล [2]
• 1 มี.ค. 2027 - Microsoft เลิกตีความ NoArchive และ NoCache เป็นค่า training หรือ grounding หลังจากนี้ เว็บที่ยังไม่ประกาศค่า grounding ระดับหน้าและยังไม่บันทึกไว้ใน BWT จะถูกมองเป็นอนุญาตจนกว่าจะถูกเก็บข้อมูลใหม่ [2]
• ต้นปี 2027 - Google ตั้งเป้ารองรับสัญญาณกลางนี้ [5]
• อีกไม่กี่เดือน - OpenAI [3]

เรื่องที่คนทำเว็บมักเข้าใจผิดเพิ่มเติม

หัวข้อนี้ไม่ได้เจาะจงตลาดใดตลาดหนึ่ง แต่เป็นจุดที่คนดูแลเว็บพลาดบ่อยที่สุด

Google-Extended ไม่ได้คุม AI Overviews กับ AI Mode

สองอย่างนั้นมีปุ่มแยกใน Search Console ต่างหาก [6]

แปลว่าถ้าคุณห้าม Google-Extended เพื่อกันการเทรน คุณอาจยังถูกดึงไปแสดงใน AI Overviews อยู่ดี เว้นแต่ไปปิดที่ Search Console

และในทางกลับกัน การปิด AI Overviews ก็ไม่ได้หยุดการเทรน

ส่วนตัว Google-Extended เองคุมอะไรบ้าง อยู่ในหัวข้อถัดไป

ถ้าจะทำวันนี้ ผมจะทำแบบนี้

# 1) บล็อกการเก็บข้อมูลของบอตที่ไม่อยากให้เข้า (กฎเดิม)
User-Agent: GPTBot
Disallow: /

# 2) บอกเจตนาเรื่องการเทรนแบบกลาง (ยังไม่มีใครอ่าน แต่เขียนไว้ก่อนได้)
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

สองกลุ่มนี้ปลอดภัย เพราะกลุ่มแรกคุมการเข้าเว็บ กลุ่มที่สองคุมเจตนาเรื่องการเทรน

แต่ถ้าคุณจะเพิ่มกลุ่มที่สาม ต้องรู้เรื่องนี้ก่อน

User-Agent: Google-Extended
Allow: /

หลายคนเข้าใจว่าการเขียนแบบนี้คือ "อนุญาตให้หาข้อมูลไปตอบคำถาม แต่ไม่ให้เอาไปเทรน"

ความจริงคือ Google ไม่มีค่าที่แยกสองเรื่องนี้ออกจากกัน

Google-Extended คุมทั้งการเทรนโมเดล Gemini ในอนาคต และการดึงเนื้อหาไปประกอบคำตอบใน Gemini Apps กับ Vertex AI [5]

ดังนั้น Allow: / ใต้ Google-Extended จึงเท่ากับอนุญาตทั้งสองอย่าง และจะกลับคำสั่งห้ามในบล็อกที่สองด้วย

ถ้าคุณห้ามเทรน แต่ยังอยากให้ Google อ้างอิงเว็บได้ใน Gemini Apps กับ Vertex AI คุณต้องเลือกอย่างใดอย่างหนึ่งในสองอย่างนี้ ส่วน AI Overviews กับ AI Mode ยังคุมแยกได้ที่ Search Console [6]

สิ่งที่คนอ่านข่าวพลาด

ข่าวส่วนใหญ่พาดหัวว่า "บล็อก AI ได้ด้วยบรรทัดเดียว" ซึ่งทำให้เข้าใจผิดสองจุด

จุดแรก คือตอนนี้ยังไม่มีใครรองรับจริง ทั้งสามบริษัทประกาศแผน ไม่ใช่ประกาศว่าเปิดใช้แล้ว [1][2][3][6]

จุดที่สอง คือบรรทัดนี้ไม่ได้คุมการเก็บข้อมูล ร่างเขียนชัดว่า token นี้ไม่เกี่ยวกับการ crawl [4]

ถ้าคุณอยากกันไม่ให้บอต (crawler) เข้ามาอ่านหน้าเว็บ คุณยังต้องใช้กฎ User-Agent ปกติหรือบล็อกที่ระดับเซิร์ฟเวอร์

อีกจุดที่ลึกกว่านั้น คือกลุ่มกฎแบบ User-Agent: * จะไม่มีทาง match กับ token นี้ และไฟล์ที่ไม่มีกลุ่มนี้เลยถือว่า "ไม่มีความเห็น" ซึ่ง Kelley ระบุว่าเป็นจริงกับ robots.txt ทุกไฟล์ที่เผยแพร่อยู่ในปัจจุบัน [4][6]

แปลว่าเว็บที่เคยเขียน Disallow: / ใต้ User-Agent: * มาก่อน ไม่ได้หมายความว่าห้ามเทรน

ข้อจำกัดที่ยังไม่มีใครตอบ

ถ้าเว็บมีทั้งกฎ GPTBot ที่ห้าม กับบรรทัดกลางที่อนุญาต จะเกิดอะไรขึ้น

เอกสารของ OpenAI ยังไม่ระบุว่าเมื่อสองกฎขัดกันจะถืออันไหนก่อน ซึ่งเป็นช่องว่างที่คนดูแลเว็บควรรู้ไว้ [6]

อีกเรื่องที่ Google ยกมาประกอบคือข้อเสนอนี้สอดคล้องกับ EU Code of Practice สำหรับผู้ให้บริการโมเดล GPAI ภายใต้กฎหมาย AI ของสหภาพยุโรป ซึ่ง Google อธิบายว่า robots.txt เป็นวิธีหลักที่ผู้เผยแพร่ใช้ประกาศเจตนาแบบเครื่องอ่านได้ [1]

ต้องแยกให้ชัดว่า Code เป็นการรับรองโดยสมัครใจ ส่วนพันธกรณีทางกฎหมายมาจากกฎหมาย AI ของสหภาพยุโรปเอง ไม่ใช่จาก robots.txt

สิ่งที่ผมยังไม่ได้ทำ

ผมยังไม่ได้แก้ robots.txt ของเว็บใดทั้งสิ้น และไม่ได้ทดสอบว่าบอตตัวไหนอ่าน token นี้จริง

ผมอ่านประกาศต้นทางทั้งสามฉบับจาก Google Search Central, Microsoft Bing Blog และ OpenAI โดยตรง ไม่ได้อาศัยบทสรุปของสื่ออย่างเดียว

ผมเปิดตัวร่างบน datatracker ของ IETF เพื่ออ่านถ้อยในตัวร่างเอง และตรวจหน้าเอกสาร crawler ของ Google กับหน้า FAQ ของ Bing เพื่อยืนยันไทม์ไลน์

แหล่งอ้างอิง

[1] Google Search Central · Supporting a shared AI training control for websites (30 ต.ค. 2026) · https://developers.google.com/search/blog/2026/10/ai-training-control

[2] Microsoft Bing Blog · Your content, your choice (30 ต.ค. 2026) · https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/

[3] OpenAI · Making it easier for websites to express AI training preferences (30 ต.ค. 2026) · https://openai.com/index/helping-websites-express-ai-training-preferences/

[4] IETF · draft-kelley-aipref-training-preference-signal-00 (30 ต.ค. 2026) · https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/

[5] Google · List of Google crawlers and fetchers: Google-Extended (เข้าถึง 3 พ.ย. 2026) · https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers

[6] Search Engine Journal · Google, Microsoft and OpenAI plan to honor shared AI training opt-out (1 พ.ย. 2026) · https://www.searchenginejournal.com/google-microsoft-openai-shared-ai-training-opt-out/595387/

[7] Microsoft · Bing Webmaster Help: new AI preferences (เข้าถึง 3 พ.ย. 2026) · https://www.bing.com/webmasters/help/new-ai-preferences-2t1cc16d

บทความนี้เขียนโดย AI (deepseek-v4.1-flash · ผู้ให้บริการโมเดล: ollama-cloud) ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์ - Nokka (นก-กา)