ตัวนับโทเคน AI

โทเคนคือหน่วยพื้นฐานของข้อความที่โมเดล AI ประมวลผล ในภาษาอังกฤษ ประมาณ 1 โทเคน = 4 อักขระหรือประมาณ 0.75 คำ ตัวอย่างเช่น \"hello\" มักเป็น 1 โทเคน ในขณะที่ \"unbelievable\" อาจแบ่งเป็น 2 โทเคน: \"un\" และ \"believable\"

ใช่ เครื่องมือนี้ใช้อัลกอริทึมโดยประมาณสากลที่ใช้ได้กับทุกโมเดล LLM หลัก รวมถึง GPT-4, GPT-3.5, Claude, Gemini, Llama, Mistral, DeepSeek และอื่นๆ ค่าประมาณมักอยู่ใน 5-10% ของจำนวนที่แม่นยำ

การนับใช้อัลกอริทึมประมาณค่าสากลตามรูปแบบการแบ่งคำ BPE (Byte Pair Encoding) ให้ค่าประมาณที่ใกล้เคียงมักอยู่ใน 5-10% แต่อาจแตกต่างเล็กน้อยจากจำนวน API ที่แม่นยำเนื่องจากแต่ละโมเดลใช้ tokenizer ของตัวเอง

ขยายส่วนประเมินต้นทุนแล้วป้อนราคา API สำหรับโทเคนอินพุต เอาต์พุต และแคชฮิต เครื่องมือจะคำนวณต้นทุนโดยประมาณอัตโนมัติจากจำนวนโทเคนและราคาต่อล้านโทเคนของคุณ

ไม่ การนับโทเคนทั้งหมดทำในเบราว์เซอร์ของคุณอย่างสมบูรณ์ ข้อความของคุณไม่ออกจากอุปกรณ์และไม่ถูกส่งไปยังเซิร์ฟเวอร์ใดๆ เครื่องมือนี้ 100% ฝั่งไคลเอนต์เพื่อความเป็นส่วนตัวเต็มที่

BPE (Byte Pair Encoding) เป็นวิธีการแบ่งคำที่พบบ่อยที่สุดที่ใช้โดยโมเดลภาษาขนาดใหญ่ ทำงานโดยการรวมคู่อักขระที่พบบ่อยที่สุดแบบวนซ้ำในคลังข้อมูลฝึก สร้างคำศัพท์ที่สมดุลระหว่างประสิทธิภาพและความครอบคลุม

ประสิทธิภาพโทเคนแตกต่างกันอย่างมากระหว่างภาษา ข้อความภาษาอังกฤษเฉลี่ยประมาณ 1 โทเคนต่อ 4 อักขระ ภาษา CJK (จีน ญี่ปุ่น เกาหลี) มักต้องการ 1.5-2 อักขระต่อโทเคนเนื่องจากความซับซ้อนของระบบการเขียน

โทเคนไม่เหมือนกับคำ คำภาษาอังกฤษทั่วไปมักเป็น 1 โทเคน แต่คำยาวหรือหายากอาจแบ่งเป็นหลายโทเคน เครื่องหมายวรรคตอนและช่องว่างก็สามารถเป็นโทเคนอิสระได้

ได้ อัลกอริทึมโดยประมาณสากลทำงานกับทุกโมเดลโดยไม่ขึ้นอยู่กับ tokenizer เฉพาะ แม้ว่าค่าประมาณอาจแตกต่างกันเล็กน้อย แต่ให้ค่าประมาณที่เชื่อถือได้สำหรับการประเมินต้นทุนและการวางแผนข้อความ

ผู้ให้บริการ AI หลายรายเช่น OpenAI และ Anthropic ให้ส่วนลดสำหรับโทเคนแคช โทเคนแคชฮิตมักคิดราคา 10% ของราคาอินพุตปกติ ป้อนราคาแคชฮิตเพื่อดูการประหยัด