ความมุ่งหวังที่จะให้คอมพิวเตอร์สามารถประมวลผลภาษาไทยได้อย่างมีประสิทธิภาพนั้นมีปัญหาเบื้องต้น คือ ลักษณะการเขียนภาษาไทยจะเขียนติดต่อกันเป็นสายอักขระโดยไม่มีเครื่องหมายวรรคตอนแสดงการแบ่งคำดังเช่น ภาษาอังกฤษ ซึ่งเป็นอุปสรรคอย่างหนึ่งที่ต้องการการศึกษาวิจัยและพัฒนาเพื่อให้คอมพิวเตอร์สามารถคำนวณ เพื่อแบ่งสายอักขระไทยออกเป็นคำ ๆ ซึ่งจะส่งผลให้การทำงานของคอมพิวเตอร์ในการค้นหาคำใด ๆ ทำได้อย่างถูกต้องและแม่นยำรวมถึงการจัดขอบขวาในโปรแกรมประมวลผลคำ (Word processor) เป็นต้น
ปัจจุบันนี้มีการนำคอมพิวเตอร์เข้าไปใช้งานในด้านต่าง ๆ เป็นจำนวนมาก งานทางด้านจัดการกับภาษาไทย ได้แก่ การแปลงข้อความเป็นเสียง (Text - To - Speech) การตรวจตัวสะกด (Spell checking) การแปลภาษาด้วยเครื่องคอมพิวเตอร์ (Machine Translation) ฯลฯ ก็เป็นงานอีกด้านหนึ่งที่ได้นำคอมพิวเตอร์เข้าไปช่วยในการทำงาน สิ่งแรกที่จะต้องจัดการคือต้องทำให้คอมพิวเตอร์รู้จักคำในภาษาไทยให้ได้ เช่น ถ้ามีข้อความว่า
"ฉันนั่งตากลมที่หน้าบ้าน" จะต้องทำให้คอมพิวเตอร์รู้ว่าเป็น "ฉัน นั่ง ตาก ลม ที่ หน้า บ้าน" ไม่ใช่ "ฉัน นั่ง ตา กลม ที่ หน้า บ้าน"
ลักษณะการเขียนภาษาไทยนั้นจะเขียนติดต่อกันโดยไม่มีเครื่องหมายวรรคตอนคั่นระหว่างคำดังเช่นในภาษาอังกฤษ ซึ่งใช้ช่องว่าง (Space) คั่นระหว่างคำจึงทำให้การโปรแกรมให้คอมพิวเตอร์ รู้จักคำในภาษาไทยนั้นมีความยุ่งยากกว่าในภาษาอังกฤษ
ดังนั้นเราจึงได้พัฒนาและค้นหาวิธีการต่าง ๆ ที่จะช่วยให้คอมพิวเตอร์รู้จักคำในภาษาไทยซึ่งในปัจจุบันก็มีอยู่หลายแนวคิด เช่น
เมื่อเราต้องการโปรแกรมให้คอมพิวเตอร์รู้จักคำในภาษาไทยเราก็จะค้นหาคำโดยเริ่มจากตัวอักษรซ้ายสุดของข้อความนั้นไปยังตัวอักษรถัดไปจนกว่าจะพบว่าเป็นคำที่มีอยู่ในพจนานุกรม หลังจากนั้นก็ค้นหาคำถัดไปจนกว่าจะจบข้อความ ในกรณีที่เราพบว่าเป็นคำในพจนานุกรมจากจุดเริ่มต้นเดียวกันเราจะเลือกคำที่ยาวที่สุด ตัวอย่างเช่น การแบ่งคำในประโยค "ฉันนั่งตากลมที่หน้าบ้าน" จะเริ่มจากตัวอักษร ฉ และคำแรกที่แบ่งได้คือ "ฉัน" หลังจากนั้นก็ค้นหาตัวอักษรถัดไปและนำมาเปรียบเทียบคำในพจนานุกรมก็จะแบ่งคำว่า "นั่ง" เป็นคำต่อไป ตัวอักษรถัดไปคือ ต จากตัวอักษรนี้เราจะได้คำว่า "ตา" กับคำว่า "ตาก" แนวคิดนี้ให้เลือกคำที่ยาวที่สุดที่ค้นพบจึงเลือกคำว่า "ตาก" หลังจากนั้นก็จะค้นหาและเปรียบเทียบต่อไปซึ่งจะได้ผลลัพธ์ออกมาคือ "ฉัน นั่ง ตาก ลม ที่ หน้า บ้าน"
วิธีการตัดคำแบบนี้เป็นการหาวิธีในการตัดคำที่สามารถจะเป็นไปได้ทั้งหมด เช่น เมื่อมีข้อความว่า "ไปหามเหสี" ก็จะตัดคำได้ ๒ แบบ คือ