เกาะปันหยีตั้งอยู่ในทะเลอันดามัน เป็นเกาะหินปูนขนาดเล็ก พื้นที่ส่วนใหญ่เป็นเขาสูงชันตามตำนานเล่ากันว่า เรื่องราว 200 ปีก่อน มีชาวประมงชาวมุสลิม 3 ครอบครัว คือ โต๊ะบาบู ชาวมลายู, โต๊ะปรัง ชาวตรัง และโต๊ะหลงชาวนครศรีธรรมราช ล่องเรือผ่านมาและเห็นว่าเกาะแห่งนี้มีความสวยงามอยู่ใกล้ แผ่นดินใหญ่มีฝูงปลาชุกชุม จึงเริ่มตั้งรกรากเป็นกลุ่มแรก คนทั่วไปเรียกคนกลุ่มนี้ว่า"ปันยี" ซึ่งเป็นภาษามลายูแปลว่า "ธง" เพราะรูปร่างของเกาะคล้ายผืนธงรูปสามเหลี่ยมไว้บูชาสิ่งศักดิ์สิทธิ์ในพิธีบวงสรวง
ส่วนอีกตำนานเล่าว่า เมื่อราว 200 ปีก่อน มีชาวมลายูกลุ่มหนึ่งพากันมาหาที่ทำกินแห่งใหม่ เมื่อลอยเรือมาถึงอ่าวพังงา ปรากฏว่าเรือเกิดอับปางลงเพราะโดนพายุ ส่วนหนึ่งเสียชีวิตในทะเล ที่เหลือก็ว่ายน้ำมาจนถึงเกาะแห่งนี้ และได้ปักธงขอความช่วยเหลือไว้บนเกาะเพื่อให้เรือที่ผ่านมาเห็น จึงเรียกชื่อเกาะนี้ว่า "เกาะปันยี" และยังเล่ากันอีกว่า คนที่ลอยคอรอความช่วยเหลืออยู่กลางทะเล ได้อธิษฐานว่าถ้ารอดชีวิตจะนำธงไปปักบนแผ่นดิน เมื่อขึ้นเกาะได้ก็นำธงไปปักแก้บนตามที่อธิษฐานไว้ ต่อมาเรียกเพื้ยนเป็น "เกาะปันหยี"
ปัจจุบันชุมชนเกาะปันหยี มีอยู่ไม่กี่ร้อยครัวเรือน ผู้คนนับถือศาสนาอิสลามและมีกฏเหล็กของชุมชน ห้ามนำ 3 ส. ขี้นเกาะคือ สุกร สุนัข และสุรา แต่เดิมชาวเกาะจะยึดอาชีพทำประมงพื้นบ้าน แปรรูปอาหารทะเล อาทิ ปลาแห้ง กะปิ น้ำปลา น้ำพริกกุ้งเสียบ ผลิตภัณฑ์งานฝีมือ เช่น เครื่องประดับมุก เป่าแก้ว และผ้าบาติก แต่ในระยะหลังการท่องเที่ยวกลายเป็นอาชีพหลักที่สร้างเม็ดเงิน เข้าสู่ชุมชนมหาศาล เพราะใกล้ ๆ เกาะปันหยี มีสถานที่ท่องเที่ยวที่มีชื่อเสียงระดับโลก อาทิ เขาหมาจู เขาพิงกัน เขาตะปู สถานที่ถ่ายทำภาพยนตร์ฮอลลีวูดเรื่อง เจมส์บอนด์ 007 เกาะปันหยี เลยเป็นแหล่งที่พักและแวะรับประทานอาหารของคณะทัวร์
เกาะปันหยี
