Это классическая задача об определении принадлежности точки многоугольнику. Способы её решения наверно лучше подскажут математики, а не скриптеры
Могу предложить только идею. Из искомой точки проводим луч в стороку многоугольника и находим количество точек пересечения. Если количество четное, то точка снаружи. Соответственно если нечетное, то внутри.
За математическими выкладками к математикам