Även om det inte finns något som hindrar en beslutsam person från att skrapa offentligt tillgängligt innehåll, kan du göra några grundläggande saker för att mildra kundens oro:
-
Takstgräns per användarkonto, IP-adress, användaragent, etc... - detta innebär att du begränsar mängden data som en viss användargrupp kan ladda ner under en viss tidsperiod. Om du upptäcker att en stor mängd data överförs, stänger du av kontot eller IP-adressen.
-
Kräv JavaScript - för att säkerställa att klienten har en viss likhet med en interaktiv webbläsare, snarare än en barebones-spindel...
-
RIA - gör din data tillgänglig via ett Rich Internet Application-gränssnitt. JavaScript-baserade rutnät inkluderar ExtJs, YUI, Dojo, etc. Rikare miljöer inkluderar Flash och Silverlight som 1kevgriff nämner .
-
Koda data som bilder. Detta är ganska påträngande för vanliga användare, men du kan koda några av dina datatabeller eller värden som bilder istället för text, vilket skulle besegra de flesta texttolkare, men det är naturligtvis inte idiotsäkert.
-
robots.txt - för att förneka uppenbara webbspindlar, kända robotanvändaragenter.
Användaragent:*
Disallow:/
-
Använd robotmetataggar. Detta skulle sluta överensstämma med spindlar. Detta hindrar Google från att indexera dig till exempel:
Det finns olika nivåer av avskräckning och det första alternativet är förmodligen det minst påträngande.