首先，在网站内部的robots.txt文件是第一个因素，如果被损坏或出现书写错误的时候影响是比较大的，书写不规范、写错了或者拒绝蜘蛛的抓取都会造成影响，所以robots.txt文件书写的时候要注意内容的大小写，许多网站都是这个问题，如果搜索引擎机器人错误的理解了您的robots.txt文件,它们可能会完全无视你的网页。对于这个问题，解决的办法是仔细检查您的robots.txt文件，并确保您网页上的的参数是正确的，你可以使用谷歌网站管理员工具来创建一个robots.txt文件。
　　其次，网站优化的时候网址要以稳定为主，如果站内包含太多的变数网址，影响也是很巨大的。URL中包含太多的变数可能会造成搜索引擎机器人搜索困难，如果您的URL包含变数太多，搜索引擎漫游器可能会忽视您的网页，对于这个问题一些比较熟悉网站建设的人可能会想到动态网页助企优化认为的确就是这个问题，动态生成的网页(括ASP、PHP)可能导致抓取工具无法收录，解决办法，使用静态页面或者伪静态。
　　第三，网站内部要协调一致，不能出现过多无关的东西，其中回话ID就是一个因素，许多搜索引擎不去收录那些包含会话ID的网页，因为它们可导致内容的重复，如果可能的话，避免会话ID出现在您的网址，而使用cookies 存储会话ID。网页中包含太多的JS代码也不大合适，网页中包含了JavaScript代码、CSS的代码以及其他脚本代码。这些代码与内容没有直接的联系，访问您网页并选择“查看源文件”或“查看HTML源”，如果您很难对网站上的实际内容进行更改，那么通常情况下搜索引擎收录起来也很困难。