Posts Tagged 重复url
目前问题 a 动态参数，重复页面及url庞杂，cms n套…. b 页面中存在大量以上链接 c 该类页面搜索引擎收录巨大，搜索引擎导入量颇高 摘取过程 url参数收集，分析 参数页面百度收录查询 服务器日志蜘蛛摘取分析，不同参数页面受访情况提取 带参数页面搜索引擎导入流量排序 robots中添加规则，小流量测试 增加对应静态页面入口 观测对应静态页面收录及搜索引擎导入量变化（排除异动） 大规模应用 修改cms及版面上对应的错误链接 停用部分cms，参数url返回404，或301到新地址 权值的传递，在百度一直是个问题… 还好有webtrends，以上大部分步骤涉及的数据问题，可自行解决 简化操作步骤，通过脚本或小程序，尽量简化手动操作步骤，形成完整的分析流程，还需要以下 1 日志push机制及脚本 2 内网服务器一台，实施webtrends 3 随机抽取指定列表页包含的url的小脚本 4 制作一份监测表格
