废小米的菜地

重复url摘取过程

© 废小米 / 2010.07.01 / 目录:搜索引擎优化 / 回复 /

目前问题
a 动态参数，重复页面及url庞杂，cms n套….
b 页面中存在大量以上链接
c 该类页面搜索引擎收录巨大，搜索引擎导入量颇高

摘取过程

url参数收集，分析
参数页面百度收录查询
服务器日志蜘蛛摘取分析，不同参数页面受访情况提取
带参数页面搜索引擎导入流量排序
robots中添加规则，小流量测试
增加对应静态页面入口
观测对应静态页面收录及搜索引擎导入量变化（排除异动）
大规模应用
修改cms及版面上对应的错误链接
停用部分cms，参数url返回404，或301到新地址

权值的传递，在百度一直是个问题…

还好有webtrends，以上大部分步骤涉及的数据问题，可自行解决

简化操作步骤，通过脚本或小程序，尽量简化手动操作步骤，形成完整的分析流程，还需要以下
1 日志push机制及脚本
2 内网服务器一台，实施webtrends
3 随机抽取指定列表页包含的url的小脚本
4 制作一份监测表格

标签: 动态url, 重复url