文章列表
问题的出发点：
最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。
注：公司架构采集.NET平台架构。
技术障碍：
1. 面对用户量的增长，记录数2W倍的增长，如何保证这些记录能够在比较快的时间内进入存储介质。
2. 应对用户量的增长，如何在规定的时间内完成采集，增加硬件设备处理能力还是使用更多的服务器来处理请求。
3. 服务器的增长，是否能够支持现有的扩展能力。
...
乐思网络信息采集系统
火车采集器
八爪鱼采集器
熊猫采集软件
狂人采集器
网络神采
蓝蜘蛛互联网采集系统
以上本人研究过采集器，没人更适合的，应该说各有所长吧。 本人最近一直在研究关于数据采集的配置工具的实现，但想要找到更好的实现思路，不知道有没有哪位能够提供更好的解决方案呢？ 关于数据采集的配置方法
采集数据被封ip该怎么办，是否要启用IP池的方式，如何判断出网站都用了哪些仿采集的程序？如何防止被遮蔽ip地址？