`
3golden
  • 浏览: 2114 次
最近访客 更多访客>>
文章分类
社区版块
存档分类
最新评论

数据采集高并发的架构应用

阅读更多
问题的出发点

         最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是指令要及时得到响应的频率次数远大于预期。
         注:公司架构采集.NET平台架构。

技术障碍:


     1. 面对用户量的增长,记录数2W倍的增长,如何保证这些记录能够在比较快的时间内进入存储介质。

   2. 应对用户量的增长,如何在规定的时间内完成采集,增加硬件设备处理能力还是使用更多的服务器来处理请求。

     3. 服务器的增长,是否能够支持现有的扩展能力。

     4. 服务器下发任务给客户端,采集指令易堵塞,造成假死现象。

架构实现?
分享到:
评论

相关推荐

    《数据科学与大数据技术导论》数据的采集.pptx

    数据情况 传统的数据采集 大数据采集 数据来源 来源单一,数据量相对大数据较小 来源广泛,数据量巨大 数据类型 结构单一 数据类型丰富,包括结构化、 半结构化、准结构化、非结构化 数据处理 关系型数据库和并行...

    point io是适合于不同应用场景的物联网数据采集与交互的通信框架

    point io是适合于不同应用场景的物联网数据采集与交互的通信框架。它是基于高性能和高可用性的Mina框架构建而来,支持批量数据传输;支持TCP、UDP协议;控制反转的设计模式(支持spring);采用优雅的松耦合架构。单...

    ArchSummit 2023全球架构师峰会北京站(公开)PPT汇总(42份).zip

    高并发架构实践 国产OS自主核心能力打磨实践TencentOS Server进击之路 机器翻译模型训练推理加速实践 数智融合的理念与实践 云海量规模下故障定界实践 基于风险驱动的交付模式转型探索与实践 基于元数据和配置驱动的...

    网络发票应用系统设计与实现

    在需求分析基础上,开展系统总体设计,包括应用逻辑架构、系统组成结构、应用数据架构和逻辑部署架构的设计;最后以系统总体设计为基础对系统进行实现,以发票开具、发票配号这两个主要功能为例介绍了系统实现过程。...

    一种大数据智能分析平台的数据分析方法及实现技术.doc

    按数据采集频度分为非实时数据、准实时数据处理架 构;并提供数据中心平台与安全管理方案,为企业级用户建立一个通用数据处理和分析 中心。如图1所示。 2.2 在线数据 在线数据在线通过接口去获得的数据,一般要求为...

    网站架构技术

    临控数据采集 临控管理 永无止境:网站的可伸缩性 网站架构的伸缩性设计 不同功能进行物理分离实现伸缩 单一功能通过集群规模实现伸缩 应用服务器集群的伸缩性设计 http重定向负载均衡 DNS域名解析...

    大数据中台架构栈.doc

    Flume,Logstash,Filebeat,Fluentd ,rsyslog 几种常见的框架,我们挑应用较广泛的前两者介绍下: 1.1 Flume 和 Logstash Flume 是一款由 Cloudera 开发的实时采集日志引擎,主打高并发,高速度,分布式海量日志...

    最新云平台和数据库平台迁移方案合集(21份).zip

    无感平滑迁移:海量高并发数据库国产化改造及应用 业务迁移基本流程设计与华为迁移方案概述 银行数据库改造之路:Oracle to MySQL迁移实践 用基础设施即代码自动化架构迁移 云平台迁移解决方案(高效、不停机) 云...

    3-5-美团大数据平台架构实践-谢语宸.zip

    随后,作者详细介绍了美团大数据平台的架构设计,包括数据采集、存储、处理和分析等关键环节,并强调了系统的稳定性、可靠性和实时性。在存储方面,文档解释了如何利用分布式文件系统和数据库技术来保证数据的安全和...

    大数据分析一体机.pptx

    建模仿真 大数据技术: 数据采集:ETL工具 数据存取:关系数据库;NoSQL;SQL等 基础架构支持:云存储;分布式文件系统等 计算结果展现:云计算;标签云;关系图等 存储 结构化数据: 海量数据的查询、统计、更新等...

    [零食商贩] - 基于vue全家桶 + koa2 + sequelize + mysql 搭建的移动商城应用.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    本项目为SWPU数据库原理及应用大作业《西柚外卖订餐系统》,基于Python+Flask+MySQL开发,轻量简洁.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    大数据技术初探.docx

    大数据采集的主要特点是并发访问量大,因为同时有可能会有成千上万的用户来进行访问和操作,比如火车票售票网站的并发访问量在峰值时达到上百万,这时传统的数据采集工具很容易失效。大数据采集方法主要包括:系统...

    基于 jsp + servlet + mysql 三层架构实现的网上书店系统.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    springboot+mybatis+dubbo 本项目是基于微服务架构的班车预约系统.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    基于Java Swing + MySQL + JDBC 的图书管理系统.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    独立开发的基于Django+weui+weui.js,mysql的移动电商项目,实现微信认证,登录,微信支付等功能.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    基于 nodejs express mysql 开发的留言板 demo.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

    电影推荐系统:SpringBoot、vue,基于物品的协同过滤算法,IDEA,WebStorm,mysql.zip

    移动应用与物联网(IoT):作为数据存储层,支撑大量设备的数据采集、存储和查询需求。 嵌入式系统:在资源有限的环境中,作为轻量级数据库解决方案。 总之,MySQL凭借其开源、跨平台、高性能、灵活扩展、丰富...

Global site tag (gtag.js) - Google Analytics