[{"data":1,"prerenderedAt":18},["ShallowReactive",2],{"article":3},{"id":4,"category":5,"slug":6,"title":7,"image":8,"page_image":9,"published_at":10,"updated_at":11,"meta_title":12,"meta_description":13,"meta_keywords":14,"content":15,"tags":16,"faqs":17},140,"blog","cn-3-challenges-in-data-collection-with-ai-and-proxies-and-ways-to-overcome-them","数据收集中的3个挑战：AI与代理的结合及其解决方案","https://blog.dexodata.com/storage/uploads/previews/19-6-s-trusted-proxy-website-3-challenges-in-data-collection-with-ai-and-proxies-cover-fa513efe-98e6-4c44-af1c-7fb7742e2b89.webp","https://blog.dexodata.com/storage/uploads/covers/19-6-b-trusted-proxy-website-3-challenges-in-data-collection-with-ai-and-proxies-cover-0362fbc9-d92f-4f7f-88c4-0b9a6e69bac2.webp","2024/01/23","2024/02/16","通过AI和代理进行数据收集的3个关键挑战","在数据收集过程中，AI面临的主要3个挑战是什么？数据偏见、数据质量、数据漂移，以及如何通过Dexodata代理网站克服这些挑战。","buy residential and mobile proxies","\u003C!DOCTYPE html PUBLIC \"-//W3C//DTD HTML 4.0 Transitional//EN\" \"http://www.w3.org/TR/REC-html40/loose.dtd\">\n\u003C?xml encoding=\"utf-8\"?>\u003Chtml>\u003Cbody>\u003Cp>\u003Cem>\u003Cstrong>文章内容：\u003C/strong>\u003C/em>\u003C/p>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor1\">数据收集难度的悖论\u003C/a>\n\u003Cul>\n\u003Cli>\u003Ca href=\"#anchor2\">AI数据收集挑战 # 1. 偏见\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor3\">AI数据收集挑战 # 2. 质量\u003C/a>\u003C/li>\n\u003Cli>\u003Ca href=\"#anchor4\">AI数据收集挑战 # 3. 数据漂移\u003C/a>\u003C/li>\n\u003C/ul>\n\u003C/li>\n\u003C/ul>\n\u003Cp>想想以下事实。到2023年，每天产生了惊人的\u003Ca href=\"https://explodingtopics.com/blog/big-data-trends\" target=\"_blank\" rel=\"noopener\">3.5万亿字节的数据\u003C/a>用于收集。而在2015年，这一数字为2.5万亿。到2030年，将会有多少万亿字节的数据可供获取、审查和利用呢？\u003C/p>\n\u003Cp>可以肯定的是，个人和实体将会收集和评估这些不断扩展的数据集。作为一个专注于\u003Ca href=\"https://dexodata.com/en/data-scraping\" target=\"_blank\" rel=\"noopener\">数据收集代理\u003C/a>的网站，提供住宅和移动代理的购买服务，Dexodata无法不关注这场竞争。\u003C/p>\n\u003Cp>谁将获胜，收集数据的不断增加，还是AI的扩展能力？让我们来探讨一下我们所知道的。\u003C/p>\n\u003Ch2>\u003Ca name=\"anchor1\">\u003C/a>数据收集难度的悖论\u003C/h2>\n\u003Cp>智能计算能力正在飞速增长。最近的研究显示：\u003C/p>\n\u003Cul>\n\u003Cli>自2010年以来，专用于机器学习模型的\u003Ca href=\"https://epochai.org/blog/compute-trends\" target=\"_blank\" rel=\"noopener\">计算资源的数量\u003C/a>增加了惊人的100亿倍；\u003C/li>\n\u003Cli>根据《时代》杂志，AI在处理手写、口语、图像、文本，甚至常识性上下文方面，已经与人类同样有效或超过人类。\u003C/li>\n\u003C/ul>\n\u003Cp>一个合乎逻辑的问题随之而来：如果AI在数据解释方面如此先进，那么基于AI模型的数据收集有什么问题呢？数据收集应该比数据评估更简单。悖论的是，存在三个显著障碍，使得适用的困境更加复杂。\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor2\">\u003C/a>AI数据收集挑战 # 1. 偏见 \u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>数据是由人生成的，反映了人性。作为社会单位，我们带有偏见。因此，数据也可能包含偏见。收集这些固有偏见的数据，会导致偏差的错误结论。无论AI模型多么智能，如果它们积累和解释错误的细节，就会编制出缺陷数据集并给出误导性的观点。这是一个常见的数据收集挑战。最近的研究显示，组织报告由于AI偏见而产生的高昂后果。显著的\u003Ca href=\"https://www.informationweek.com/data-management/the-cost-of-ai-bias-lower-revenue-lost-customers\" target=\"_blank\" rel=\"noopener\">36%的人表示，他们的组织在一个或多个算法中经历了由于AI偏见而产生的不利影响\u003C/a>。\u003C/p>\n\u003Cp>到2024年，解决问题不再可能不依赖于人。您得到的数据集必须由具有上下文意识的多样化审查员手动分析，以识别收集后的偏见。\u003C/p>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor3\">\u003C/a>AI数据收集挑战 # 2. 质量 \u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>根据Gartner，数据质量属于\u003Ca href=\"https://www.gartner.com/smarterwithgartner/3-barriers-to-ai-adoption\" target=\"_blank\" rel=\"noopener\">AI激活和使用的三大障碍\u003C/a>之一。在数据收集过程中保持适当的质量可能是一项艰巨的任务，主要是因为可用信息通常是非结构化的，需要广泛的处理。在这方面，AI具有更大的潜力，因为它可以被训练执行某些操作，例如数据清理、减少、转录等。\u003C/p>\n\u003Cp style=\"text-align: center;\">\u003Cimg src=\"https://blog.dexodata.com/storage/uploads/images/140/19-6-geo-targeted-proxies-3-challenges-in-data-collection-with-ai-and-proxies-pic-1b41cd4a-e443-4f8b-a1bb-a3c8ac64aeaa.png\" alt=\"通过AI和代理进行数据收集的3个关键挑战\" width=\"1032\" height=\"491\">\u003C/p>\n\u003Cp>确保您委托进行数据收集的AI工具得到高素质人员的支持和调整，他们熟悉：\u003C/p>\n\u003Col>\n\u003Cli>确定缺失数据；\u003C/li>\n\u003Cli>执行数据完整性检查；\u003C/li>\n\u003Cli>识别数据不相关的实例；\u003C/li>\n\u003Cli>理解数据冗余问题。\u003C/li>\n\u003C/ol>\n\u003Cp style=\"line-height: 0.5;\"> \u003C/p>\n\u003Ch3>\u003Ca name=\"anchor4\">\u003C/a>AI数据收集挑战 # 3. 数据漂移  \u003C/h3>\n\u003Cp style=\"line-height: 0.1;\"> \u003C/p>\n\u003Cp>\u003Ca href=\"https://dexodata.com/en/blog/top-5-trends-to-enhance-big-data-with-geo-targeted-proxies-in-2023\" target=\"_blank\" rel=\"noopener\">大数据不断流动\u003C/a>，来自连接的物联网设备，包括传感器、智能家电、便携式设备。新闻网站、社交媒体动态以及用户生成的内容，加剧了过载。这种速度和数量可能导致分析错误、无限延迟，以及由于缺乏AI能力而未被使用的数据。\u003C/p>\n\u003Cp>可能存在三个二级障碍：\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>时间发展的变化\u003C/strong>\u003C/li>\n\u003C/ul>\n\u003Cp>现实世界的数据受到由于环境变化、行为模式或技术突破而持续变化的影响。今天有意义或准确的东西，未来可能不再成立。\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>维持当前运行的模型\u003C/strong>\u003C/li>\n\u003C/ul>\n\u003Cp>随着数据经历时间变化，基于过时数据训练的AI可能会失去准确性或变得完全过时。这一特性强调了持续跟踪模型性能及其系统性再训练的重要性。\u003C/p>\n\u003Cul>\n\u003Cli>\u003Cstrong>缺乏历史数据\u003C/strong>\u003C/li>\n\u003C/ul>\n\u003Cp>在某些情况下，尤其是在上升现象或快速上下文变化的情况下，可能缺乏有效代表当前或即将发生条件的历史记录。\u003C/p>\n\u003Cp>应对这些数据收集困难可能有两个方向：\u003C/p>\n\u003Col>\n\u003Cli>\u003Cem>手动持续更新\u003C/em>，意味着使用新数据重新训练模型并保持其相关性。还可以实施自动化管道，以定期刷新AI模型。\u003C/li>\n\u003Cli>灵活的\u003Cem>自我进化算法\u003C/em>，采用主动学习方法，使模型能够实时适应获取的数据。这些策略使模型参数能够逐步调整，提高其应对变化的数据分布的能力。\u003C/li>\n\u003C/ol>\n\u003Cp>Dexodata的平台提供\u003Ca href=\"https://dexodata.com/en/blog/what-are-geo-targeted-proxies-all-about\" target=\"_blank\" rel=\"noopener\">地理定位代理\u003C/a>，包括住宅和移动网络代理，强调：AI并不是灵丹妙药。正如您所看到的，人工参与只能解决现有的不足。是的，AI可以促进数据收集，协助工作人员。然而，人工智能尚无法完全取代他们。\u003C/p>\n\u003Cp>我们始终准备为您的团队提供服务，作为一个数据收集专业人员可以自由购买住宅和移动代理的平台。这将支持他们在全球范围内的AI活动，因为来自100多个国家的代理可供使用，包括美国、加拿大、主要的欧盟国家、土耳其、俄罗斯、哈萨克斯坦、乌克兰、智利。\u003C/p>\n\u003Cp>付费的\u003Ca href=\"https://dashboard.dexodata.com/admin/register?lang=en\" target=\"_blank\" rel=\"noopener\">代理免费试用\u003C/a>对有数据收集计划的新用户开放。\u003C/p>\u003C/body>\u003C/html>\n",[],[],1783936352564]