Helpex - Trao đổi & giúp đỡ
Đăng nhập
Lý Phúc Tâm
· 10:26 24/11/2014
3 giờ trước

Cần trợ giúp xuất dữ liệu sang tệp JSON

2
tôi chỉ cần viết mã và cũng viết mã bằng Python. Hiện tại tôi đang làm việc trên webcrawler. Tôi cần lưu dữ liệu của mình vào tệp JSON để có thể xuất dữ liệu đó sang MongoDB. import requests import json from bs4 import BeautifulSoup url=…
2 trả lời 2 bình luận 4.6k xem
Nguyễn Bình Quân
· 19:35 22/11/2013
3 giờ trước

HTMLUnit không hoạt động với AngularJS

6
Theo https://developers.google.com/webmasters/ajax-crawling/docs/html-snapshot , với HtmlUnit (2.13), tôi đang cố gắng tạo ảnh chụp nhanh cho trang web bằng AngularJS (1.2.1). Mã Java của tôi là: WebClient webClient = new WebClient(); webClient.setAjaxController(new…
5 trả lời 0 bình luận 7.1k xem
Trần Hoàng Thái
· 12:30 08/11/2016
4 giờ trước

Abot Crawler - Cách phát hiện phản hồi trống

2
Tôi đang sử dụng vb.net và có một số URL từ chối thu thập thông tin. Tôi thực sự muốn phát hiện khi thu thập thông tin trả về phản hồi rỗng, nhưng dường như đang gặp vấn đề trong việc tìm ra CÁCH. Mã số: Public Sub crawler_ProcessPageCrawlCompleted(sender As Object, e As…
1 trả lời 3 bình luận 314 xem
Vũ Minh Vương
· 09:09 13/12/2017
5 giờ trước

Theo dõi trạng thái từ khóa cho các bộ sưu tập khác nhau duy trì tốc độ truy xuất

6
Để hiểu rõ hơn ở đây là các bảng / mô hình của ứng dụng cạo của tôi trong Ruby on Rails với MySQL: Scraper (Người quét tìm kiếm một trang web nhất định cho tất cả các từ khóa) Từ khóa (Chứa cụm từ cần tìm kiếm & trạng thái (: tìm kiếm,: đang tìm kiếm,: đã tìm…
0 trả lời 2 bình luận 242 xem
Phạm Bích Trâm
· 05:23 13/11/2014
7 giờ trước

Cách dễ nhất để chạy tập lệnh python trong máy chủ đám mây là gì?

22
Tôi có một tập lệnh python thu thập dữ liệu web mất hàng giờ để hoàn thành và không thể chạy toàn bộ trên máy cục bộ của tôi. Có cách nào thuận tiện để triển khai điều này cho một máy chủ web đơn giản không? Về cơ bản, tập lệnh tải các trang web thành tệp văn bản. Làm thế nào để…
5 trả lời 1 bình luận 24k xem
Ngô Minh Ân
· 05:07 30/04/2012
8 giờ trước

Sự khác biệt giữa tìm và lọc trong jquery

28
Tôi đang tìm nạp dữ liệu từ các trang wiki. Tôi đang sử dụng kết hợp phpvà jqueryđể làm điều này. Đầu tiên, tôi sử dụng curlin phpđể tìm nạp nội dung trang và lặp lại nội dung. Tên tệp là content.php: $url = $_GET['url']; $url = trim($url," "); $url = urldecode($url); $url =…
3 trả lời 1 bình luận 23k xem
Võ Diễm My
· 07:29 08/07/2011
9 giờ trước

Làm cách nào để khóa đọc / ghi vào bảng MySQL để tôi có thể chọn và sau đó chèn mà không có chương trình khác đọc / ghi vào cơ sở dữ liệu?

35
Tôi đang chạy song song nhiều phiên bản của webcrawler. Mỗi trình thu thập thông tin chọn một miền từ một bảng, chèn url đó và thời gian bắt đầu vào bảng nhật ký, sau đó bắt đầu thu thập thông tin miền. Các trình thu thập thông tin song song khác kiểm tra bảng nhật ký để…
5 trả lời 0 bình luận 92k xem
Đỗ Minh Hoàng
· 15:43 30/10/2013
12 giờ trước

Sự khác biệt giữa BeautifulSoup và Scrapy thu thập thông tin?

143
Tôi muốn tạo một trang web hiển thị sự so sánh giữa giá sản phẩm amazon và e-bay. Cái nào trong số này sẽ hoạt động tốt hơn và tại sao? Tôi hơi quen thuộc với BeautifulSoup nhưng không quá quen thuộc với trình thu thập thông tin Scrapy .
9 trả lời 5 bình luận 75k xem
Huỳnh Thục Anh
· 20:23 04/08/2015
13 giờ trước

Dự án khởi động trị liệu đưa ra lỗi lạ

3
Tôi gần như khẳng định điều này là do sự cố python2.7 và python3.5 nhưng tôi chưa tìm ra cách khắc phục. tôi chạy $ scrapy startproject test1 và gặp lỗi này: Traceback (most recent call last): File…
5 trả lời 0 bình luận 2.1k xem
Trịnh Phương Quyên
· 20:18 10/08/2011
13 giờ trước

Trình thu thập thông tin web Python với cơ sở dữ liệu MySQL

6
Tôi muốn tạo hoặc tìm trình thu thập dữ liệu web mã nguồn mở (spider / bot) được viết bằng Python. Nó phải tìm và theo dõi các liên kết, thu thập thẻ meta và mô tả meta, tiêu đề của trang web và url của trang web và đưa tất cả dữ liệu vào cơ sở dữ liệu MySQL. Có ai biết về bất…
3 trả lời 0 bình luận 13k xem
loading
Mới tạo