Semalt Pakar Menggores Data Situs Web - Bot Baik dan Buruk

Pengikisan web telah ada sejak lama dan dianggap bermanfaat bagi para webmaster, jurnalis, pekerja lepas, programmer, non-programmer, peneliti pemasaran, pakar, dan pakar media sosial. Ada dua jenis bot: bot baik dan bot buruk. Bot yang baik memungkinkan mesin pencari untuk mengindeks konten web dan diberi preferensi tinggi oleh para pakar pasar dan pemasar digital. Bot buruk, di sisi lain, tidak berguna dan bertujuan untuk merusak peringkat mesin pencari situs. Legalitas pengikisan web tergantung pada jenis bot yang Anda gunakan.

Misalnya, jika Anda menggunakan bot buruk yang mengambil konten dari halaman web yang berbeda dengan tujuan menggunakannya secara ilegal, pengikisan web mungkin berbahaya. Tetapi jika Anda menggunakan bot yang baik dan menghindari kegiatan berbahaya termasuk penolakan serangan layanan, penipuan online, strategi penambangan data kompetitif, pencurian data, pembajakan akun, pemindaian kerentanan yang tidak sah, penipuan iklan digital, dan pencurian properti intelektual, maka prosedur pengikisan web bagus dan bermanfaat untuk menumbuhkan bisnis Anda di Internet.

Sayangnya, sebagian besar freelancer dan startup menyukai bot buruk karena mereka adalah cara yang murah, kuat, dan komprehensif untuk mengumpulkan data tanpa perlu kemitraan. Perusahaan besar, bagaimanapun, menggunakan pencakar web legal untuk keuntungan mereka dan tidak ingin merusak reputasi mereka di Internet dengan pencakar web ilegal. Pendapat umum tentang legalitas pengikisan web tampaknya tidak menjadi masalah karena dalam beberapa bulan terakhir telah menjadi jelas bahwa sistem pengadilan federal menindak semakin banyak strategi pengikisan web ilegal.

Pengikisan web dimulai sebagai proses ilegal pada 2000, ketika penggunaan bot dan laba-laba untuk mengikis situs web dianggap omong kosong. Tidak banyak praktik yang diadaptasi untuk menghentikan prosedur ini agar tidak menyebar di internet hingga 2010. eBay pertama kali mengajukan tuntutan awal terhadap Bidder's Edge, mengklaim bahwa penggunaan bot di situs web telah melanggar undang-undang Trespass to Chattels. Pengadilan segera memberikan perintah tersebut karena pengguna harus menyetujui syarat dan ketentuan situs dan sejumlah besar bot dinonaktifkan karena mereka dapat merusak mesin komputer eBay. Gugatan itu segera diselesaikan di luar pengadilan, dan eBay menghentikan semua orang menggunakan bot untuk mengikis web tidak peduli mereka baik atau buruk.

Pada tahun 2001, sebuah agen perjalanan menggugat para pesaing yang mengambil isinya dari situs web dengan bantuan laba-laba berbahaya dan bot buruk. Para hakim kembali mengambil tindakan terhadap kejahatan tersebut dan lebih menyukai para korban, dengan mengatakan bahwa pengikisan web dan penggunaan bot dapat membahayakan berbagai bisnis online.

Saat ini, untuk agregasi akademik, pribadi dan informasi, banyak orang mengandalkan prosedur pengikisan web yang adil, dan banyak alat pengikis web telah dikembangkan dalam hal ini. Sekarang para pejabat mengatakan bahwa tidak semua alat itu dapat diandalkan, tetapi yang datang dalam versi berbayar atau premium lebih baik daripada pencakar web gratis .

Pada tahun 2016, Kongres telah meloloskan undang-undang pertama untuk menargetkan bot buruk dan mendukung bot baik. Undang-Undang Penjualan Tiket Online yang Lebih Baik (BOTS) dibentuk yang melarang penggunaan perangkat lunak ilegal yang dapat menargetkan situs web, merusak peringkat mesin pencari mereka dan menghancurkan bisnis mereka. Ada masalah keadilan. Misalnya, LinkedIn telah menghabiskan banyak uang untuk alat yang memblokir atau menghilangkan bot buruk dan mendorong bot bagus. Karena pengadilan telah mencoba untuk memutuskan legalitas pengikisan web, perusahaan-perusahaan tersebut mencuri data mereka.