2.1.27 • Published 7 months ago

@blocklet/crawler v2.1.27

Weekly downloads
-
License
ISC
Repository
-
Last release
7 months ago

@blocklet/crawler

@blocklet/crawler is a package crawler for Blocklet.

Package Structure

The package is composed of both frontend and backend components. The backend code can be found in the middlewares folder.

Development

Install In Blocklet

# You can use npm / yarn
pnpm add @blocklet/crawler

Install Dependencies

To install the required dependencies, run the following command:

pnpm i

Build Packages

To build the packages, execute the following command:

pnpm build

Build, Watch, and Run Development Server

For building, watching changes, and running the development server, use the following command:

pnpm run dev

Backend Example

const { initSEOMiddleware, initCronCrawlBlocklet } = require('@blocklet/crawler/middlewares');

// init cron job to crawl blocklet that generate SEO pages
initCronCrawlBlocklet({
  time: '0 0 */12 * * *',
});

const router = express.Router();
// init SEO middleware, when request come, we will return the SEO static page
router.use(initSEOMiddleware());

License

This package is licensed under the MIT license.

blockletcrawler
@abtnode/cron@blocklet/puppeteer@blocklet/sdkaxioscryptofs-extrageneric-poollodashlru-cachep-queuep-wait-forprettierredisrobots-parsersitemapufourl-join
@everything-registry/sub-chunk-132
2.1.27

7 months ago

2.1.25

7 months ago

2.1.26

7 months ago

2.1.23

8 months ago

2.1.24

8 months ago

2.1.21

8 months ago

2.1.22

8 months ago

2.1.19

8 months ago

2.1.20

8 months ago

2.1.18

8 months ago

2.1.16

8 months ago

2.1.17

8 months ago

2.1.14

8 months ago

2.1.15

8 months ago

2.1.13

8 months ago

2.1.12

8 months ago

2.1.11

8 months ago

2.1.2

9 months ago

2.1.1

9 months ago

2.1.4

9 months ago

2.1.3

9 months ago

2.1.6

8 months ago

2.1.5

8 months ago

2.1.8

8 months ago

2.1.7

8 months ago

2.1.0

9 months ago

2.1.10

8 months ago

2.0.198

9 months ago

2.0.197

9 months ago

2.1.9

8 months ago

2.0.191

9 months ago

2.0.196

9 months ago

2.0.195

9 months ago

2.0.194

9 months ago

2.0.193

9 months ago

2.0.192

9 months ago

2.0.190

9 months ago

2.0.179

9 months ago

2.0.178

9 months ago

2.0.177

9 months ago

2.0.176

9 months ago

2.0.175

9 months ago

2.0.174

9 months ago

2.0.172

9 months ago

2.0.171

9 months ago

2.0.170

9 months ago

2.0.180

9 months ago

2.0.189

9 months ago

2.0.188

9 months ago

2.0.187

9 months ago

2.0.186

9 months ago

2.0.185

9 months ago

2.0.184

9 months ago

2.0.183

9 months ago

2.0.182

9 months ago

2.0.181

9 months ago

2.0.159

9 months ago

2.0.158

9 months ago

2.0.157

9 months ago

2.0.156

9 months ago

2.0.155

9 months ago

2.0.154

10 months ago

2.0.153

10 months ago

2.0.152

10 months ago

2.0.151

10 months ago

2.0.150

10 months ago

2.0.169

9 months ago

2.0.168

9 months ago

2.0.167

9 months ago

2.0.166

9 months ago

2.0.165

9 months ago

2.0.164

9 months ago

2.0.163

9 months ago

2.0.162

9 months ago

2.0.161

9 months ago

2.0.160

9 months ago

2.0.149

10 months ago

2.0.148

10 months ago

2.0.147

10 months ago

2.0.146

10 months ago

2.0.145

10 months ago

2.0.144

10 months ago

2.0.143

10 months ago

2.0.142

10 months ago

2.0.141

10 months ago

2.0.140

10 months ago

2.0.15

12 months ago

2.0.16

12 months ago

2.0.13

1 year ago

2.0.14

1 year ago

2.0.11

1 year ago

2.0.12

1 year ago

2.0.10

1 year ago

2.0.19

12 months ago

2.0.17

12 months ago

2.0.18

12 months ago

2.0.26

12 months ago

2.0.27

12 months ago

2.0.24

12 months ago

2.0.25

12 months ago

2.0.22

12 months ago

2.0.23

12 months ago

2.0.20

12 months ago

2.0.21

12 months ago

2.0.28

12 months ago

2.0.29

12 months ago

2.0.37

11 months ago

2.0.38

11 months ago

2.0.35

12 months ago

2.0.36

11 months ago

2.0.33

12 months ago

2.0.34

12 months ago

2.0.31

12 months ago

2.0.32

12 months ago

2.0.30

12 months ago

2.0.39

11 months ago

2.0.48

11 months ago

2.0.49

11 months ago

2.0.46

11 months ago

2.0.47

11 months ago

2.0.44

11 months ago

2.0.45

11 months ago

2.0.42

11 months ago

2.0.43

11 months ago

2.0.40

11 months ago

2.0.41

11 months ago

2.0.59

11 months ago

2.0.57

11 months ago

2.0.58

11 months ago

2.0.55

11 months ago

2.0.56

11 months ago

2.0.53

11 months ago

2.0.54

11 months ago

2.0.51

11 months ago

2.0.52

11 months ago

2.0.50

11 months ago

2.0.68

11 months ago

2.0.69

11 months ago

2.0.66

11 months ago

2.0.67

11 months ago

2.0.64

11 months ago

2.0.65

11 months ago

2.0.62

11 months ago

2.0.63

11 months ago

2.0.61

11 months ago

2.0.79

11 months ago

2.0.77

11 months ago

2.0.78

11 months ago

2.0.75

11 months ago

2.0.76

11 months ago

2.0.73

11 months ago

2.0.74

11 months ago

2.0.71

11 months ago

2.0.72

11 months ago

2.0.70

11 months ago

2.0.88

11 months ago

2.0.89

11 months ago

2.0.86

11 months ago

2.0.87

11 months ago

2.0.84

11 months ago

2.0.85

11 months ago

2.0.82

11 months ago

2.0.83

11 months ago

2.0.80

11 months ago

2.0.81

11 months ago

2.0.99

10 months ago

2.0.97

10 months ago

2.0.98

10 months ago

2.0.95

10 months ago

2.0.96

10 months ago

2.0.94

11 months ago

1.6.259

1 year ago

1.6.258

1 year ago

1.6.260

1 year ago

1.6.262

1 year ago

1.6.261

1 year ago

1.6.264

1 year ago

1.6.263

1 year ago

1.6.255

1 year ago

1.6.254

1 year ago

1.6.257

1 year ago

1.6.256

1 year ago

2.0.3

1 year ago

2.0.2

1 year ago

2.0.139

10 months ago

2.0.5

1 year ago

2.0.138

10 months ago

2.0.4

1 year ago

2.0.137

10 months ago

2.0.7

1 year ago

2.0.136

10 months ago

2.0.6

1 year ago

2.0.135

10 months ago

2.0.9

1 year ago

2.0.134

10 months ago

2.0.133

10 months ago

2.0.132

10 months ago

2.0.131

10 months ago

2.0.130

10 months ago

2.0.1

1 year ago

2.0.0

1 year ago

2.0.109

10 months ago

2.0.119

10 months ago

2.0.118

10 months ago

2.0.117

10 months ago

2.0.116

10 months ago

2.0.115

10 months ago

2.0.114

10 months ago

2.0.113

10 months ago

2.0.112

10 months ago

2.0.111

10 months ago

2.0.110

10 months ago

2.0.129

10 months ago

2.0.128

10 months ago

2.0.127

10 months ago

2.0.126

10 months ago

2.0.125

10 months ago

2.0.124

10 months ago

2.0.123

10 months ago

2.0.122

10 months ago

2.0.121

10 months ago

2.0.120

10 months ago

2.0.108

10 months ago

2.0.107

10 months ago

2.0.106

10 months ago

2.0.105

10 months ago

2.0.104

10 months ago

2.0.103

10 months ago

2.0.102

10 months ago

2.0.101

10 months ago

2.0.100

10 months ago

1.6.253

1 year ago

1.6.246

1 year ago

1.6.248

1 year ago

1.6.247

1 year ago

1.6.249

1 year ago

1.6.251

1 year ago

1.6.250

1 year ago

1.6.252

1 year ago

1.6.244

1 year ago

1.6.245

1 year ago

1.6.243

1 year ago

1.6.242

1 year ago

1.6.241

1 year ago

1.6.239

1 year ago

1.6.240

1 year ago

1.6.238

1 year ago

1.6.237

1 year ago

1.6.236

1 year ago

1.6.234

1 year ago

1.6.233

1 year ago

1.6.232

1 year ago

1.6.231

1 year ago

1.6.228

1 year ago

1.6.229

1 year ago

1.6.230

1 year ago

1.6.227

1 year ago

1.6.226

1 year ago

1.6.225

1 year ago

1.6.224

1 year ago

1.6.222

1 year ago

1.6.221

1 year ago

1.6.223

1 year ago

1.6.220

1 year ago

1.6.219

1 year ago

1.6.218

1 year ago

1.6.217

1 year ago

1.6.215

1 year ago

1.6.216

1 year ago

1.6.214

1 year ago

1.6.213

1 year ago

1.6.211

1 year ago

1.6.212

1 year ago

1.6.206

1 year ago

1.6.208

1 year ago

1.6.207

1 year ago

1.6.209

1 year ago

1.6.210

1 year ago

1.6.204

1 year ago

1.6.203

1 year ago

1.6.205

1 year ago

1.6.202

1 year ago

1.6.198

1 year ago

1.6.199

1 year ago

1.6.200

1 year ago

1.6.201

1 year ago

1.6.196

1 year ago

1.6.197

1 year ago

1.6.195

1 year ago

1.6.192

1 year ago

1.6.191

1 year ago

1.6.194

1 year ago

1.6.193

1 year ago

1.6.189

1 year ago

1.6.188

1 year ago

1.6.185

1 year ago

1.6.187

1 year ago

1.6.186

1 year ago

1.6.184

1 year ago

1.6.183

1 year ago

1.6.182

1 year ago

1.6.181

1 year ago

1.6.180

1 year ago

1.6.179

1 year ago

1.6.176

1 year ago

1.6.178

1 year ago

1.6.177

1 year ago

1.6.174

1 year ago

1.6.175

1 year ago

1.6.173

1 year ago

1.6.172

1 year ago

1.6.169

1 year ago

1.6.170

1 year ago

1.6.171

1 year ago

1.6.168

1 year ago

1.6.167

1 year ago

1.6.165

1 year ago

1.6.164

1 year ago

1.6.166

1 year ago

1.6.163

1 year ago

1.6.162

1 year ago

1.6.159

1 year ago

1.6.161

1 year ago

1.6.160

1 year ago

1.6.158

1 year ago

1.6.154

1 year ago

1.6.153

1 year ago

1.6.156

1 year ago

1.6.157

1 year ago

1.6.152

1 year ago

1.6.149

1 year ago

1.6.150

1 year ago

1.6.151

1 year ago

1.6.148

1 year ago

1.6.147

1 year ago

1.6.146

1 year ago

1.6.141

1 year ago

1.6.140

1 year ago

1.6.143

1 year ago

1.6.142

1 year ago

1.6.145

1 year ago

1.6.144

1 year ago

1.6.138

1 year ago

1.6.137

1 year ago

1.6.139

1 year ago

1.6.130

1 year ago

1.6.132

1 year ago

1.6.131

1 year ago

1.6.134

1 year ago

1.6.133

1 year ago

1.6.136

1 year ago

1.6.135

1 year ago

1.6.127

1 year ago

1.6.126

1 year ago

1.6.129

1 year ago

1.6.128

1 year ago

1.6.125

1 year ago

1.6.124

1 year ago

1.6.123

1 year ago

1.6.121

1 year ago

1.6.120

1 year ago

1.6.118

1 year ago

1.6.119

1 year ago

1.6.116

1 year ago

1.6.117

1 year ago

1.6.115

1 year ago

1.6.114

1 year ago

1.6.113

1 year ago

1.6.105

1 year ago

1.6.104

1 year ago

1.6.107

1 year ago

1.6.106

1 year ago

1.6.109

1 year ago

1.6.108

1 year ago

1.6.110

1 year ago

1.6.112

1 year ago

1.6.111

1 year ago

1.6.103

1 year ago

1.6.101

1 year ago

1.6.100

1 year ago

1.6.102

1 year ago

1.6.95

1 year ago

1.6.97

1 year ago

1.6.96

1 year ago

1.6.99

1 year ago

1.6.98

1 year ago

1.6.93

1 year ago

1.6.92

1 year ago

1.6.94

1 year ago

1.6.88

1 year ago

1.6.87

1 year ago

1.6.89

1 year ago

1.6.91

1 year ago

1.6.90

1 year ago

1.6.86

1 year ago

1.6.85

1 year ago

1.6.80

1 year ago

1.6.82

1 year ago

1.6.81

1 year ago

1.6.84

1 year ago

1.6.83

1 year ago

1.6.79

1 year ago

1.6.77

1 year ago

1.6.78

1 year ago

1.6.75

1 year ago

1.6.74

1 year ago

1.6.76

1 year ago

1.6.71

1 year ago

1.6.73

1 year ago

1.6.72

1 year ago

1.6.70

1 year ago

1.6.66

1 year ago

1.6.68

1 year ago

1.6.67

1 year ago

1.6.69

1 year ago

1.6.64

1 year ago

1.6.65

1 year ago

1.6.62

1 year ago

1.6.63

1 year ago

1.6.59

1 year ago

1.6.60

1 year ago

1.6.61

1 year ago

1.6.55

1 year ago

1.6.57

1 year ago

1.6.56

1 year ago

1.6.58

1 year ago

1.6.53

1 year ago

1.6.54

1 year ago

1.6.49

1 year ago

1.6.51

1 year ago

1.6.50

1 year ago

1.6.52

1 year ago

1.6.46

1 year ago

1.6.45

1 year ago

1.6.48

1 year ago

1.6.47

1 year ago

1.6.44

1 year ago

1.6.40

1 year ago

1.6.42

1 year ago

1.6.41

1 year ago

1.6.43

1 year ago

1.6.39

1 year ago

1.6.38

1 year ago

1.6.37

1 year ago

1.6.31

1 year ago

1.6.33

1 year ago

1.6.32

1 year ago

1.6.35

1 year ago

1.6.34

1 year ago

1.6.36

1 year ago

1.6.22

1 year ago

1.6.21

1 year ago

1.6.24

1 year ago

1.6.23

1 year ago

1.6.26

1 year ago

1.6.25

1 year ago

1.6.28

1 year ago

1.6.27

1 year ago

1.6.29

1 year ago

1.6.30

1 year ago

1.6.20

1 year ago

1.6.17

1 year ago

1.6.16

1 year ago

1.6.19

1 year ago

1.6.18

1 year ago

1.6.15

1 year ago

1.6.14

1 year ago

1.6.13

1 year ago

1.6.9

1 year ago

1.6.8

1 year ago

1.6.11

1 year ago

1.6.10

1 year ago

1.6.12

1 year ago

1.6.4

1 year ago

1.6.3

1 year ago

1.6.2

1 year ago

1.6.1

1 year ago

1.6.0

1 year ago

1.6.7

1 year ago

1.6.6

1 year ago

1.6.5

1 year ago

1.5.214

1 year ago

1.5.213

1 year ago

1.5.212

2 years ago

1.5.209

2 years ago

1.5.208

2 years ago

1.5.211

2 years ago

1.5.210

2 years ago

1.5.203

2 years ago

1.5.202

2 years ago

1.5.207

2 years ago

1.5.206

2 years ago

1.5.205

2 years ago

1.5.204

2 years ago

1.5.201

2 years ago

1.5.200

2 years ago

1.5.199

2 years ago

1.5.198

2 years ago

1.5.197

2 years ago

1.5.196

2 years ago

1.5.195

2 years ago

1.5.194

2 years ago

1.5.193

2 years ago

1.5.192

2 years ago

1.5.191

2 years ago

1.5.190

2 years ago

1.5.189

2 years ago

1.5.188

2 years ago

1.5.187

2 years ago

1.5.186

2 years ago

1.5.185

2 years ago

1.5.184

2 years ago

1.5.183

2 years ago

1.5.182

2 years ago

1.5.181

2 years ago

1.5.180

2 years ago

1.5.179

2 years ago

1.5.178

2 years ago

1.5.177

2 years ago

1.5.176

2 years ago

1.5.175

2 years ago

1.5.174

2 years ago

1.5.173

2 years ago

1.5.172

2 years ago

1.5.171

2 years ago

1.5.170

2 years ago

1.5.169

2 years ago

1.5.168

2 years ago

1.5.167

2 years ago

1.5.165

2 years ago

1.5.164

2 years ago

1.5.163

2 years ago

1.5.162

2 years ago

1.5.161

2 years ago

1.5.160

2 years ago

1.5.159

2 years ago

1.5.158

2 years ago

1.5.157

2 years ago

1.5.156

2 years ago

1.5.155

2 years ago

1.5.154

2 years ago

1.5.153

2 years ago

1.5.152

2 years ago

1.5.151

2 years ago

1.5.150

2 years ago

1.5.149

2 years ago

1.5.148

2 years ago

1.5.147

2 years ago

1.5.146

2 years ago

1.5.145

2 years ago

1.5.144

2 years ago

1.5.143

2 years ago

1.5.142

2 years ago

1.5.141

2 years ago

1.5.140

2 years ago

1.5.139

2 years ago

1.5.138

2 years ago

1.5.137

2 years ago

1.5.136

2 years ago

1.5.135

2 years ago

1.5.134

2 years ago

1.5.133

2 years ago

1.5.132

2 years ago

1.5.131

2 years ago

1.5.130

2 years ago

1.5.129

2 years ago

1.5.128

2 years ago

1.5.127

2 years ago