mysql/core_cities_merge.sql
[Pman.Core] / mysql / core_cities_merge.sql
1
2 DROP FUNCTION IF EXISTS core_cities_merge_country;
3 DELIMITER $$
4 CREATE FUNCTION core_cities_merge_country()  RETURNS INT DETERMINISTIC
5     BEGIN
6         DECLARE co_done INT DEFAULT FALSE;
7
8         DECLARE v_count INT DEFAULT 0;
9         DECLARE v_total INT DEFAULT 0;
10
11         DECLARE v_id INT DEFAULT 0;
12         DECLARE v_iso TEXT DEFAULT '';
13         DECLARE v_local_name TEXT DEFAULT '';
14 --         DECLARE v_type TEXT DEFAULT '';
15         DECLARE v_in_location INT DEFAULT 0;
16         DECLARE v_geo_lat INT DEFAULT 0;
17         DECLARE v_geo_lng INT DEFAULT 0;
18
19         DECLARE v_id_tmp INT DEFAULT 0;
20         DECLARE v_iso_tmp TEXT DEFAULT '';
21         DECLARE v_local_name_tmp TEXT DEFAULT '';
22         DECLARE v_type_tmp TEXT DEFAULT '';
23         DECLARE v_in_location_tmp INT DEFAULT 0;
24
25         DECLARE v_id_tmp_tmp INT DEFAULT 0;
26
27         DECLARE co_csr CURSOR FOR 
28         SELECT 
29             id,iso,local_name,in_location
30         FROM 
31             meta_location
32         WHERE
33             type = 'CO';
34         
35         SELECT COUNT(id) INTO v_total FROM meta_location WHERE type = 'CO';
36
37         SET v_count = 0;
38
39         OPEN co_csr;
40         
41         co_loop: LOOP
42             FETCH co_csr INTO v_id,v_iso,v_local_name,v_in_location;
43             
44             SET v_count = v_count + 1;
45
46             SET v_id_tmp = 0;
47
48             SELECT id INTO v_id_tmp FROM core_geoip_country WHERE code = v_iso;
49
50             IF(v_id_tmp = 0) THEN
51                 INSERT INTO core_geoip_country (code, name, continent_id) VALUES (v_iso, v_local_name, 0);
52             END IF;
53                 
54             IF v_count = v_total THEN
55               LEAVE co_loop;
56             END IF;
57
58         END LOOP;
59         CLOSE co_csr;
60
61
62         RETURN v_count;
63     END $$
64 DELIMITER ; 
65
66
67
68
69 DROP FUNCTION IF EXISTS core_cities_merge_division;
70 DELIMITER $$
71 CREATE FUNCTION core_cities_merge_division()  RETURNS INT DETERMINISTIC
72     BEGIN
73         DECLARE re_done INT DEFAULT FALSE;
74         
75         DECLARE v_count INT DEFAULT 0;
76         DECLARE v_total INT DEFAULT 0;
77
78         DECLARE v_id INT DEFAULT 0;
79         DECLARE v_iso TEXT DEFAULT '';
80         DECLARE v_local_name TEXT DEFAULT '';
81 --         DECLARE v_type TEXT DEFAULT '';
82         DECLARE v_in_location INT DEFAULT 0;
83         DECLARE v_geo_lat INT DEFAULT 0;
84         DECLARE v_geo_lng INT DEFAULT 0;
85
86         DECLARE v_country_id INT DEFAULT 0;
87         DECLARE v_iso_tmp TEXT DEFAULT '';
88
89         DECLARE v_division_id INT DEFAULT 0;
90
91         DECLARE re_csr CURSOR FOR 
92         SELECT 
93             id,iso,local_name,in_location
94         FROM 
95             meta_location
96         WHERE
97             type = 'RE';
98         
99         SELECT COUNT(id) INTO v_total FROM meta_location WHERE type = 'RE';
100
101         SET v_count = 0;
102
103         OPEN re_csr;
104         re_loop: LOOP
105             FETCH re_csr INTO v_id,v_iso,v_local_name,v_in_location;
106             
107             SET v_count = v_count + 1;
108
109             SET v_country_id = 0;
110             SET v_division_id = 0;
111             SET v_iso_tmp = '';
112
113             IF v_in_location IS NOT NULL THEN
114                 SELECT iso INTO v_iso_tmp FROM meta_location WHERE id = v_in_location;
115
116                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_iso_tmp;
117                 
118             END IF;
119
120             SELECT 
121                     id 
122             INTO 
123                     v_division_id 
124             FROM 
125                     core_geoip_division 
126             WHERE 
127                     (
128                             name = v_local_name 
129                         OR 
130                             (
131                                     name LIKE (CONCAT('%', v_local_name, '%')) 
132                                 AND 
133                                     code = SUBSTRING_INDEX(v_iso, '-', -1)
134                             ) 
135                     )
136                     AND country_id = v_country_id;
137
138             IF v_division_id = 0 THEN
139                 
140                 INSERT INTO core_geoip_division (code, name, country_id) VALUES (v_iso, v_local_name, v_country_id);
141             END IF;
142
143 --             ITERATE re_loop;
144                 
145             IF v_count = v_total THEN
146               LEAVE re_loop;
147             END IF;
148
149         END LOOP;
150         CLOSE re_csr;
151
152         RETURN v_count;
153     END $$
154 DELIMITER ; 
155
156
157
158 DROP FUNCTION IF EXISTS core_cities_merge_city;
159 DELIMITER $$
160 CREATE FUNCTION core_cities_merge_city()  RETURNS INT DETERMINISTIC
161     BEGIN
162         DECLARE ci_done INT DEFAULT FALSE;
163
164         DECLARE v_count INT DEFAULT 0;
165         DECLARE v_total INT DEFAULT 0;
166
167         DECLARE v_id INT DEFAULT 0;
168         DECLARE v_iso TEXT DEFAULT '';
169         DECLARE v_local_name TEXT DEFAULT '';
170 --         DECLARE v_type TEXT DEFAULT '';
171         DECLARE v_in_location INT DEFAULT 0;
172         DECLARE v_geo_lat INT DEFAULT 0;
173         DECLARE v_geo_lng INT DEFAULT 0;
174
175         
176         DECLARE v_iso_tmp TEXT DEFAULT '';
177         DECLARE v_iso_tmp_tmp TEXT DEFAULT '';
178         DECLARE v_local_name_tmp TEXT DEFAULT '';
179         DECLARE v_type_tmp TEXT DEFAULT '';
180         DECLARE v_in_location_tmp INT DEFAULT 0;
181
182         DECLARE v_country_id INT DEFAULT 0;
183         DECLARE v_division_id INT DEFAULT 0;
184         DECLARE v_city_id INT DEFAULT 0;
185
186         DECLARE ci_csr CURSOR FOR 
187         SELECT 
188             id,iso,local_name,in_location,geo_lat,geo_lng
189         FROM 
190             meta_location
191         WHERE
192             type = 'CI';
193
194         SELECT COUNT(id) INTO v_total FROM meta_location WHERE type = 'CI';
195
196         SET v_count = 0;
197
198         OPEN ci_csr;
199         ci_loop: LOOP
200             FETCH ci_csr INTO v_id,v_iso,v_local_name,v_in_location,v_geo_lat,v_geo_lng;
201             
202             SET v_count = v_count + 1;
203
204             SET v_country_id = 0;
205             SET v_division_id = 0;
206             SET v_city_id = 0;
207
208             SET v_iso_tmp = '';
209             SET v_iso_tmp_tmp = '';
210             SET v_local_name_tmp = '';
211             SET v_type_tmp = '';
212             SET v_in_location_tmp = 0;
213             
214             IF v_in_location IS NOT NULL THEN
215                 SELECT iso, local_name, type, in_location INTO v_iso_tmp, v_local_name_tmp, v_type_tmp, v_in_location_tmp FROM meta_location WHERE id = v_in_location;
216
217                 IF v_type_tmp = 'CO' THEN
218                     SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_iso_tmp;
219                 END IF;
220
221                 IF v_type_tmp = 'RE' THEN
222                     IF v_in_location_tmp != 0 THEN
223
224                         SELECT iso INTO v_iso_tmp_tmp FROM meta_location WHERE id = v_in_location_tmp;
225
226                         SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_iso_tmp_tmp;
227
228                     END IF;
229
230                     SELECT id INTO v_division_id FROM core_geoip_division WHERE name = v_local_name_tmp AND country_id = v_country_id;
231
232                 END IF;
233
234             END IF;
235             
236
237
238             SELECT id INTO v_city_id FROM core_geoip_city WHERE name = v_local_name AND country_id = v_country_id AND division_id = v_division_id;
239
240             IF(v_city_id = 0) THEN
241                         
242                 INSERT INTO core_geoip_city (name, country_id, division_id) VALUES (v_local_name, v_country_id, v_division_id);
243                    
244                 SET v_city_id = LAST_INSERT_ID();
245
246                 IF v_geo_lat IS NOT NULL OR v_geo_lng IS NOT NULL THEN
247                     
248                     INSERT INTO core_geoip_location (latitude, longitude, city_id) VALUES (v_geo_lat, v_geo_lng, v_city_id);
249                 END IF;
250                 
251             END IF;
252
253             IF v_count = v_total THEN
254               LEAVE ci_loop;
255             END IF;
256
257         END LOOP;
258         CLOSE ci_csr;
259
260         RETURN v_count;
261     END $$
262 DELIMITER ; 
263
264
265 --   ---------------------------------------------------------------------------------------------------------------
266
267
268 DROP FUNCTION IF EXISTS core_country_locations;
269 DELIMITER $$
270 CREATE FUNCTION core_country_locations()  RETURNS INT DETERMINISTIC
271     BEGIN
272         DECLARE v_count INT DEFAULT 0;
273         DECLARE v_total INT DEFAULT 0;
274
275         DECLARE v_geoname_id INT DEFAULT 0;
276         DECLARE v_continent_code TEXT DEFAULT '';
277         DECLARE v_continent_name TEXT DEFAULT '';
278         DECLARE v_country_iso_code TEXT DEFAULT '';
279         DECLARE v_country_name TEXT DEFAULT '';
280
281         DECLARE v_country_id INT DEFAULT 0;
282         DECLARE v_continent_id INT DEFAULT 0;
283
284         DECLARE csr CURSOR FOR 
285         SELECT 
286             geoname_id,continent_code,continent_name,country_iso_code,country_name
287         FROM 
288             country_locations;
289         
290         SELECT COUNT(geoname_id) INTO v_total FROM country_locations;
291
292         SET v_count = 0;
293
294         OPEN csr;
295         read_loop: LOOP
296             FETCH csr INTO v_geoname_id,v_continent_code,v_continent_name,v_country_iso_code,v_country_name;
297             
298             SET v_count = v_count + 1;
299             
300             SET v_country_id = 0;
301             SET v_continent_id = 0;
302             
303             IF (v_continent_code != '') THEN
304                 SELECT id INTO v_continent_id FROM core_geoip_continent WHERE code = v_continent_code;
305
306                 IF v_continent_id = 0 THEN
307                     INSERT INTO core_geoip_continent (code, name) VALUES (v_continent_code, v_continent_name);
308                     SET v_continent_id = LAST_INSERT_ID();
309                 END IF;
310                 
311             END IF;
312
313             IF (v_country_iso_code != '') THEN
314                 
315                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
316
317                 IF v_country_id = 0 THEN
318                     INSERT INTO core_geoip_country (code, name, continent_id) VALUES (v_country_iso_code, v_country_name, v_continent_id);
319                 END IF;
320                 
321             END IF;
322     
323             IF v_count = v_total THEN
324               LEAVE read_loop;
325             END IF;
326
327         END LOOP;
328         CLOSE csr;
329
330
331         RETURN v_count;
332     END $$
333 DELIMITER ; 
334
335
336 DROP FUNCTION IF EXISTS core_country_blocks;
337 DELIMITER $$
338 CREATE FUNCTION core_country_blocks()  RETURNS INT DETERMINISTIC
339     BEGIN
340         DECLARE v_count INT DEFAULT 0;
341         DECLARE v_total INT DEFAULT 0;
342         
343         DECLARE v_geoname_id INT DEFAULT 0;
344         DECLARE v_network_start_ip TEXT DEFAULT '';
345         DECLARE v_network_mask_length INT DEFAULT 0;
346         DECLARE v_is_anonymous_proxy INT DEFAULT 0;
347         DECLARE v_is_satellite_provider INT DEFAULT 0;
348
349         DECLARE v_country_iso_code TEXT DEFAULT '';
350
351         DECLARE v_country_id INT DEFAULT 0;
352
353         DECLARE csr CURSOR FOR 
354         SELECT 
355             network_start_ip,network_mask_length,geoname_id,is_anonymous_proxy,is_satellite_provider
356         FROM 
357             country_blocks
358         WHERE 
359                 geoname_id != 0 
360             AND 
361                 registered_country_geoname_id != 0 
362             AND 
363                 geoname_id = registered_country_geoname_id
364             AND
365                 network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
366         
367         SELECT COUNT(network_start_ip) INTO v_total FROM country_blocks
368                 WHERE geoname_id != 0 AND registered_country_geoname_id != 0
369                 AND geoname_id = registered_country_geoname_id AND network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
370
371         SET v_count = 0;
372
373         OPEN csr;
374         read_loop: LOOP
375             FETCH csr INTO v_network_start_ip,v_network_mask_length,v_geoname_id,v_is_anonymous_proxy,v_is_satellite_provider;
376             
377             SET v_count = v_count + 1;
378             
379             SET v_country_id = 0;
380
381             SELECT country_iso_code INTO v_country_iso_code FROM country_locations WHERE geoname_id = v_geoname_id;
382
383             IF v_country_iso_code != '' THEN
384                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
385
386                 IF v_country_id != 0 THEN
387                     INSERT INTO core_geoip_country_network_mapping (start_ip, mask_length, country_id, is_anonymous_proxy, is_satellite_provider) VALUES (SUBSTRING_INDEX(v_network_start_ip,':','-1'), POW(2, 128-v_network_mask_length),v_country_id,v_is_anonymous_proxy,v_is_satellite_provider);
388                 END IF;
389
390             END IF;
391             
392             IF v_count = v_total THEN
393               LEAVE read_loop;
394             END IF;
395
396         END LOOP;
397         CLOSE csr;
398
399
400         RETURN v_count;
401     END $$
402 DELIMITER ; 
403
404
405
406
407
408 DROP FUNCTION IF EXISTS core_city_locations;
409 DELIMITER $$
410 CREATE FUNCTION core_city_locations()  RETURNS INT DETERMINISTIC
411     BEGIN
412         DECLARE v_count INT DEFAULT 0;
413         DECLARE v_total INT DEFAULT 0;
414
415         DECLARE v_country_iso_code TEXT DEFAULT '';
416         DECLARE v_subdivision_iso_code TEXT DEFAULT '';
417         DECLARE v_subdivision_name TEXT DEFAULT '';
418         DECLARE v_city_name TEXT DEFAULT '';
419         DECLARE v_metro_code TEXT DEFAULT '';
420         DECLARE v_time_zone TEXT DEFAULT '';
421
422         DECLARE v_country_id INT DEFAULT 0;
423         DECLARE v_division_id INT DEFAULT 0;
424         DECLARE v_city_id INT DEFAULT 0;
425
426         DECLARE csr CURSOR FOR 
427         SELECT 
428             country_iso_code,subdivision_iso_code,subdivision_name,city_name,metro_code,time_zone
429         FROM 
430             city_locations
431         WHERE
432             subdivision_name != '' OR city_name != '';
433         
434         SELECT COUNT(geoname_id) INTO v_total FROM city_locations WHERE subdivision_name != '' OR city_name != '';;
435
436         SET v_count = 0;
437
438         OPEN csr;
439         read_loop: LOOP
440             FETCH csr INTO v_country_iso_code,v_subdivision_iso_code,v_subdivision_name,v_city_name,v_metro_code,v_time_zone;
441             
442             SET v_count = v_count + 1;
443             
444             SET v_country_id = 0;
445             SET v_division_id = 0;
446             SET v_city_id = 0;
447             
448             
449             IF (v_country_iso_code != '') THEN
450                 SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
451             END IF;
452     
453             IF v_subdivision_name != '' THEN
454                 SELECT id INTO v_division_id FROM core_geoip_division WHERE name = v_subdivision_name AND country_id = v_country_id;
455
456                 IF v_division_id = 0 THEN
457                     INSERT INTO core_geoip_division (code, name, country_id) VALUES (v_subdivision_iso_code, v_subdivision_name, v_country_id);
458                     SET v_division_id = LAST_INSERT_ID();
459                 END IF;
460                 
461
462             END IF;
463
464             IF v_city_name != '' THEN
465                 
466                 SELECT id INTO v_city_id FROM core_geoip_city WHERE name = v_city_name AND country_id = v_country_id AND division_id = v_division_id;
467                 
468                 IF v_city_id = 0 THEN
469                     INSERT INTO core_geoip_city (name, country_id, division_id, metro_code, time_zone) VALUES (v_city_name, v_country_id, v_division_id, v_metro_code, v_time_zone);
470
471                 END IF;
472
473             END IF;
474
475             IF v_count = v_total THEN
476               LEAVE read_loop;
477             END IF;
478
479         END LOOP;
480         CLOSE csr;
481
482
483         RETURN v_count;
484     END $$
485 DELIMITER ; 
486
487
488
489 DROP FUNCTION IF EXISTS core_city_blocks_mapping;
490 DELIMITER $$
491 CREATE FUNCTION core_city_blocks_mapping()  RETURNS INT DETERMINISTIC
492     BEGIN
493         DECLARE v_count INT DEFAULT 0;
494         DECLARE v_total INT DEFAULT 0;
495         
496         
497         DECLARE v_geoname_id INT DEFAULT 0;
498
499         DECLARE v_country_id INT DEFAULT 0;
500         DECLARE v_divison_id INT DEFAULT 0;
501         DECLARE v_city_id INT DEFAULT 0;
502         DECLARE v_mapping_id INT DEFAULT 0;
503         DECLARE v_country_iso_code TEXT DEFAULT '';
504         DECLARE v_subdivision_name TEXT DEFAULT '';
505         DECLARE v_city_name TEXT DEFAULT '';
506
507         DECLARE csr CURSOR FOR 
508         SELECT 
509             DISTINCT(geoname_id)
510         FROM 
511             city_blocks
512         WHERE 
513                 geoname_id != 0
514             AND
515                 network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
516         
517         SELECT COUNT(DISTINCT(geoname_id)) INTO v_total FROM city_blocks WHERE geoname_id != 0  AND network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
518
519         SET v_count = 0;
520
521         OPEN csr;
522         read_loop: LOOP
523             FETCH csr INTO v_geoname_id;
524             
525             SET v_count = v_count + 1;
526             
527             SET v_country_id = 0;
528             SET v_divison_id = 0;
529             SET v_city_id = 0;
530             SET v_mapping_id = 0;
531
532             SET v_country_iso_code = '';
533             SET v_subdivision_name = '';
534             SET v_city_name = '';
535
536             SELECT id INTO v_mapping_id FROM city_blocks_mapping WHERE geoname_id = v_geoname_id AND city_id = v_city_id;
537             
538             IF v_mapping_id = 0 THEN
539                 SELECT country_iso_code,subdivision_name,city_name INTO v_country_iso_code, v_subdivision_name, v_city_name FROM city_locations WHERE geoname_id = v_geoname_id;
540
541                 IF v_country_iso_code != '' THEN
542                     SELECT id INTO v_country_id FROM core_geoip_country WHERE code = v_country_iso_code;
543                 END IF;
544
545                 IF v_subdivision_name != '' THEN
546                     SELECT id INTO v_divison_id FROM core_geoip_division WHERE name = v_subdivision_name AND country_id = v_country_id;
547                 END IF;
548
549                 SELECT id INTO v_city_id FROM core_geoip_city WHERE name = v_city_name AND country_id = v_country_id AND division_id = v_divison_id;
550
551                 IF v_city_id != 0 THEN
552                     INSERT INTO city_blocks_mapping (geoname_id, city_id) VALUES (v_geoname_id, v_city_id);
553                     
554                 END IF;
555
556             END IF;
557             
558             
559             IF v_count = v_total THEN
560               LEAVE read_loop;
561             END IF;
562
563         END LOOP;
564         CLOSE csr;
565
566         RETURN v_count;
567     END $$
568 DELIMITER ; 
569
570
571 -- 
572 -- 
573 -- DROP FUNCTION IF EXISTS core_city_blocks;
574 -- DELIMITER $$
575 -- CREATE FUNCTION core_city_blocks()  RETURNS INT DETERMINISTIC
576 --     BEGIN
577 --         DECLARE v_count INT DEFAULT 0;
578 --         DECLARE v_total INT DEFAULT 0;
579 --         
580 --         DECLARE v_network_start_ip TEXT DEFAULT '';
581 --         DECLARE v_network_mask_length INT DEFAULT 0;
582 --         DECLARE v_geoname_id INT DEFAULT 0;
583 --         DECLARE v_latitude DECIMAL(11,8) DEFAULT 0;
584 --         DECLARE v_longitude DECIMAL(11,8) DEFAULT 0;
585 --         DECLARE v_is_anonymous_proxy INT DEFAULT 0;
586 --         DECLARE v_is_satellite_provider INT DEFAULT 0;
587 -- 
588 --         
589 --         DECLARE v_city_id INT DEFAULT 0;
590 --         DECLARE v_mapping_id INT DEFAULT 0;
591 -- 
592 --         DECLARE csr CURSOR FOR 
593 --         SELECT 
594 --             network_start_ip,network_mask_length,geoname_id,latitude, longitude, is_anonymous_proxy,is_satellite_provider
595 --         FROM 
596 --             city_blocks
597 --         WHERE 
598 --                 geoname_id != 0
599 --             AND
600 --                 network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
601 --         
602 --         SELECT COUNT(network_start_ip) INTO v_total FROM city_blocks WHERE geoname_id != 0  AND network_start_ip REGEXP '::ffff:[0-9]+.[0-9]+.[0-9]+.[0-9]+$';
603 -- 
604 --         SET v_count = 0;
605 -- 
606 --         OPEN csr;
607 --         read_loop: LOOP
608 --             FETCH csr INTO v_network_start_ip,v_network_mask_length,v_geoname_id,v_latitude,v_longitude,v_is_anonymous_proxy,v_is_satellite_provider;
609 --             
610 --             SET v_count = v_count + 1;
611 --             
612 --             SET v_city_id = 0;
613 --             SET v_mapping_id = 0;
614 -- 
615 --             SELECT id, city_id INTO v_mapping_id, v_city_id FROM city_blocks_mapping WHERE geoname_id = v_geoname_id;
616 -- 
617 --             IF v_mapping_id != 0 THEN
618 -- 
619 --                 INSERT INTO core_geoip_location (latitude, longitude, city_id) VALUES (v_latitude, v_longitude, v_city_id);
620 -- 
621 --                 INSERT INTO core_geoip_city_network_mapping (start_ip, mask_length, city_id, is_anonymous_proxy, is_satellite_provider) VALUES (SUBSTRING_INDEX(v_network_start_ip,':','-1'), POW(2, 128-v_network_mask_length),v_city_id,v_is_anonymous_proxy,v_is_satellite_provider);
622 --                 
623 --             END IF;
624 --             
625 --             IF v_count = v_total THEN
626 --               LEAVE read_loop;
627 --             END IF;
628 -- 
629 --         END LOOP;
630 --         CLOSE csr;
631 -- 
632 --         RETURN v_count;
633 --     END $$
634 -- DELIMITER ;