Notify.php
[Pman.Core] / Notify.php
index b526e85..1b00e61 100644 (file)
@@ -16,7 +16,13 @@ require_once 'Pman.php';
 class Pman_Core_Notify extends Pman
 {
     
-    static $cli_desc = "Send out notification emails (usually from cron)";
+    static $cli_desc = "Runs the notification queue (usually from cron)
+                        Normally used to sends out emails to anyone in the notification list.
+    
+                        /etc/cron.d/pman-core-notify
+                        * *  * * *     www-data     /usr/bin/php /home/gitlive/web.mtrack/admin.php  Core/Notify > /dev/null
+    
+";
     
     static $cli_opts = array(
         'debug' => array(
@@ -43,22 +49,51 @@ class Pman_Core_Notify extends Pman
             'max' => 0,
             
         ),
-         'force' => array(
+        'force' => array(
             'desc' => 'Force redelivery, even if it has been sent before or not queued...',
             'default' => 0,
             'short' => 'f',
             'min' => 0,
             'max' => 0,
         ),
+        'generate' => array(
+            'desc' => 'Generate notifications for a table, eg. cash_invoice',
+            'default' => '',
+            'short' => 'g',
+            'min' => 0,
+            'max' => 1,
+        ),
+         'limit' => array(
+            'desc' => 'Limit search for no. to send to ',
+            'default' => 1000,
+            'short' => 'L',
+            'min' => 0,
+            'max' => 999,
+        ),
+        'dryrun' => array(
+            'desc' => 'Dry run - do not send.',
+            'default' => 0,
+            'short' => 'D',
+            'min' => 0,
+            'max' => 0,
+        ),
+        'poolsize' => array(
+            'desc' => 'Pool size',
+            'default' => 10,
+            'short' => 'P',
+            'min' => 0,
+            'max' => 100,
+        ),
     );
     
     
+    var $max_pool_size = 10;
     
     var $table = 'core_notify';
     var $target = 'Core/NotifySend';
     var $evtype = ''; // any notification...
                     // this script should only handle EMAIL notifications..
-    
+    var $force = false;
     function getAuth()
     {
         $ff = HTML_FlexyFramework::get();
@@ -78,6 +113,14 @@ class Pman_Core_Notify extends Pman
             DB_DataObject::debugLevel($opts['debug']);
             print_r($opts);
         }
+        $this->opts = $opts;
+        if (!empty($opts['poolsize'])) {
+            $this->max_pool_size = $opts['poolsize'];
+        }
+        
+        if (empty($opts['limit'])) {
+            $opts['limit'] = '1000'; // not sure why it's not picking up the defautl..
+        }
         //date_default_timezone_set('UTC');
        // phpinfo();exit;
         $showold = !empty($opts['old']);
@@ -91,21 +134,44 @@ class Pman_Core_Notify extends Pman
             $this->send_to = $opts['send-to'];
         }
      
+        
+        $w = DB_DataObject::factory('core_notify_recur');
+        if (is_a($w, 'DB_DataObject')) {
+            $w->generateNotifications();
+        }
+        if (!empty($opts['generate'])) {
+            $w = DB_DataObject::factory($opts['generate']);
+            if (is_a($w, 'DB_DataObject')) {
+                $w->generateNotifications();
+            }
+            exit;
+            
+            
+        }
+     
         //DB_DataObject::debugLevel(1);
         $w = DB_DataObject::factory($this->table);
         
         if (!$showold) {
-            $w->whereAdd('act_when > sent'); // eg.. sent is not valid..
             
+            // standard
+            
+            //$w->whereAdd('act_when > sent'); // eg.. sent is not valid..
+            $w->whereAdd("sent < '1970-01-01'"); // eg.. sent is not valid..
+            
+            $w->whereAdd('act_start > NOW() - INTERVAL 14 DAY'); // ignore the ones stuck in the queue
             if (!$this->force) {
                 $w->whereAdd('act_when < NOW()'); // eg.. not if future..
             }
     
             $w->orderBy('act_when ASC'); // oldest first.
-            $w->limit(1000); // we can run 1000 ...
+            
+            echo "QUEUE is {$w->count()}\n";
+            
+            $w->limit($opts['limit']); // we can run 1000 ...
         } else {
             $w->orderBy('act_when DESC'); // latest first
-            $w->limit(50); // we can run 1000 ...
+            $w->limit($opts['limit']); // we can run 1000 ...
         }
         if (!empty($this->evtype)) {
             $w->evtype = $this->evtype;
@@ -130,11 +196,23 @@ class Pman_Core_Notify extends Pman
             exit;
         }
         
-        
+        //echo "BATCH SIZE: ".  count($ar) . "\n";
         $pushed = array();
+        $requeue = array();
         while (true) {
+            
+            
+            echo "BATCH SIZE: ".  count($ar) . "\n";
+            
             if (empty($ar)) {
-                break;
+                echo "COMPLETED MAIN QUEUE - running delated\n";
+                
+                if (empty($pushed)) {
+                    break;
+                }
+                $ar = $pushed;
+                $pushed = false;
+                continue;
             }
             
             
@@ -145,40 +223,55 @@ class Pman_Core_Notify extends Pman
                 continue;
             }
             if ($this->poolHasDomain($p->person_id_email)) {
-                if (in_array($p->person_id_email, $pushed)) {
-                    // it's been pushed to the end, and nothing has
-                    // been pushed since.
-                    // give up, let the next run sort it out.
-                    break;
-                }
                 
-                $ar[] = $p; // push it on the end..
+                if ($pushed === false) {
+                    // we only try once to requeue..
+                    $requeue[] = $p;
+                    continue;
+                }
+                $pushed[] = $p;
                 
-                $pushed[] = $p->person_id_email;
                 
-                echo "domain {$p->person_id_email} already on queue, pushing to end.\n";
-                sleep(3);
+                //sleep(3);
                 continue;
             }
             
             
             $this->run($p->id,$p->person_id_email);
-            $pushed = array();
+            
+            
             
         }
         
         // we should have a time limit here...
         while(count($this->pool)) {
             $this->poolfree();
-            sleep(3);
+             sleep(3);
+        }
+        
+        
+        foreach($requeue as $p) {
+            $pp = clone($p);
+            $p->event_when = strtotime($p->event_when .  ' + 1 MINUTE');
+            $p->update($pp);
+            
         }
         
+        
+        
         die("DONE\n");
     }
     
-    function run($id, $email)
+    function run($id, $email, $cmdOpts="")
     {
-       // phpinfo();exit;
+        
+        static $renice = fase;
+        if (!$renice) {
+            require_once 'System.php';
+            $renice = System::which('renice');
+        }
+        
+        // phpinfo();exit;
         $tn = tempnam(ini_get('session.save_path'),'stdout') . '.stdout';
         $descriptorspec = array(
             0 => array("pipe", 'r'),  // stdin is a pipe that the child will read from
@@ -188,7 +281,7 @@ class Pman_Core_Notify extends Pman
         $php = $_SERVER["_"];
         $sn =  $_SERVER["SCRIPT_NAME"];
         
-        $cwd = $sn[0] == '/' ? dirname($sn) : dirname(realpath(getcwd() . $sn)); // same as run on.. (so script should end up being same relatively..)
+        $cwd = $sn[0] == '/' ? dirname($sn) : dirname(realpath(getcwd() . '/'. $sn)); // same as run on.. (so script should end up being same relatively..)
         $app = $cwd . '/' . basename($_SERVER["SCRIPT_NAME"]) . '  ' . $this->target . '/'. $id;
         if ($this->force) {
             $app .= ' -f';
@@ -196,28 +289,51 @@ class Pman_Core_Notify extends Pman
         if (!empty($this->send_to)) {
             $app .= ' --sent-to='.escapeshellarg($this->send_to);
         }
-        $cmd = $php . ' ' . $app. ' &';
+        $cmd = 'exec ' . $php . ' ' . $app . ' ' . $cmdOpts; //. ' &';
         
-        echo $cmd . "\n";
+       
         $pipe = array();
+        echo "call proc_open $cmd\n";
+        
+        
+        if ($this->max_pool_size === 1) {
+            passthru($cmd);
+            return;
+        }
+        
+        
+        if (!empty($this->opts['dryrun'])) {
+            echo "DRY RUN\n";
+            return;
+        }
+        
         $p = proc_open($cmd, $descriptorspec, $pipes, $cwd );
         $info =  proc_get_status($p);
+        
+        if ($this->nice_level !== false) { 
+            $rcmd = "$renice 19 {$info['pid']}";
+            `$rcmd`;
+        } 
         $this->pool[] = array(
                 'proc' => $p,
                 'pid' => $info['pid'],
                 'out' => $tn,
                 'cmd' => $cmd,
                 'email' => $email,
-                'pipes' => $pipes
+                'pipes' => $pipes,
+                'started' => time()
             
                 
         );
+        echo "RUN ({$info['pid']}) $cmd  \n";
     }
     
     function poolfree()
     {
         $pool = array();
         clearstatcache();
+        $maxruntime = 2 * 60; // 2 minutes.. ?? should be long enoguh
+        
         foreach($this->pool as $p) {
              
             //echo "CHECK PID: " . $p['pid'] . "\n";
@@ -225,36 +341,53 @@ class Pman_Core_Notify extends Pman
             //var_dump($info);
             
             // update if necessday.
-            if ($info['pid']) {
+            if ($info['pid'] && $p['pid'] != $info['pid']) {
+                echo "CHANING PID FROM " . $p['pid']  .  "  TO ". $info['pid']. "\n";
                 $p['pid'] = $info['pid'];
             }
             
+            //echo @file_get_contents('/proc/'. $p['pid'] .'/cmdline') . "\n";
+            
             if ($info['running']) {
             
-            //if (file_exists('/proc/'.$p['pid'])) {
+                //if (file_exists('/proc/'.$p['pid'])) {
+                $runtime = time() - $p['started'];
+                //echo "RUNTIME ({$p['pid']}): $runtime\n";
+                if ($runtime > $maxruntime) {
+                    
+                    proc_terminate($p['proc'], 9);
+                    //fclose($p['pipes'][1]);
+                    fclose($p['pipes'][0]);
+                    fclose($p['pipes'][2]);
+                    echo "\nTERMINATING: ({$p['pid']}) " . $p['cmd'] . " : " . file_get_contents($p['out']) . "\n";
+                    @unlink($p['out']);
+                    
+                    continue;
+                }
+                
                 $pool[] = $p;
                 continue;
             }
-            
-            echo "CLOSING: ({$p['pid']}) " . $p['cmd'] . " : " . file_get_contents($p['out']) . "\n";
-            //fclose($p['pipes'][1]);
             fclose($p['pipes'][0]);
             fclose($p['pipes'][2]);
+            //echo "CLOSING: ({$p['pid']}) " . $p['cmd'] . " : " . file_get_contents($p['out']) . "\n";
+            //fclose($p['pipes'][1]);
+            
             proc_close($p['proc']);
             
             
-            clearstatcache();
-            if (file_exists('/proc/'.$p['pid'])) {
-                $pool[] = $p;
-                continue;
-            }
-            echo "ENDED: ({$p['pid']}) " .  $p['cmd'] . " : " . file_get_contents($p['out']) . "\n";
-            
+            //clearstatcache();
+            //if (file_exists('/proc/'.$p['pid'])) {
+            //    $pool[] = $p;
+            //    continue;
+            //}
+            echo "\nENDED: ({$p['pid']}) " .  $p['cmd'] . " : " . file_get_contents($p['out']) . "\n";
+            @unlink($p['out']);
             //unlink($p['out']);
         }
         echo "POOL SIZE: ". count($pool) ."\n";
         $this->pool = $pool;
-        if (count($pool) < 10) {
+        if (count($pool) < $this->max_pool_size) {
             return true;
         }
         return false;
@@ -278,4 +411,8 @@ class Pman_Core_Notify extends Pman
         
     }
 
+    function output()
+    {
+        die("Done\n");
+    }
 }
\ No newline at end of file