Merge branch 'live' of http://private.akbkhome.com/gnome.introspection-doc-generator...
[gnome.introspection-doc-generator] / JSDOC / Packer.js
index 2666ff7..f7a3246 100644 (file)
@@ -2,13 +2,15 @@
 XObject         = imports.XObject.XObject;
 File            = imports.File.File;
 
-TextStream      = imports['JSDOC/TextStream.js'].TextStream;
-TokenReader     = imports['JSDOC/TokenReader.js'].TokenReader;
-ScopeParser     = imports['JSDOC/ScopeParser.js'].ScopeParser;
-TokenStream     = imports['JSDOC/TokenStream.js'].TokenStream;
-CompressWhite   = imports['JSDOC/CompressWhite.js'].CompressWhite;
+TextStream      = imports.TextStream.TextStream;
+TokenReader     = imports.TokenReader.TokenReader;
+ScopeParser     = imports.ScopeParser.ScopeParser;
+TokenStream     = imports.TokenStream.TokenStream;
+CompressWhite   = imports.CompressWhite.CompressWhite;
+Collapse        = imports.Collapse.Collapse;
 
 GLib = imports.gi.GLib;
+Gio = imports.gi.Gio;
 /**
  * @namespace JSDOC
  * @class  Packer
@@ -70,31 +72,73 @@ Packer = function(cfg)
 {
     
     XObject.extend(this, cfg);
+    var _this = this;
+    if (this.srcfiles && this.srcfiles.length) {
+        this.srcfiles.forEach(function(f) {
+            _this.loadSourceFile(f);
+        });
+        
+    }
+    
     if (!this.files) {
         throw "No Files";
     }
     
-    
+    var link = false;
+    if (cfg.autoBuild) {
+        var version = 0;
+        this.files.forEach(function(f) {
+            version = Math.max(File.mtime(f), version);
+        });
+        var dirname = GLib.path_get_dirname(this.files[0]);
+        var outname = this.module ? this.module : GLib.path_get_basename(dirname);
+        this.target = dirname + '/compiled/' + outname + '-' + version + '.js';
+         if (File.exists(this.target)) {
+            print("Target file already exists");
+            Seed.quit();
+        }
+        this.prefix = dirname +'/';
+        this.translateJSON  = dirname + '/compiled/_translation_.js';
+        
+    }
+     
+    print(this.translateJSON);
     this.timer =  new Date() * 1;
     this.packAll();
     
+    
+    
  
 }
 Packer.prototype = {
     /**
-     * @prop files {Array} list of files to compress (must be full path)
+     * @cfg {String} srcfiles file containing a list of files/or classes to use.
+     */
+    srcfile : false,
+    
+    /**
+     * @cfg {Array} files list of files to compress (must be full path)
      */
     files : false,
     /**
-     * @prop target {String} target to write files to - must be full path.
+     * @cfg {String} target to write files to - must be full path.
      */
     target : '',
     /**
-     * @prop debugTarget {String} target to write files debug version to (uncompacted)- must be full path.
+     * @cfg {Boolean} autoBuild - turn on autobuild feature (puts files in compiled directory,
+     * and enables translation toolkit.
+     */
+    autoBuild : false,
+     /**
+     * @cfg {String} module used with autoBuild to force a file name
+     */
+    module: false,
+    /**
+     * @cfg {String} debugTargettarget to write files debug version to (uncompacted)- must be full path.
      */
     debugTarget : '', // merged file without compression.
     /**
-     * @prop tmpDir {String} (optional) where to put the temporary files. 
+     * @cfg {String} tmpDir  (optional) where to put the temporary files. 
      *      if you set this, then files will not be cleaned up
      */
     tmpDir : '/tmp',
@@ -102,18 +146,56 @@ Packer.prototype = {
     translateJSON : '', // json based list of strings in all files.
    
     /**
-     * @prop cleanup {Boolean} (optional) clean up temp files after done - 
+     * @cfg {Boolean} cleanup  (optional) clean up temp files after done - 
      *    Defaults to false if you set tmpDir, otherwise true.
      */
     cleanup : true,  
+    /**
+     * @cfg {Boolean} keepWhite (optional) do not remove white space in output.
+     *    usefull for debugging compressed files.
+     */
+    
+    keepWhite: true,
     
     /**
-     * @prop prefix {String} (optional) prefix of directory to be stripped of when
+     * @cfg {String} prefix (optional) prefix of directory to be stripped of when
      *    Calculating md5 of filename 
      */
     prefix : '',  
     out : '', // if no target is specified - then this will contain the result
     
+    /**
+     * load a dependancy list -f option
+     * @param {String} srcfile sourcefile to parse
+     * 
+     */
+    
+    loadSourceFile : function(srcfile)
+    {
+        var lines = File.read(srcfile).split("\n");
+        var _this = this;
+        lines.forEach(function(f) {
+            
+            if (/^\s*\//.test(f) || !/[a-z]+/i.test(f)) { // skip comments..
+                return;
+            }
+            if (/\.js$/.test(f)) {
+                _this.files.push( f);
+                // js file..
+                return;
+            }
+            
+            //println("ADD"+ f.replace(/\./g, '/'));
+            var add = f.replace(/\./g, '/').replace(/\s+/g,'')+'.js';
+            if (_this.files.indexOf(f) > -1) {
+                return;
+            }
+            _this.files.push( add );
+            
+        })
+    },
+    
+    
     packAll : function()  // do the packing (run from constructor)
     {
         
@@ -273,7 +355,13 @@ Packer.prototype = {
     pack : function (str,fn,minfile)
     {
     
-        var tr = new  TokenReader(  { keepDocs :true, keepWhite : true,  keepComments : true, sepIdents : true });
+        var tr = new  TokenReader(  { 
+            keepDocs :true, 
+            keepWhite : true,  
+            keepComments : true, 
+            sepIdents : true,
+            collapseWhite : false
+        });
         this.timerPrint("START" + fn);
         
         // we can load translation map here...
@@ -291,8 +379,12 @@ Packer.prototype = {
         // and replace if we are generating a different language..
         
         this.timerPrint("Tokenized");
+        //var ts = new TokenStream(toks);
+        //print(JSON.stringify(toks, null,4 )); Seed.quit();
+        var ts = new Collapse(toks);
+       // print(JSON.stringify(ts.tokens, null,4 )); Seed.quit();
         //return;//
-        var sp = new ScopeParser(new TokenStream(toks));
+        var sp = new ScopeParser(ts);
         this.timerPrint("Converted to Parser");
         sp.packer = this;
         sp.buildSymbolTree();
@@ -300,7 +392,10 @@ Packer.prototype = {
         sp.mungeSymboltree();
         this.timerPrint("Munged Sym tree");
         print(sp.warnings.join("\n"));
-        var out = CompressWhite(sp.ts, this);
+        
+        
+        var out = CompressWhite(new TokenStream(toks), this, this.keepWhite); // do not kill whitespace..
+        
         this.timerPrint("Compressed");
         return out;
         
@@ -334,7 +429,7 @@ Packer.prototype = {
             if (t.type == 'STRN' && t.name == 'DOUBLE_QUOTE') {
                 var sval = t.data.substring(1,t.data.length-1);
                 var ffn = fn.substring(_this.prefix.length);
-                map[] = _this.md5(ffn + '-' + sval);
+                map[sval] = _this.md5(ffn + '-' + sval);
             }
         })
         
@@ -362,10 +457,13 @@ Packer.prototype = {
          
         File.write(transmd5, '');
         for(v in map) {
-            File.append(transfile, l + "\n\t \"" + v + '" : "' + v + '"');
+            if (!v.length) {
+                continue;
+            }
+            File.append(transfile, l + "\n\t" + JSON.stringify(v) + " : " + JSON.stringify(v));
             l = ',';
             // strings are raw... - as the where encoded to start with!!!
-            File.append(transmd5, '_T["' + this.md5(ffn + '-' + v) + '"]="'+v+"\";\n");
+            File.append(transmd5, '_T["' + this.md5(ffn + '-' + v) + '"]='+JSON.stringify(v)+";\n");
         }
         File.append(transfile, "\n},"); // always one trailing..