Source for file sqlsrv.php

Documentation is available at sqlsrv.php

  1. <?php
  2. /**
  3.  * @package     Joomla.Administrator
  4.  * @subpackage  com_finder
  5.  *
  6.  * @copyright   Copyright (C) 2005 - 2013 Open Source Matters, Inc. All rights reserved.
  7.  * @license     GNU General Public License version 2 or later; see LICENSE
  8.  */
  9.  
  10. defined('_JEXEC') or die;
  11.  
  12. jimport('joomla.filesystem.file');
  13.  
  14. /**
  15.  * Indexer class supporting SQL Server for the Finder indexer package.
  16.  *
  17.  * The indexer class provides the core functionality of the Finder
  18.  * search engine. It is responsible for adding and updating the
  19.  * content links table; extracting and scoring tokens; and maintaining
  20.  * all referential information for the content.
  21.  *
  22.  * Note: All exceptions thrown from within this class should be caught
  23.  * by the controller.
  24.  *
  25.  * @package     Joomla.Administrator
  26.  * @subpackage  com_finder
  27.  * @since       3.1
  28.  */
  29. class FinderIndexerDriverSqlsrv extends FinderIndexer
  30. {
  31.     /**
  32.      * Method to index a content item.
  33.      *
  34.      * @param   FinderIndexerResult  $item    The content item to index.
  35.      * @param   string               $format  The format of the content. [optional]
  36.      *
  37.      * @return  integer  The ID of the record in the links table.
  38.      *
  39.      * @since   3.1
  40.      * @throws  Exception on database error.
  41.      */
  42.     public function index($item, $format = 'html')
  43.     {
  44.         // Mark beforeIndexing in the profiler.
  45.         static::$profiler ? static::$profiler->mark('beforeIndexing') : null;
  46.         $db = JFactory::getDbo();
  47.         $nd = $db->getNullDate();
  48.  
  49.         // Check if the item is in the database.
  50.         $query = $db->getQuery(true)
  51.             ->select($db->quoteName('link_id') . ', ' . $db->quoteName('md5sum'))
  52.             ->from($db->quoteName('#__finder_links'))
  53.             ->where($db->quoteName('url') . ' = ' . $db->quote($item->url));
  54.  
  55.         // Load the item  from the database.
  56.         $db->setQuery($query);
  57.         $link = $db->loadObject();
  58.  
  59.         // Get the indexer state.
  60.         $state = static::getState();
  61.  
  62.         // Get the signatures of the item.
  63.         $curSig = static::getSignature($item);
  64.         $oldSig = isset($link->md5sum) ? $link->md5sum : null;
  65.  
  66.         // Get the other item information.
  67.         $linkId = empty($link->link_id) ? null : $link->link_id;
  68.         $isNew = empty($link->link_id) ? true : false;
  69.  
  70.         // Check the signatures. If they match, the item is up to date.
  71.         if (!$isNew && $curSig == $oldSig)
  72.         {
  73.             return $linkId;
  74.         }
  75.  
  76.         /*
  77.          * If the link already exists, flush all the term maps for the item.
  78.          * Maps are stored in 16 tables so we need to iterate through and flush
  79.          * each table one at a time.
  80.          */
  81.         if (!$isNew)
  82.         {
  83.             for ($i = 0; $i <= 15; $i++)
  84.             {
  85.                 // Flush the maps for the link.
  86.                 $query->clear()
  87.                     ->delete($db->quoteName('#__finder_links_terms' . dechex($i)))
  88.                     ->where($db->quoteName('link_id') . ' = ' . (int) $linkId);
  89.                 $db->setQuery($query);
  90.                 $db->execute();
  91.             }
  92.  
  93.             // Remove the taxonomy maps.
  94.             FinderIndexerTaxonomy::removeMaps($linkId);
  95.         }
  96.  
  97.         // Mark afterUnmapping in the profiler.
  98.         static::$profiler ? static::$profiler->mark('afterUnmapping') : null;
  99.  
  100.         // Perform cleanup on the item data.
  101.         $item->publish_start_date = (int) $item->publish_start_date != 0 ? $item->publish_start_date : $nd;
  102.         $item->publish_end_date = (int) $item->publish_end_date != 0 ? $item->publish_end_date : $nd;
  103.         $item->start_date = (int) $item->start_date != 0 ? $item->start_date : $nd;
  104.         $item->end_date = (int) $item->end_date != 0 ? $item->end_date : $nd;
  105.  
  106.         // Prepare the item description.
  107.         $item->description = FinderIndexerHelper::parse($item->summary);
  108.  
  109.         /*
  110.          * Now, we need to enter the item into the links table. If the item
  111.          * already exists in the database, we need to use an UPDATE query.
  112.          * Otherwise, we need to use an INSERT to get the link id back.
  113.          */
  114.  
  115.         if ($isNew)
  116.         {
  117.             $columnsArray = array(
  118.                 $db->quoteName('url'), $db->quoteName('route'), $db->quoteName('title'), $db->quoteName('description'),
  119.                 $db->quoteName('indexdate'), $db->quoteName('published'), $db->quoteName('state'), $db->quoteName('access'),
  120.                 $db->quoteName('language'), $db->quoteName('type_id'), $db->quoteName('object'), $db->quoteName('publish_start_date'),
  121.                 $db->quoteName('publish_end_date'), $db->quoteName('start_date'), $db->quoteName('end_date'), $db->quoteName('list_price'),
  122.                 $db->quoteName('sale_price')
  123.             );
  124.  
  125.             // Insert the link.
  126.             $query->clear()
  127.                 ->insert($db->quoteName('#__finder_links'))
  128.                 ->columns($columnsArray)
  129.                 ->values(
  130.                 $db->quote($item->url) . ', '
  131.                 . $db->quote($item->route) . ', '
  132.                 . $db->quote($item->title) . ', '
  133.                 . $db->quote($item->description) . ', '
  134.                 . $query->currentTimestamp() . ', '
  135.                 . '1, '
  136.                 . (int) $item->state . ', '
  137.                 . (int) $item->access . ', '
  138.                 . $db->quote($item->language) . ', '
  139.                 . (int) $item->type_id . ', '
  140.                 . $db->quote(serialize($item)) . ', '
  141.                 . $db->quote($item->publish_start_date) . ', '
  142.                 . $db->quote($item->publish_end_date) . ', '
  143.                 . $db->quote($item->start_date) . ', '
  144.                 . $db->quote($item->end_date) . ', '
  145.                 . (double) ($item->list_price ? $item->list_price : 0) . ', '
  146.                 . (double) ($item->sale_price ? $item->sale_price : 0)
  147.             );
  148.             $db->setQuery($query);
  149.             $db->execute();
  150.  
  151.             // Get the link id.
  152.             $linkId = (int) $db->insertid();
  153.         }
  154.         else
  155.         {
  156.             // Update the link.
  157.             $query->clear()
  158.                 ->update($db->quoteName('#__finder_links'))
  159.                 ->set($db->quoteName('route') . ' = ' . $db->quote($item->route))
  160.                 ->set($db->quoteName('title') . ' = ' . $db->quote($item->title))
  161.                 ->set($db->quoteName('description') . ' = ' . $db->quote($item->description))
  162.                 ->set($db->quoteName('indexdate') . ' = ' . $query->currentTimestamp())
  163.                 ->set($db->quoteName('state') . ' = ' . (int) $item->state)
  164.                 ->set($db->quoteName('access') . ' = ' . (int) $item->access)
  165.                 ->set($db->quoteName('language') . ' = ' . $db->quote($item->language))
  166.                 ->set($db->quoteName('type_id') . ' = ' . (int) $item->type_id)
  167.                 ->set($db->quoteName('object') . ' = ' . $db->quote(serialize($item)))
  168.                 ->set($db->quoteName('publish_start_date') . ' = ' . $db->quote($item->publish_start_date))
  169.                 ->set($db->quoteName('publish_end_date') . ' = ' . $db->quote($item->publish_end_date))
  170.                 ->set($db->quoteName('start_date') . ' = ' . $db->quote($item->start_date))
  171.                 ->set($db->quoteName('end_date') . ' = ' . $db->quote($item->end_date))
  172.                 ->set($db->quoteName('list_price') . ' = ' . (double) ($item->list_price ? $item->list_price : 0))
  173.                 ->set($db->quoteName('sale_price') . ' = ' . (double) ($item->sale_price ? $item->sale_price : 0))
  174.                 ->where('link_id = ' . (int) $linkId);
  175.             $db->setQuery($query);
  176.             $db->execute();
  177.         }
  178.  
  179.         // Set up the variables we will need during processing.
  180.         $count = 0;
  181.  
  182.         // Mark afterLinking in the profiler.
  183.         static::$profiler ? static::$profiler->mark('afterLinking') : null;
  184.  
  185.         // Truncate the tokens tables.
  186.         $db->truncateTable('#__finder_tokens');
  187.  
  188.         // Truncate the tokens aggregate table.
  189.         $db->truncateTable('#__finder_tokens_aggregate');
  190.  
  191.         /*
  192.          * Process the item's content. The items can customize their
  193.          * processing instructions to define extra properties to process
  194.          * or rearrange how properties are weighted.
  195.          */
  196.         foreach ($item->getInstructions() as $group => $properties)
  197.         {
  198.             // Iterate through the properties of the group.
  199.             foreach ($properties as $property)
  200.             {
  201.                 // Check if the property exists in the item.
  202.                 if (empty($item->$property))
  203.                 {
  204.                     continue;
  205.                 }
  206.  
  207.                 // Tokenize the property.
  208.                 if (is_array($item->$property))
  209.                 {
  210.                     // Tokenize an array of content and add it to the database.
  211.                     foreach ($item->$property as $ip)
  212.                     {
  213.                         /*
  214.                          * If the group is path, we need to a few extra processing
  215.                          * steps to strip the extension and convert slashes and dashes
  216.                          * to spaces.
  217.                          */
  218.                         if ($group === static::PATH_CONTEXT)
  219.                         {
  220.                             $ip = JFile::stripExt($ip);
  221.                             $ip = str_replace('/', ' ', $ip);
  222.                             $ip = str_replace('-', ' ', $ip);
  223.                         }
  224.  
  225.                         // Tokenize a string of content and add it to the database.
  226.                         $count += $this->tokenizeToDB($ip, $group, $item->language, $format);
  227.  
  228.                         // Check if we're approaching the memory limit of the token table.
  229.                         if ($count > static::$state->options->get('memory_table_limit', 30000))
  230.                         {
  231.                             $this->toggleTables(false);
  232.                         }
  233.                     }
  234.                 }
  235.                 else
  236.                 {
  237.                     /*
  238.                      * If the group is path, we need to a few extra processing
  239.                      * steps to strip the extension and convert slashes and dashes
  240.                      * to spaces.
  241.                      */
  242.                     if ($group === static::PATH_CONTEXT)
  243.                     {
  244.                         $item->$property = JFile::stripExt($item->$property);
  245.                         $item->$property = str_replace('/', ' ', $item->$property);
  246.                         $item->$property = str_replace('-', ' ', $item->$property);
  247.                     }
  248.  
  249.                     // Tokenize a string of content and add it to the database.
  250.                     $count += $this->tokenizeToDB($item->$property, $group, $item->language, $format);
  251.  
  252.                     // Check if we're approaching the memory limit of the token table.
  253.                     if ($count > static::$state->options->get('memory_table_limit', 30000))
  254.                     {
  255.                         $this->toggleTables(false);
  256.                     }
  257.                 }
  258.             }
  259.         }
  260.  
  261.         /*
  262.          * Process the item's taxonomy. The items can customize their
  263.          * taxonomy mappings to define extra properties to map.
  264.          */
  265.         foreach ($item->getTaxonomy() as $branch => $nodes)
  266.         {
  267.             // Iterate through the nodes and map them to the branch.
  268.             foreach ($nodes as $node)
  269.             {
  270.                 // Add the node to the tree.
  271.                 $nodeId = FinderIndexerTaxonomy::addNode($branch, $node->title, $node->state, $node->access);
  272.  
  273.                 // Add the link => node map.
  274.                 FinderIndexerTaxonomy::addMap($linkId, $nodeId);
  275.  
  276.                 // Tokenize the node title and add them to the database.
  277.                 $count += $this->tokenizeToDB($node->title, static::META_CONTEXT, $item->language, $format);
  278.             }
  279.         }
  280.  
  281.         // Mark afterProcessing in the profiler.
  282.         static::$profiler ? static::$profiler->mark('afterProcessing') : null;
  283.  
  284.         /*
  285.          * At this point, all of the item's content has been parsed, tokenized
  286.          * and inserted into the #__finder_tokens table. Now, we need to
  287.          * aggregate all the data into that table into a more usable form. The
  288.          * aggregated data will be inserted into #__finder_tokens_aggregate
  289.          * table.
  290.          */
  291.         $query    = 'INSERT INTO ' . $db->quoteName('#__finder_tokens_aggregate') .
  292.                 ' (' . $db->quoteName('term_id') .
  293.                 ', ' . $db->quoteName('term') .
  294.                 ', ' . $db->quoteName('stem') .
  295.                 ', ' . $db->quoteName('common') .
  296.                 ', ' . $db->quoteName('phrase') .
  297.                 ', ' . $db->quoteName('term_weight') .
  298.                 ', ' . $db->quoteName('context') .
  299.                 ', ' . $db->quoteName('context_weight') .
  300.                 ', ' . $db->quoteName('language') . ')' .
  301.                 ' SELECT' .
  302.                 ' t.term_id, t1.term, t1.stem, t1.common, t1.phrase, t1.weight, t1.context,' .
  303.                 ' ROUND( t1.weight * COUNT( t2.term ) * %F, 8 ) AS context_weight, t1.language' .
  304.                 ' FROM (' .
  305.                 '   SELECT DISTINCT t1.term, t1.stem, t1.common, t1.phrase, t1.weight, t1.context, t1.language' .
  306.                 '   FROM ' . $db->quoteName('#__finder_tokens') . ' AS t1' .
  307.                 '   WHERE t1.context = %d' .
  308.                 ' ) AS t1' .
  309.                 ' JOIN ' . $db->quoteName('#__finder_tokens') . ' AS t2 ON t2.term = t1.term' .
  310.                 ' LEFT JOIN ' . $db->quoteName('#__finder_terms') . ' AS t ON t.term = t1.term' .
  311.                 ' WHERE t2.context = %d' .
  312.                 ' GROUP BY t1.term, t.term_id, t1.term, t1.stem, t1.common, t1.phrase, t1.weight, t1.context, t1.language' .
  313.                 ' ORDER BY t1.term DESC';
  314.  
  315.         // Iterate through the contexts and aggregate the tokens per context.
  316.         foreach ($state->weights as $context => $multiplier)
  317.         {
  318.             // Run the query to aggregate the tokens for this context..
  319.             $db->setQuery(sprintf($query, $multiplier, $context, $context));
  320.             $db->execute();
  321.         }
  322.  
  323.         // Mark afterAggregating in the profiler.
  324.         static::$profiler ? static::$profiler->mark('afterAggregating') : null;
  325.  
  326.         /*
  327.          * When we pulled down all of the aggregate data, we did a LEFT JOIN
  328.          * over the terms table to try to find all the term ids that
  329.          * already exist for our tokens. If any of the rows in the aggregate
  330.          * table have a term of 0, then no term record exists for that
  331.          * term so we need to add it to the terms table.
  332.          */
  333.         $db->setQuery(
  334.             'INSERT INTO ' . $db->quoteName('#__finder_terms') .
  335.             ' (' . $db->quoteName('term') .
  336.             ', ' . $db->quoteName('stem') .
  337.             ', ' . $db->quoteName('common') .
  338.             ', ' . $db->quoteName('phrase') .
  339.             ', ' . $db->quoteName('weight') .
  340.             ', ' . $db->quoteName('soundex') . ')' .
  341.             ' SELECT ta.term, ta.stem, ta.common, ta.phrase, ta.term_weight, SOUNDEX(ta.term)' .
  342.             ' FROM ' . $db->quoteName('#__finder_tokens_aggregate') . ' AS ta' .
  343.             ' WHERE ta.term_id IS NULL' .
  344.             ' GROUP BY ta.term, ta.stem, ta.common, ta.phrase, ta.term_weight'
  345.         );
  346.         $db->execute();
  347.  
  348.         /*
  349.          * Now, we just inserted a bunch of new records into the terms table
  350.          * so we need to go back and update the aggregate table with all the
  351.          * new term ids.
  352.          */
  353.         $query = $db->getQuery(true)
  354.             ->update('ta')
  355.             ->set('ta.term_id = t.term_id from #__finder_tokens_aggregate AS ta INNER JOIN #__finder_terms AS t ON t.term = ta.term')
  356.             ->where('ta.term_id IS NULL');
  357.         $db->setQuery($query);
  358.         $db->execute();
  359.  
  360.         // Mark afterTerms in the profiler.
  361.         static::$profiler ? static::$profiler->mark('afterTerms') : null;
  362.  
  363.         /*
  364.          * After we've made sure that all of the terms are in the terms table
  365.          * and the aggregate table has the correct term ids, we need to update
  366.          * the links counter for each term by one.
  367.          */
  368.         $query->clear()
  369.             ->update('t')
  370.             ->set('t.links = t.links + 1 FROM #__finder_terms AS t INNER JOIN #__finder_tokens_aggregate AS ta ON ta.term_id = t.term_id');
  371.         $db->setQuery($query);
  372.         $db->execute();
  373.  
  374.         // Mark afterTerms in the profiler.
  375.         static::$profiler ? static::$profiler->mark('afterTerms') : null;
  376.  
  377.         /*
  378.          * Before we can insert all of the mapping rows, we have to figure out
  379.          * which mapping table the rows need to be inserted into. The mapping
  380.          * table for each term is based on the first character of the md5 of
  381.          * the first character of the term. In php, it would be expressed as
  382.          * substr(md5(substr($token, 0, 1)), 0, 1)
  383.          */
  384.         $query->clear()
  385.             ->update($db->quoteName('#__finder_tokens_aggregate'))
  386.             ->set($db->quoteName('map_suffix') . " = SUBSTRING(HASHBYTES('MD5', SUBSTRING(" . $db->quoteName('term') . ', 1, 1)), 1, 1)');
  387.         $db->setQuery($query);
  388.         $db->execute();
  389.  
  390.         /*
  391.          * At this point, the aggregate table contains a record for each
  392.          * term in each context. So, we're going to pull down all of that
  393.          * data while grouping the records by term and add all of the
  394.          * sub-totals together to arrive at the final total for each token for
  395.          * this link. Then, we insert all of that data into the appropriate
  396.          * mapping table.
  397.          */
  398.         for ($i = 0; $i <= 15; $i++)
  399.         {
  400.             // Get the mapping table suffix.
  401.             $suffix = dechex($i);
  402.  
  403.             /*
  404.              * We have to run this query 16 times, one for each link => term
  405.              * mapping table.
  406.              */
  407.             $db->setQuery(
  408.                 'INSERT INTO ' . $db->quoteName('#__finder_links_terms' . $suffix) .
  409.                 ' (' . $db->quoteName('link_id') .
  410.                 ', ' . $db->quoteName('term_id') .
  411.                 ', ' . $db->quoteName('weight') . ')' .
  412.                 ' SELECT ' . (int) $linkId . ', ' . $db->quoteName('term_id') . ',' .
  413.                 ' ROUND(SUM(' . $db->quoteName('context_weight') . '), 8)' .
  414.                 ' FROM ' . $db->quoteName('#__finder_tokens_aggregate') .
  415.                 ' WHERE ' . $db->quoteName('map_suffix') . ' = ' . $db->quote($suffix) .
  416.                 ' GROUP BY term, term_id' .
  417.                 ' ORDER BY ' . $db->quoteName('term') . ' DESC'
  418.             );
  419.             $db->execute();
  420.         }
  421.  
  422.         // Mark afterMapping in the profiler.
  423.         static::$profiler ? static::$profiler->mark('afterMapping') : null;
  424.  
  425.         // Update the signature.
  426.         $query->clear()
  427.             ->update($db->quoteName('#__finder_links'))
  428.             ->set($db->quoteName('md5sum') . ' = ' . $db->quote($curSig))
  429.             ->where($db->quoteName('link_id') . ' = ' . $db->quote($linkId));
  430.         $db->setQuery($query);
  431.         $db->execute();
  432.  
  433.         // Mark afterSigning in the profiler.
  434.         static::$profiler ? static::$profiler->mark('afterSigning') : null;
  435.  
  436.         // Truncate the tokens tables.
  437.         $db->truncateTable('#__finder_tokens');
  438.  
  439.         // Truncate the tokens aggregate table.
  440.         $db->truncateTable('#__finder_tokens_aggregate');
  441.  
  442.         // Toggle the token tables back to memory tables.
  443.         $this->toggleTables(true);
  444.  
  445.         // Mark afterTruncating in the profiler.
  446.         static::$profiler ? static::$profiler->mark('afterTruncating') : null;
  447.  
  448.         return $linkId;
  449.     }
  450.  
  451.     /**
  452.      * Method to remove a link from the index.
  453.      *
  454.      * @param   integer  $linkId  The id of the link.
  455.      *
  456.      * @return  boolean  True on success.
  457.      *
  458.      * @since   3.1
  459.      * @throws  Exception on database error.
  460.      */
  461.     public function remove($linkId)
  462.     {
  463.         $db = JFactory::getDbo();
  464.         $query = $db->getQuery(true);
  465.  
  466.         // Update the link counts and remove the mapping records.
  467.         for ($i = 0; $i <= 15; $i++)
  468.         {
  469.             // Update the link counts for the terms.
  470.             $query->update('t')
  471.                 ->set('t.links = t.links - 1 from #__finder_terms AS t INNER JOIN #__finder_links_terms' . dechex($i) . ' AS AS m ON m.term_id = t.term_id')
  472.                 ->where('m.link_id = ' . $db->quote((int) $linkId));
  473.             $db->setQuery($query);
  474.             $db->execute();
  475.  
  476.             // Remove all records from the mapping tables.
  477.             $query->clear()
  478.                 ->delete($db->quoteName('#__finder_links_terms' . dechex($i)))
  479.                 ->where($db->quoteName('link_id') . ' = ' . (int) $linkId);
  480.             $db->setQuery($query);
  481.             $db->execute();
  482.         }
  483.  
  484.         // Delete all orphaned terms.
  485.         $query->clear()
  486.             ->delete($db->quoteName('#__finder_terms'))
  487.             ->where($db->quoteName('links') . ' <= 0');
  488.         $db->setQuery($query);
  489.         $db->execute();
  490.  
  491.         // Delete the link from the index.
  492.         $query->clear()
  493.             ->delete($db->quoteName('#__finder_links'))
  494.             ->where($db->quoteName('link_id') . ' = ' . $db->quote((int) $linkId));
  495.         $db->setQuery($query);
  496.         $db->execute();
  497.  
  498.         // Remove the taxonomy maps.
  499.         FinderIndexerTaxonomy::removeMaps($linkId);
  500.  
  501.         // Remove the orphaned taxonomy nodes.
  502.         FinderIndexerTaxonomy::removeOrphanNodes();
  503.  
  504.         return true;
  505.     }
  506.  
  507.     /**
  508.      * Method to optimize the index. We use this method to remove unused terms
  509.      * and any other optimizations that might be necessary.
  510.      *
  511.      * @return  boolean  True on success.
  512.      *
  513.      * @since   3.1
  514.      * @throws  Exception on database error.
  515.      */
  516.     public function optimize()
  517.     {
  518.         // Get the database object.
  519.         $db = JFactory::getDbo();
  520.         $query = $db->getQuery(true);
  521.  
  522.         // Delete all orphaned terms.
  523.         $query->delete($db->quoteName('#__finder_terms'))
  524.             ->where($db->quoteName('links') . ' <= 0');
  525.         $db->setQuery($query);
  526.         $db->execute();
  527.  
  528.         // Remove the orphaned taxonomy nodes.
  529.         FinderIndexerTaxonomy::removeOrphanNodes();
  530.  
  531.         return true;
  532.     }
  533.  
  534.     /**
  535.      * Method to add a set of tokens to the database.
  536.      *
  537.      * @param   mixed  $tokens   An array or single FinderIndexerToken object.
  538.      * @param   mixed  $context  The context of the tokens. See context constants. [optional]
  539.      *
  540.      * @return  integer  The number of tokens inserted into the database.
  541.      *
  542.      * @since   3.1
  543.      * @throws  Exception on database error.
  544.      */
  545.     protected function addTokensToDB($tokens, $context = '')
  546.     {
  547.         // Get the database object.
  548.         $db = JFactory::getDbo();
  549.         $query = $db->getQuery(true);
  550.  
  551.         // Force tokens to an array.
  552.         $tokens = is_array($tokens) ? $tokens : array($tokens);
  553.  
  554.         // Count the number of token values.
  555.         $values = 0;
  556.  
  557.         // Set some variables to count the iterations
  558.         $totalTokens = count($tokens);
  559.         $remaining   = $totalTokens;
  560.         $iterations  = 0;
  561.         $loop        = true;
  562.  
  563.         do
  564.         {
  565.             // Shift the token off the array
  566.             $token = array_shift($tokens);
  567.  
  568.             $query->values(
  569.                 $db->quote($token->term) . ', '
  570.                 . $db->quote($token->stem) . ', '
  571.                 . (int) $token->common . ', '
  572.                 . (int) $token->phrase . ', '
  573.                 . (float) $token->weight . ', '
  574.                 . (int) $context . ', '
  575.                 . $db->quote($token->language)
  576.             );
  577.             $values++;
  578.             $iterations++;
  579.             $remaining--;
  580.  
  581.             // Run the query if we've reached 1000 iterations or there are no tokens remaining
  582.             if ($iterations == 1000 || $remaining == 0)
  583.             {
  584.                 // Insert the tokens into the database.
  585.                 $query->insert($db->quoteName('#__finder_tokens'))
  586.                     ->columns(
  587.                     array(
  588.                         $db->quoteName('term'),
  589.                         $db->quoteName('stem'),
  590.                         $db->quoteName('common'),
  591.                         $db->quoteName('phrase'),
  592.                         $db->quoteName('weight'),
  593.                         $db->quoteName('context'),
  594.                         $db->quoteName('language')
  595.                     )
  596.                 );
  597.                 $db->setQuery($query);
  598.                 $db->execute();
  599.  
  600.                 // Reset the query
  601.                 $query->clear();
  602.             }
  603.  
  604.             // If there's nothing remaining, we're done looping
  605.             if ($remaining == 0)
  606.             {
  607.                 $loop = false;
  608.             }
  609.         }
  610.         while ($loop == true);
  611.  
  612.         return $values;
  613.     }
  614.  
  615.     /**
  616.      * Method to switch the token tables from Memory tables to MyISAM tables
  617.      * when they are close to running out of memory.
  618.      *
  619.      * @param   boolean  $memory  Flag to control how they should be toggled.
  620.      *
  621.      * @return  boolean  True on success.
  622.      *
  623.      * @since   3.1
  624.      * @throws  Exception on database error.
  625.      */
  626.     protected function toggleTables($memory)
  627.     {
  628.         return true;
  629.     }
  630. }

Documentation generated on Tue, 19 Nov 2013 15:14:11 +0100 by phpDocumentor 1.4.3