<html><body>
<p><font size="2" face="sans-serif">Hi John,</font><br>
<br>
<font size="2" face="sans-serif">just to report back: the IRStats2 update on your InnoDB test server went down from 17 hours to about 4 hours. Let's see what effect your changes will have on the MyISAM production system.</font><br>
<br>
<font size="2" face="sans-serif">Thank you,</font><br>
<br>
<font size="2" face="sans-serif">Martin</font><br>
<br>
<font size="2" face="sans-serif">--</font><br>
<font size="2" face="sans-serif">Dr. Martin Brändle</font><br>
<font size="2" face="sans-serif">Zentrale Informatik</font><br>
<font size="2" face="sans-serif">Universität Zürich</font><br>
<font size="2" face="sans-serif">Stampfenbachstr. 73</font><br>
<font size="2" face="sans-serif">CH-8006 Zürich</font><br>
<br>
<br>
<img width="16" height="16" src="cid:1__=4EBB0A03DFA1B96E8f9e8a93df9@lotus.uzh.ch" border="0" alt="Inactive hide details for John Salter ---16/12/2016 15:56:48---Hi Martin, The changes in https://github.com/eprints/irstats2/pu"><font size="2" color="#424282" face="sans-serif">John Salter ---16/12/2016 15:56:48---Hi Martin, The changes in <a href="https://github.com/eprints/irstats2/pull/84">https://github.com/eprints/irstats2/pull/84</a> seem to help us quite a bit. O</font><br>
<br>
<font size="1" color="#5F5F5F" face="sans-serif">Von:        </font><font size="1" face="sans-serif">John Salter &lt;J.Salter@leeds.ac.uk&gt;</font><br>
<font size="1" color="#5F5F5F" face="sans-serif">An:        </font><font size="1" face="sans-serif">&quot;eprints-tech@ecs.soton.ac.uk&quot; &lt;eprints-tech@ecs.soton.ac.uk&gt;</font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Datum:        </font><font size="1" face="sans-serif">16/12/2016 15:56</font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Betreff:        </font><font size="1" face="sans-serif">Re: [EP-tech] Antwort: &nbsp;IRStats2: Innodb tables; forks</font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Gesendet von:        </font><font size="1" face="sans-serif">eprints-tech-bounces@ecs.soton.ac.uk</font><br>
<hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br>
<br>
<br>
<font size="2" color="#1F497D" face="Calibri">Hi Martin,</font><br>
<font size="2" color="#1F497D" face="Calibri">The changes in </font><a href="https://github.com/eprints/irstats2/pull/84"><font size="2" color="#0000FF" face="Calibri"><u>https://github.com/eprints/irstats2/pull/84</u></font></a><font size="2" color="#1F497D" face="Calibri">&nbsp;seem to help us quite a bit. Out daily stats start run at 06:30, and were still running at 12:00.</font><br>
<font size="2" color="#1F497D" face="Calibri">Implementing this fix yesterday (and with two days of data to process), the stats completed processing just after 09:00.</font><br>
<font size="2" color="#1F497D" face="Calibri">&nbsp;</font><br>
<font size="2" color="#1F497D" face="Calibri">Some of the tables (details in </font><font size="2" color="#1F497D" face="Calibri"><a href="https://github.com/eprints/irstats2/issues/83">https://github.com/eprints/irstats2/issues/83</a></font><font size="2" color="#1F497D" face="Calibri">) are re-created each time the stats are processed.</font><br>
<font size="2" color="#1F497D" face="Calibri">These tables may be using InnoDB as the engine isn't specified in the CREATE TABLE statements (if you're running MySQL &gt;= v5.5.5 the default engine is InnoDB).</font><br>
<font size="2" color="#1F497D" face="Calibri">&nbsp;</font><br>
<font size="2" color="#1F497D" face="Calibri">The structure of these tables means that the InnoDB engine has to do a lot of work (maintaining the index? moving data?) for each insert or transaction. If the inserts are in a few transactions, there's a lot less work to be done (so it's quicker!).</font><br>
<font size="2" color="#1F497D" face="Calibri">&nbsp;</font><br>
<font size="2" color="#1F497D" face="Calibri">I'll continue to monitor how quickly our stats process - it looks like it helps us, but it might not help everyone.</font><br>
<font size="2" color="#1F497D" face="Calibri">&nbsp;</font><br>
<font size="2" color="#1F497D" face="Calibri">Cheers,</font><br>
<font size="2" color="#1F497D" face="Calibri">John</font><br>
<font size="2" color="#1F497D" face="Calibri">&nbsp;</font><br>
<font size="2" face="Calibri"><b>From:</b></font><font size="2" face="Calibri">&nbsp;eprints-tech-bounces@ecs.soton.ac.uk [</font><font size="2" face="Calibri"><a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk">mailto:eprints-tech-bounces@ecs.soton.ac.uk</a></font><font size="2" face="Calibri">] </font><font size="2" face="Calibri"><b>On Behalf Of </b></font><font size="2" face="Calibri">martin.braendle@id.uzh.ch</font><font size="2" face="Calibri"><b><br>
Sent:</b></font><font size="2" face="Calibri">&nbsp;16 December 2016 13:49</font><font size="2" face="Calibri"><b><br>
To:</b></font><font size="2" face="Calibri">&nbsp;eprints-tech@ecs.soton.ac.uk</font><font size="2" face="Calibri"><b><br>
Subject:</b></font><font size="2" face="Calibri">&nbsp;[EP-tech] Antwort: IRStats2: Innodb tables; forks</font><br>
<font size="3" face="Times New Roman">&nbsp;</font>
<p><font size="2" face="Arial">Hi John,</font><font size="3" face="Times New Roman"><br>
</font><font size="2" face="Arial"><br>
we migrated our test system to InnoDB about a year ago, did some tuning using the MySQL performance tuning primer script, and carried out some performance tests with the Apache Benchmark tool on both the test and production system.</font><font size="3" face="Times New Roman"><br>
</font><font size="2" face="Arial"><br>
Result: For sequential accesses, response times with InnoDB were 930-960 ms, with MyISAM they were 700ms. For concurrent accesses, response times dropped to 250ms on average with InnoDB. But you need many concurrent accesses to achieve this number. Also, when Web browsing, the InnoDB test system felt sluggish compared to the MyISAM production system. <br>
IRStats2 weekly update runs take about 10 hours on the MyISAM system, and 17 hours on the InnoDB system, although there are more updates to process on the production system. &nbsp;(I see that you have added transactions to IRStats2 on GitHub, we will check whether this helps).</font><font size="3" face="Times New Roman"><br>
</font><font size="2" face="Arial"><br>
To bring InnoDB to fly, you would need a huge innodb_buffer_pool_size, around the total size of your databases (which in our case is around 30-40 GB), requiring a hefty DB server.</font><font size="3" face="Times New Roman"><br>
</font><font size="2" face="Arial"><br>
Since we were not sure, in as much the current EPrints version supports InnoDB transactions, we decided to stay with MyISAM on the production system for the moment.</font><font size="3" face="Times New Roman"><br>
</font><font size="2" face="Arial"><br>
Cheers,</font><font size="3" face="Times New Roman"><br>
</font><font size="2" face="Arial"><br>
Martin </font><font size="3" face="Times New Roman"><br>
<br>
<br>
</font><img src="cid:1__=4EBB0A03DFA1B96E8f9e8a93df9@lotus.uzh.ch" width="16" height="16" alt="Inactive hide details for John Salter ---13/12/2016 12:59:06---Hi, Our IRStats2 processing runs slowly, and I suspect there mig"><font size="2" color="#424282" face="Arial">John Salter ---13/12/2016 12:59:06---Hi, Our IRStats2 processing runs slowly, and I suspect there might be some improvements to be made -</font><font size="3" face="Times New Roman"><br>
</font><font size="1" color="#5F5F5F" face="Arial"><br>
Von: </font><font size="1" face="Arial">John Salter &lt;</font><a href="mailto:J.Salter@leeds.ac.uk"><font size="1" color="#0000FF" face="Arial"><u>J.Salter@leeds.ac.uk</u></font></a><font size="1" face="Arial">&gt;</font><font size="1" color="#5F5F5F" face="Arial"><br>
An: </font><font size="1" face="Arial">&quot;'eprints-tech@ecs.soton.ac.uk'&quot; &lt;</font><a href="mailto:eprints-tech@ecs.soton.ac.uk"><font size="1" color="#0000FF" face="Arial"><u>eprints-tech@ecs.soton.ac.uk</u></font></a><font size="1" face="Arial">&gt;</font><font size="1" color="#5F5F5F" face="Arial"><br>
Datum: </font><font size="1" face="Arial">13/12/2016 12:59</font><font size="1" color="#5F5F5F" face="Arial"><br>
Betreff: </font><font size="1" face="Arial">[EP-tech] IRStats2: Innodb tables; forks</font><font size="1" color="#5F5F5F" face="Arial"><br>
Gesendet von: </font><a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk"><font size="1" color="#0000FF" face="Arial"><u>eprints-tech-bounces@ecs.soton.ac.uk</u></font></a><br>
<hr width="100%" size="2" align="left" noshade><br>
<font size="3" face="Times New Roman"><br>
<br>
</font><font size="2" face="Calibri"><br>
Hi,<br>
Our IRStats2 processing runs slowly, and I suspect there might be some improvements to be made - especially as we're using InnoDB tables.<br>
Before I start trying to work out how to solve this, has anyone done any work in this area?<br>
 <br>
Also, there are two forks of IRStats2 that might need to be merged:</font><font size="3" color="#0000FF" face="Times New Roman"><u><br>
</u></font><a href="https://github.com/eprints/irstats2"><font size="2" color="#0563C1" face="Calibri"><u>https://github.com/eprints/irstats2</u></font></a><font size="3" color="#0000FF" face="Times New Roman"><u><br>
</u></font><a href="https://github.com/eprintsug/irstats2"><font size="2" color="#0563C1" face="Calibri"><u>https://github.com/eprintsug/irstats2</u></font></a><font size="2" face="Calibri"><br>
 <br>
(Most other forks come from the head of eprints/irstats2).<br>
 <br>
Comparing these two forks:</font><font size="3" color="#0000FF" face="Times New Roman"><u><br>
</u></font><a href="https://github.com/eprints/irstats2/compare/master...eprintsug:master"><font size="2" color="#0563C1" face="Calibri"><u>https://github.com/eprints/irstats2/compare/master...eprintsug:master</u></font></a><font size="2" face="Calibri"><br>
it looks like there has been some re-arrangement of files (these seem sensible to me), and a couple of fixes.<br>
 <br>
Does anyone have any thoughts on whether these should be merged, so we have one main master again? Will doing this cause problems for people who have installed the package using the previous file-layout?<br>
 <br>
Cheers,<br>
John</font><font size="2" face="Courier New">*** Options: </font><a href="http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech"><font size="2" color="#0000FF" face="Courier New"><u>http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech</u></font></a><font size="2" face="Courier New"><br>
*** Archive: </font><a href="http://www.eprints.org/tech.php/"><font size="2" color="#0000FF" face="Courier New"><u>http://www.eprints.org/tech.php/</u></font></a><font size="2" face="Courier New"><br>
*** EPrints community wiki: </font><a href="http://wiki.eprints.org/"><font size="2" color="#0000FF" face="Courier New"><u>http://wiki.eprints.org/</u></font></a><font size="2" face="Courier New"><br>
*** EPrints developers Forum: </font><a href="http://forum.eprints.org/"><font size="2" color="#0000FF" face="Courier New"><u>http://forum.eprints.org/</u></font></a><font size="2" face="Courier New"><br>
</font><tt><font size="2">*** Options: </font></tt><tt><font size="2"><a href="http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech">http://mailman.ecs.soton.ac.uk/mailman/listinfo/eprints-tech</a></font></tt><tt><font size="2"><br>
*** Archive: </font></tt><tt><font size="2"><a href="http://www.eprints.org/tech.php/">http://www.eprints.org/tech.php/</a></font></tt><tt><font size="2"><br>
*** EPrints community wiki: </font></tt><tt><font size="2"><a href="http://wiki.eprints.org/">http://wiki.eprints.org/</a></font></tt><tt><font size="2"><br>
*** EPrints developers Forum: </font></tt><tt><font size="2"><a href="http://forum.eprints.org/">http://forum.eprints.org/</a></font></tt><tt><font size="2"><br>
</font></tt><br>
<br>
</body></html>