<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0cm;
        margin-right:0cm;
        margin-bottom:0cm;
        margin-left:36.0pt;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-GB" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:#1F497D">Hi Tomasz,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">I&#8217;m glad I&#8217;m not the only one :o)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">I think that the following SQL will test that you&#8217;ve got no duplicates in the table:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">mysql&gt; SELECT fieldword, pos, COUNT(*) c FROM eprint__index GROUP BY fieldword, pos HAVING c &gt; 1;<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">If that results in an empty set, you might be in a good position to define the PK&#8230;<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">mysql&gt; ALTER TABLE eprint__index ADD PRIMARY KEY(fieldword, pos);<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">**WARNING: <b>I haven&#8217;t done this yet</b>** I&#8217;m still investigating!<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">I haven&#8217;t started investigating the character set issue (anyone fancy taking a look at this?).<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">Cheers,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D">John<o:p></o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US" style="mso-fareast-language:EN-GB">From:</span></b><span lang="EN-US" style="mso-fareast-language:EN-GB"> eprints-tech-bounces@ecs.soton.ac.uk [mailto:eprints-tech-bounces@ecs.soton.ac.uk]
<b>On Behalf Of </b>Tomasz Neugebauer<br>
<b>Sent:</b> 10 August 2016 20:17<br>
<b>To:</b> eprints-tech@ecs.soton.ac.uk<br>
<b>Subject:</b> Re: [EP-tech] Primary key on [dataset]__index tables<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">Hi John,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">Thanks for sharing this!&nbsp; We are also running 3.3.12 (upgraded from 3.2.4), and we have this:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">*************************** 1. row ***************************<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Table: eprint__index<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">Create Table: CREATE TABLE `eprint__index` (<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">&nbsp; `fieldword` varchar(255) DEFAULT NULL,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">&nbsp; `pos` int(11) DEFAULT NULL,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">&nbsp; `ids` text,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">&nbsp; KEY `eprint__index_pos` (`pos`),<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">&nbsp; KEY `eprint__index_fieldword_pos` (`fieldword`,`pos`)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">) ENGINE=MyISAM DEFAULT CHARSET=latin1<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">1 row in set (0.00 sec)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">No primary key, and no UTF-8 on the CHARSET.&nbsp; &nbsp;That is not so good &#8211; how do we fix this?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">Could it also explain why our search is having difficulties with some French characters?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">Best wishes,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN">Tomasz<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span lang="EN-CA" style="color:#1F497D;mso-fareast-language:ZH-CN"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span lang="EN-US" style="mso-fareast-language:ZH-CN">From:</span></b><span lang="EN-US" style="mso-fareast-language:ZH-CN">
<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk">eprints-tech-bounces@ecs.soton.ac.uk</a> [<a href="mailto:eprints-tech-bounces@ecs.soton.ac.uk">mailto:eprints-tech-bounces@ecs.soton.ac.uk</a>]
<b>On Behalf Of </b>John Salter<br>
<b>Sent:</b> August-08-16 9:47 AM<br>
<b>To:</b> 'eprints-tech@ecs.soton.ac.uk' &lt;<a href="mailto:eprints-tech@ecs.soton.ac.uk">eprints-tech@ecs.soton.ac.uk</a>&gt;<br>
<b>Subject:</b> [EP-tech] Primary key on [dataset]__index tables<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span lang="EN-CA"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal">Hi,<o:p></o:p></p>
<p class="MsoNormal">I&#8217;ve been investigating some slowness issues with our database and discovered that some of the tables don&#8217;t have primary keys &#8211; e.g. eprint__index.<o:p></o:p></p>
<p class="MsoNormal">On our live system running 3.3.10 (migrated from 3.1.1, and 2.[something] before then), this is the table definition:<o:p></o:p></p>
<p class="MsoNormal">mysql&gt; SHOW CREATE TABLE eprint__index \G<o:p></o:p></p>
<p class="MsoNormal">*************************** 1. row ***************************<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Table: eprint__index<o:p></o:p></p>
<p class="MsoNormal">Create Table: CREATE TABLE `eprint__index` (<o:p></o:p></p>
<p class="MsoNormal">&nbsp; `fieldword` varchar(255) DEFAULT NULL,<o:p></o:p></p>
<p class="MsoNormal">&nbsp; `pos` int(11) DEFAULT NULL,<o:p></o:p></p>
<p class="MsoNormal">&nbsp; `ids` text,<o:p></o:p></p>
<p class="MsoNormal">&nbsp; KEY `pos` (`pos`),<o:p></o:p></p>
<p class="MsoNormal">&nbsp; KEY `fieldword` (`fieldword`,`pos`)<o:p></o:p></p>
<p class="MsoNormal">) ENGINE=MyISAM DEFAULT CHARSET=latin1<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">There are two keys, but no primary key.<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">On a dev install of EPrints 3.3.12, this is the table definition:<o:p></o:p></p>
<p class="MsoNormal">mysql&gt; SHOW CREATE TABLE eprint__index \G<o:p></o:p></p>
<p class="MsoNormal">*************************** 1. row ***************************<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Table: eprint__index<o:p></o:p></p>
<p class="MsoNormal">Create Table: CREATE TABLE `eprint__index` (<o:p></o:p></p>
<p class="MsoNormal">&nbsp; `fieldword` varchar(128) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL,<o:p></o:p></p>
<p class="MsoNormal">&nbsp; `pos` int(11) NOT NULL,<o:p></o:p></p>
<p class="MsoNormal">&nbsp; `ids` longtext CHARACTER SET utf8 COLLATE utf8_bin NOT NULL,<o:p></o:p></p>
<p class="MsoNormal">&nbsp; PRIMARY KEY (`fieldword`,`pos`)<o:p></o:p></p>
<p class="MsoNormal">) ENGINE=InnoDB DEFAULT CHARSET=utf8<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">A primary key exists.<o:p></o:p></p>
<p class="MsoNormal">There are differences in the version of MySQL, but it looks like there&#8217;s a possibility that during an upgrade either the __index tables were missed out of some update, or excluded for some reason.<o:p></o:p></p>
<p class="MsoNormal">There is also the difference in character set &#8211; which should be caught by ~/bin/epadmin:upgrade_3_1_2_to_3_2_0<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Inspecting the code, this block: <span lang="EN-CA"><a href="https://github.com/eprints/eprints/blob/3.3/perl_lib/EPrints/Database.pm#L599-L605"><span lang="EN-GB">https://github.com/eprints/eprints/blob/3.3/perl_lib/EPrints/Database.pm#L599-L605</span></a></span>
 will not add the primary key to existing tables.<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Can anyone shed any light on this?<o:p></o:p></p>
<p class="MsoNormal">Do your __index tables have a primary key?<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Cheers,<o:p></o:p></p>
<p class="MsoNormal">John<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</body>
</html>