Skip to content

Commit 89d2de1

Browse files
vlaskyWilbert Harriman
vlasky
and
Wilbert Harriman
committed
Add ALTER TABLE RENAME support for vec0 virtual tables
Implements vec0Rename() to properly rename vec0 virtual tables and all associated shadow tables (chunks, info, rowids, vector_chunks, auxiliary, metadatachunks, metadatatext). Merged from upstream PR asg017#203 by wilbertharriman. Fixes issue asg017#43. Co-Authored-By: Wilbert Harriman <wilbert@harriman.id>
1 parent a2dd24f commit 89d2de1

5 files changed

Lines changed: 377 additions & 1 deletion

File tree

‎sqlite-vec.c‎

Lines changed: 106 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -8915,6 +8915,111 @@ static int vec0Rollback(sqlite3_vtab *pVTab) {
89158915
return SQLITE_OK;
89168916
}
89178917

8918+
static int vec0Rename(sqlite3_vtab *pVTab, const char *zName) {
8919+
vec0_vtab *p = (vec0_vtab *)pVTab;
8920+
sqlite3_stmt *stmt;
8921+
int rc;
8922+
const char *zSql;
8923+
8924+
vec0_free_resources(p);
8925+
8926+
zSql = sqlite3_mprintf("ALTER TABLE " VEC0_SHADOW_CHUNKS_NAME " RENAME TO \"%w_chunks\"",
8927+
p->schemaName, p->tableName, zName);
8928+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
8929+
sqlite3_free((void *)zSql);
8930+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
8931+
rc = SQLITE_ERROR;
8932+
vtab_set_error(pVTab, "could not rename chunks shadow table");
8933+
goto done;
8934+
}
8935+
sqlite3_finalize(stmt);
8936+
8937+
zSql = sqlite3_mprintf("ALTER TABLE " VEC0_SHADOW_INFO_NAME " RENAME TO \"%w_info\"", p->schemaName,
8938+
p->tableName, zName);
8939+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
8940+
sqlite3_free((void *)zSql);
8941+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
8942+
rc = SQLITE_ERROR;
8943+
vtab_set_error(pVTab, "could not rename info shadow table");
8944+
goto done;
8945+
}
8946+
sqlite3_finalize(stmt);
8947+
8948+
zSql = sqlite3_mprintf("ALTER TABLE " VEC0_SHADOW_ROWIDS_NAME " RENAME TO \"%w_rowids\"", p->schemaName,
8949+
p->tableName, zName);
8950+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
8951+
sqlite3_free((void *)zSql);
8952+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
8953+
rc = SQLITE_ERROR;
8954+
vtab_set_error(pVTab, "could not rename rowids shadow table");
8955+
goto done;
8956+
}
8957+
sqlite3_finalize(stmt);
8958+
8959+
for (int i = 0; i < p->numVectorColumns; i++) {
8960+
char *newShadowVectorChunksName = sqlite3_mprintf("%s_vector_chunks%02d", zName, i);
8961+
if (!newShadowVectorChunksName) {
8962+
return SQLITE_NOMEM;
8963+
}
8964+
zSql = sqlite3_mprintf("ALTER TABLE \"%w\".\"%w\" RENAME TO \"%w\"", p->schemaName,
8965+
p->shadowVectorChunksNames[i], newShadowVectorChunksName);
8966+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
8967+
sqlite3_free((void *)zSql);
8968+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
8969+
rc = SQLITE_ERROR;
8970+
vtab_set_error(pVTab, "could not rename vector_chunks shadow table");
8971+
goto done;
8972+
}
8973+
sqlite3_finalize(stmt);
8974+
}
8975+
8976+
if(p->numAuxiliaryColumns > 0) {
8977+
zSql = sqlite3_mprintf("ALTER TABLE " VEC0_SHADOW_AUXILIARY_NAME " RENAME TO \"%w_auxiliary\"",
8978+
p->schemaName, p->tableName, zName);
8979+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
8980+
sqlite3_free((void *)zSql);
8981+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
8982+
rc = SQLITE_ERROR;
8983+
vtab_set_error(pVTab, "could not rename auxiliary shadow table");
8984+
goto done;
8985+
}
8986+
sqlite3_finalize(stmt);
8987+
}
8988+
8989+
for (int i = 0; i < p->numMetadataColumns; i++) {
8990+
zSql = sqlite3_mprintf("ALTER TABLE " VEC0_SHADOW_METADATA_N_NAME " RENAME TO \"%w_metadatachunks%02d\"",
8991+
p->schemaName, p->tableName, i, zName, i);
8992+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
8993+
sqlite3_free((void *)zSql);
8994+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
8995+
rc = SQLITE_ERROR;
8996+
vtab_set_error(pVTab, "could not rename metadatachunks shadow table");
8997+
goto done;
8998+
}
8999+
sqlite3_finalize(stmt);
9000+
9001+
if(p->metadata_columns[i].kind == VEC0_METADATA_COLUMN_KIND_TEXT) {
9002+
zSql = sqlite3_mprintf("ALTER TABLE " VEC0_SHADOW_METADATA_TEXT_DATA_NAME " RENAME TO \"%w_metadatatext%02d\"",
9003+
p->schemaName, p->tableName, i, zName, i);
9004+
rc = sqlite3_prepare_v2(p->db, zSql, -1, &stmt, 0);
9005+
sqlite3_free((void *)zSql);
9006+
if ((rc != SQLITE_OK) || (sqlite3_step(stmt) != SQLITE_DONE)) {
9007+
rc = SQLITE_ERROR;
9008+
vtab_set_error(pVTab, "could not rename metadatatext shadow table");
9009+
goto done;
9010+
}
9011+
sqlite3_finalize(stmt);
9012+
}
9013+
}
9014+
9015+
stmt = NULL;
9016+
rc = SQLITE_OK;
9017+
9018+
done:
9019+
sqlite3_finalize(stmt);
9020+
return rc;
9021+
}
9022+
89189023
static sqlite3_module vec0Module = {
89199024
/* iVersion */ 3,
89209025
/* xCreate */ vec0Create,
@@ -8935,7 +9040,7 @@ static sqlite3_module vec0Module = {
89359040
/* xCommit */ vec0Commit,
89369041
/* xRollback */ vec0Rollback,
89379042
/* xFindFunction */ 0,
8938-
/* xRename */ 0, // https://github.com/asg017/sqlite-vec/issues/43
9043+
/* xRename */ vec0Rename,
89399044
/* xSavepoint */ 0,
89409045
/* xRelease */ 0,
89419046
/* xRollbackTo */ 0,

‎tests/__snapshots__/test-auxiliary.ambr‎

Lines changed: 86 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -392,6 +392,92 @@
392392
]),
393393
})
394394
# ---
395+
# name: test_renames
396+
OrderedDict({
397+
'sql': 'select rowid, * from v',
398+
'rows': list([
399+
OrderedDict({
400+
'rowid': 1,
401+
'vector': b'\x00\x00\x80?',
402+
'name': 'alex',
403+
}),
404+
OrderedDict({
405+
'rowid': 2,
406+
'vector': b'\x00\x00\x00@',
407+
'name': 'brian',
408+
}),
409+
OrderedDict({
410+
'rowid': 3,
411+
'vector': b'\x00\x00@@',
412+
'name': 'craig',
413+
}),
414+
]),
415+
})
416+
# ---
417+
# name: test_renames.1
418+
dict({
419+
'v_auxiliary': OrderedDict({
420+
'sql': 'select * from v_auxiliary',
421+
'rows': list([
422+
OrderedDict({
423+
'rowid': 1,
424+
'value00': 'alex',
425+
}),
426+
OrderedDict({
427+
'rowid': 2,
428+
'value00': 'brian',
429+
}),
430+
OrderedDict({
431+
'rowid': 3,
432+
'value00': 'craig',
433+
}),
434+
]),
435+
}),
436+
'v_chunks': OrderedDict({
437+
'sql': 'select * from v_chunks',
438+
'rows': list([
439+
OrderedDict({
440+
'chunk_id': 1,
441+
'size': 8,
442+
'validity': b'\x07',
443+
'rowids': b'\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
444+
}),
445+
]),
446+
}),
447+
'v_rowids': OrderedDict({
448+
'sql': 'select * from v_rowids',
449+
'rows': list([
450+
OrderedDict({
451+
'rowid': 1,
452+
'id': None,
453+
'chunk_id': 1,
454+
'chunk_offset': 0,
455+
}),
456+
OrderedDict({
457+
'rowid': 2,
458+
'id': None,
459+
'chunk_id': 1,
460+
'chunk_offset': 1,
461+
}),
462+
OrderedDict({
463+
'rowid': 3,
464+
'id': None,
465+
'chunk_id': 1,
466+
'chunk_offset': 2,
467+
}),
468+
]),
469+
}),
470+
'v_vector_chunks00': OrderedDict({
471+
'sql': 'select * from v_vector_chunks00',
472+
'rows': list([
473+
OrderedDict({
474+
'rowid': 1,
475+
'vectors': b'\x00\x00\x80?\x00\x00\x00@\x00\x00@@\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
476+
}),
477+
]),
478+
}),
479+
})
480+
# ---
395481
# name: test_types
396482
OrderedDict({
397483
'sql': 'select * from v',

‎tests/__snapshots__/test-metadata.ambr‎

Lines changed: 144 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1925,6 +1925,150 @@
19251925
]),
19261926
})
19271927
# ---
1928+
# name: test_renames
1929+
OrderedDict({
1930+
'sql': 'insert into v(rowid, vector, b, n, f, t) values (?, ?, ?, ?, ?, ?)',
1931+
'rows': list([
1932+
]),
1933+
})
1934+
# ---
1935+
# name: test_renames.1
1936+
OrderedDict({
1937+
'sql': 'insert into v(rowid, vector, b, n, f, t) values (?, ?, ?, ?, ?, ?)',
1938+
'rows': list([
1939+
]),
1940+
})
1941+
# ---
1942+
# name: test_renames.2
1943+
OrderedDict({
1944+
'sql': 'insert into v(rowid, vector, b, n, f, t) values (?, ?, ?, ?, ?, ?)',
1945+
'rows': list([
1946+
]),
1947+
})
1948+
# ---
1949+
# name: test_renames.3
1950+
OrderedDict({
1951+
'sql': 'select * from v',
1952+
'rows': list([
1953+
OrderedDict({
1954+
'rowid': 1,
1955+
'vector': b'\x11\x11\x11\x11',
1956+
'b': 1,
1957+
'n': 1,
1958+
'f': 1.1,
1959+
't': 'test1',
1960+
}),
1961+
OrderedDict({
1962+
'rowid': 2,
1963+
'vector': b'""""',
1964+
'b': 1,
1965+
'n': 2,
1966+
'f': 2.2,
1967+
't': 'test2',
1968+
}),
1969+
OrderedDict({
1970+
'rowid': 3,
1971+
'vector': b'3333',
1972+
'b': 1,
1973+
'n': 3,
1974+
'f': 3.3,
1975+
't': '1234567890123',
1976+
}),
1977+
]),
1978+
})
1979+
# ---
1980+
# name: test_renames.4
1981+
dict({
1982+
'v_chunks': OrderedDict({
1983+
'sql': 'select * from v_chunks',
1984+
'rows': list([
1985+
OrderedDict({
1986+
'chunk_id': 1,
1987+
'size': 8,
1988+
'validity': b'\x07',
1989+
'rowids': b'\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
1990+
}),
1991+
]),
1992+
}),
1993+
'v_metadatachunks00': OrderedDict({
1994+
'sql': 'select * from v_metadatachunks00',
1995+
'rows': list([
1996+
OrderedDict({
1997+
'rowid': 1,
1998+
'data': b'\x07',
1999+
}),
2000+
]),
2001+
}),
2002+
'v_metadatachunks01': OrderedDict({
2003+
'sql': 'select * from v_metadatachunks01',
2004+
'rows': list([
2005+
OrderedDict({
2006+
'rowid': 1,
2007+
'data': b'\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00\x03\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
2008+
}),
2009+
]),
2010+
}),
2011+
'v_metadatachunks02': OrderedDict({
2012+
'sql': 'select * from v_metadatachunks02',
2013+
'rows': list([
2014+
OrderedDict({
2015+
'rowid': 1,
2016+
'data': b'\x9a\x99\x99\x99\x99\x99\xf1?\x9a\x99\x99\x99\x99\x99\x01@ffffff\n@\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
2017+
}),
2018+
]),
2019+
}),
2020+
'v_metadatachunks03': OrderedDict({
2021+
'sql': 'select * from v_metadatachunks03',
2022+
'rows': list([
2023+
OrderedDict({
2024+
'rowid': 1,
2025+
'data': b'\x05\x00\x00\x00test1\x00\x00\x00\x00\x00\x00\x00\x05\x00\x00\x00test2\x00\x00\x00\x00\x00\x00\x00\r\x00\x00\x00123456789012\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
2026+
}),
2027+
]),
2028+
}),
2029+
'v_metadatatext03': OrderedDict({
2030+
'sql': 'select * from v_metadatatext03',
2031+
'rows': list([
2032+
OrderedDict({
2033+
'rowid': 3,
2034+
'data': '1234567890123',
2035+
}),
2036+
]),
2037+
}),
2038+
'v_rowids': OrderedDict({
2039+
'sql': 'select * from v_rowids',
2040+
'rows': list([
2041+
OrderedDict({
2042+
'rowid': 1,
2043+
'id': None,
2044+
'chunk_id': 1,
2045+
'chunk_offset': 0,
2046+
}),
2047+
OrderedDict({
2048+
'rowid': 2,
2049+
'id': None,
2050+
'chunk_id': 1,
2051+
'chunk_offset': 1,
2052+
}),
2053+
OrderedDict({
2054+
'rowid': 3,
2055+
'id': None,
2056+
'chunk_id': 1,
2057+
'chunk_offset': 2,
2058+
}),
2059+
]),
2060+
}),
2061+
'v_vector_chunks00': OrderedDict({
2062+
'sql': 'select * from v_vector_chunks00',
2063+
'rows': list([
2064+
OrderedDict({
2065+
'rowid': 1,
2066+
'vectors': b'\x11\x11\x11\x11""""3333\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00',
2067+
}),
2068+
]),
2069+
}),
2070+
})
2071+
# ---
19282072
# name: test_stress
19292073
dict({
19302074
'vec_movies_auxiliary': OrderedDict({

‎tests/test-auxiliary.py‎

Lines changed: 18 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -108,6 +108,24 @@ def test_deletes(db, snapshot):
108108
assert vec0_shadow_table_contents(db, "v") == snapshot()
109109

110110

111+
def test_renames(db, snapshot):
112+
db.execute(
113+
"create virtual table v using vec0(vector float[1], +name text, chunk_size=8)"
114+
)
115+
db.executemany(
116+
"insert into v(vector, name) values (?, ?)",
117+
[("[1]", "alex"), ("[2]", "brian"), ("[3]", "craig")],
118+
)
119+
assert exec(db, "select rowid, * from v") == snapshot()
120+
assert vec0_shadow_table_contents(db, "v") == snapshot()
121+
122+
res = exec(db, "select rowid, * from v")
123+
db.execute(
124+
"alter table v rename to v1"
125+
)
126+
assert exec(db, "select rowid, * from v1")["rows"] == res["rows"]
127+
128+
111129
def test_knn(db, snapshot):
112130
db.execute("create virtual table v using vec0(vector float[1], +name text)")
113131
db.executemany(

0 commit comments

Comments
 (0)